rsync -av  --include="*.fastq.gz" --include="*.fq.gz"  --include="*/" --exclude=* /public/data   ./ 

rsync用于系统之间的文件同步，效果还是非常好的！故做个记录，以备参考！

一、rsync简介

用于替代rcp的一个工具，rsync可以通过rsh或ssh使用，也能以daemon模式去运行，在以daemon方式运行时rsync server会开一个873端口，等待客户端去连接，连接时，rsync server会检查口令是否相符，若通过口令查核，则可以通过进行文件传输，第一次连通完成时，会把整份文件传输一次，以后则就只需进行增量备份；

二、rsync常用参数

-v,--verbose  详细模式输出；

-a,--archive  归档模式，表示以递归的方式传输文件，并保持所有文件属性不变，相当于使用了组合参数-rlptgoD;

-r, --recursive 对子目录以递归模式处理;

-l, --links 保留软链结;

-p, --perms 保持文件权限;

-t, --times 保持文件时间信息;

-g, --group 保持文件属组信息;

-o, --owner 保持文件属主信息;

-D, --devices 保持设备文件信息;

-H, --hard-links 保留硬链结;

-S, --sparse 对稀疏文件进行特殊处理以节省DST的 空间;

--delete 删除那些DST中SRC没有的文件;

-z, --compress 对备份的文件在传输时进行压缩处理；

三、rsync的六种不同的工作模式；

1）拷贝本地文件；

当SRC和DES路径信息中不包含冒号":"分隔符时，就启用这种工作模式：

[root@cmmailapp1 /]# rsync -avSH /home/coremail/ /cmbak/

2）使用一个远程shell程序（如rsh、ssh）来实现将本地机器的内容拷贝到远程机器，当DST路径地址包括冒号":"分隔符时启动该模式；

[root@cmmailapp1 /]# rsync -avSH /home/coremail/ 192.168.11.12:/home/coremail/

3）使用一个远程shell程序（如rsh、ssh）来实现将远程机器的内容拷贝到本地机器，当SRC地址路径包括冒号":"分隔符时启动该模式；

[root@cmmailapp2 /]# rsync -avSH 192.168.11.11:/home/coremail/ /home/coremail/

4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。

如：rsync -av root@172.16.78.192::www /databack

5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。

如：rsync -av /databack root@172.16.78.192::www

6)列远程机的文件列表。这类似于rsync传输，不过只要在命令中省略掉本地机信息即可。

如：rsync -v rsync://192.168.11.11/data

四、rsync服务端的配置；

环境：192.168.11.11为生产机；192.168.11.12为备份机；

那么需要192.168.11.11需要作为rsync的client；

192.168.11.12作为rsync的service端；

1、192.168.11.12_service端的配置；

1）[root@cmmailapp2 data]# touch /etc/rsyncd.conf  //此文件为rsync的主配置问题，默认不存在需要手动创建；

2）定义同步的配置；

[root@cmmailapp2 data]# cat /etc/rsyncd.conf 

[data]

path = /data/

auth users = coremail

uid = root

gid = root

secrets file = /etc/rsyncd.secrets

read only = no

[]

Path = /home/coremail/var/            

auth users = coremail

uid = root

gid = root

secrets file = /etc/rsyncd.secrets

read only = no

[cmxt]

Path = /home/coremail/          

auth users = coremail

uid = root

gid = root

secrets file = /etc/rsyncd.secrets

read only = no

3）定义密码文件/etc/rsyncd.secrets

[root@cmmailapp2 data]# cat  /etc/rsyncd.secrets 

coremail:coremail

4）启动rsync启动服务

[root@cmmailapp2 data]# cat /etc/xinetd.d/rsync 

# default: off

# description: The rsync server is a good addition to an ftp server, as it \

#       allows crc checksumming etc.

service rsync

{

        disable = yes           //需要修改为no；

        socket_type     = stream

        wait            = no

        user            = root

        server          = /usr/bin/rsync

        server_args     = --daemon

        log_on_failure  += USERID

}

[root@cmmailapp2 data]# chkconfig --level 2345 rsync on

[root@cmmailapp2 data]# chkconfig rsync on

[root@cmmailapp2 data]# chkconfig --level 2345 xinetd on

[root@cmmailapp2 data]# service xinetd restart

Stopping xinetd: [  OK  ]

Starting xinetd: [  OK  ]

2、192.168.11.11_client端的配置；

[root@cmmailapp1 /]# cat /etc/rsyncd.secrets 

coremail

[root@cmmailapp1 /]# rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/coremail@192.168.11.12::data

[root@cmmailapp1 /]# rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/coremail@192.168.11.12::mysql

[root@cmmailapp1 /]# rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/coremail@192.168.11.12::cmxt

五、定义定时自行rsync同步，指定同步的日志所在的路径/var/log/rsync/下；

[root@cmmailapp1 log]# cat /root/rsync.sh 

DATE=`date +%Y%m%d%H%M`

rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/ coremail@192.168.11.12::data>/var/log/rsync.date.$DATE

rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/ coremail@192.168.11.12::mysql>/var/log/rsync.mysql.$DATE

rsync -aSvH --password-file=/etc/rsyncd.secrets /home/coremail/ coremail@192.168.11.12::cmxt>/var/log/rsync.cmxt.$DATE

chmod u+x /root/rsync.sh

[root@cmmailapp1 log]# crontab -l

0 3 * * * /root/rsync.sh

执行时候的日子记录文件：

[root@cmmailapp1 log]# ls |grep 'rsync'

rsync.cmxt.201110180915

rsync.date.201110180915

rsync.mysql.201110180915

 

可能會遇到的疑難問題:

1. Q: 出現以下這個訊息, 是怎麼一回事?

@ERROR: auth failed on module xxxxxrsync: connection unexpectedly closed (90 bytes read so far)rsync error: error in rsync protocol data stream (code 12) at io.c(150)

A: 這是因為密碼設錯了, 無法登入成功, 請再檢查一下 rsyncd.secrets 中的密碼設定, 二端是否一致?

2. Q: 出現以下這個訊息, 是怎麼一回事?

password file must not be other-accessible

continuing without password file

Password:

A: 這表示 rsyncd.secrets 的檔案權限屬性不對, 應設為 600

請下 chmod 600 rsyncd.secrets

3. Q: 出現以下這個訊息, 是怎麼一回事?

@ERROR: chroot failedrsync: connection unexpectedly closed (75 bytes read so far)rsync error: error in rsync protocol data stream (code 12) at io.c(150)

A:這通常是您的 rsyncd.conf 中

的 path 路徑所設的那個目錄並不存在所致.

請先用 mkdir 開設好備份目錄.

 

问题一：

@ERROR: chroot failed

rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.3]

原因：

服务器端的目录不存在或无权限。创建目录并修正权限可解决问题。

 

问题二：

@ERROR: auth failed on module tee

rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.3]

原因：

服务器端该模块（tee）需要验证用户名密码，但客户端没有提供正确的用户名密码，认证失败。提供正确的用户名密码解决此问题。

 

问题三：

@ERROR: Unknown module ‘tee_nonexists’

rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.3]

原因：

服务器不存在指定模块。提供正确的模块名或在服务器端修改成你要的模块以解决问题。

 

问题四：

password file must not be other-accessible

continuing without password file

Password:

原因：

这是因为rsyncd.pwd rsyncd.secrets的权限不对，应该设置为600。如：chmod 600 rsyncd.pwd

 

问题五：

rsync: failed to connect to 218.107.243.2: No route to host (113)

rsync error: error in socket IO (code 10) at clientserver.c(104) [receiver=2.6.9]

原因：

对方没开机、防火墙阻挡、通过的网络上有防火墙阻挡，都有可能。关闭防火墙，其实就是把tcp udp的873端口打开。

 

问题六：

rsync error: error starting client-server protocol (code 5) at main.c(1524) [Receiver=3.0.7]

原因：

/etc/rsyncd.conf配置文件内容有错误。请正确核对配置文件。

 

问题七：

rsync: chown "" failed: Invalid argument (22)

原因：

权限无法复制。去掉同步权限的参数即可。(这种情况多见于向Windows的时候)

 问题八：

@ERROR: daemon security issue -- contact admin

rsync error: error starting client-server protocol (code 5) at main.c(1530) [sender=3.0.6]

原因：

同步的目录里面有软连接文件，需要服务器端的/etc/rsyncd.conf打开use chroot = yes。掠过软连接文件。