rsync备份海量文件时占用大量内存的解决要领

linux发行版中大多都自带rsync，不过版本比较低，个别都是2.6.X
在2.X的版本中，rsync备份时都是先列表再备份(增加或者删除)，在处置大量文件时，会耗费比较多的内存。
备份的时候，rsync扫描到的每个文件(目录也同样)，在它的列表中约占100字节的内存，要是加了--delete参数的话，占用的内存会更多。
例如我这里一台服务器，约800万的图片，而且更新比较频繁，文件数增长比较快，差不多天天添加约10万张。备份的时候，rsync大概占用了将近2G的内存，大量内存的占用，造成服务器物理内存不够，进而运用到swap，然后发生更高的iowait(交流内存)，进而造成rsync列表更慢，并且影响到服务器上的业务。
关于这样的状况，在rsync 3.X涌现以前，人们普遍给出的倡议是把备份操纵给拆分成若干个小的备份操纵。比方本来有10个图片目录一起备份，此刻拆成10个备份操纵，每次只备份其中一个。另外，还有人倡议减小目录的深度，这样可以减小目录的数目，可以减少rsync占用的内存。另外还有个叫做digisync的软件，是专门用来备份G级数目的文件的。

rsync 3.X采纳的是incremental file list，与本来的 2.X比拟，此刻是一边列表一边备份(增加或删除)。这关于大量文件的备份操纵来说，无疑节俭了许多工夫。
实测发明，rsync 3.0.4备份时占用的内存大概时4M，跟一个apache进程占用的内存差不多。

rsync 的主页在http://www.baidow.com/tupian/lupian/20190516/4xr4zmgdzhn 当前最新不乱版本为 rsync-3.1.1

然后运转 rsync --version 来看看版本号

需要注意的是，源主机和目的主机必须都晋级到 rsync 3.X 才能运用到rsync 3.X的新特性。

值得一提的是，自从 2006年11月6号发表 version 2.6.9今后，不断到08年3月才发表3.0，使得很长一段工夫内，大家不得不找各种各样的办法来处置大量的文件备份操纵