Rsync — это программное обеспечение с открытым исходным кодом, которое можно использовать для синхронизации файлов и папок с локального компьютера на удаленный и наоборот. Примечательная особенность Rsync — возможность передавать зашифрованные файлы с помощью SSH и SSL. Кроме того, здесь передача файлов выполняется в один поток, в отличие от других подобных программ, создающий отдельный поток для передачи каждого файла. Это увеличивает скорость и убирает дополнительные задержки, которые становятся проблемой при передаче большого количества маленьких файлов.
Возможно использование rsync для синхронизации файлов, каталогов, при этом может применяться сжатие и шифрование. Программа впервые была применена в июне 1996 года, она разработана Эндрю Тридгелом и Полом Маккерасом. Rsync синхронизация выполняется по протоколу RSYNC, который специально разработан не просто для передачи файлов между двумя компьютерами, а для их синхронизации. Если точнее, то передается не файл полностью, а только то, что было изменено.
Особенности Rsync
Примечательные особенности Rsync:
- Возможность поддерживать синхронизацию целых деревьев каталогов;
- Можно сохранять символические ссылки, жесткие ссылки, владельцев и права файла, метаданные и время создания;
- Не требует особых привилегий;
- Передача файлов одним потоком;
- Поддержка RSH, SSH в качестве транспорта;
- Поддержка анонимного Rsync.
Синтаксис Rsync
Мы не будем подробно останавливаться на установке этой утилиты в системе. Она очень популярна, поэтому вы можете установить ее с помощью своего пакетного менеджера из официальных репозиториев. В Ubuntu команда установки будет выглядеть вот так:
sudo apt-get install rsync
А теперь, уже по традиции подобных статей, рассмотрим синтаксис команды rsync:
$ rsync опции источник приемник
В качестве источника и приемника может выступать удаленная или локальная директория. Например, ssh, rsync, samba сервер или локальная директория. Опции задают дополнительные параметры rsync.
Опции Rsync
Теперь рассмотрим параметры rsync. Здесь перечислены не все опции. Для более подробной информации смотрите man rsync:
| Ключ | Описание |
|---|---|
| -v, —verbose | Вывод подробной информации о процессе синхронизации. Стоит использовать для отладки. |
| -q, —quiet | Не выводит сообщения об ошибках. |
| —no-motd | Не выводит приветствие в MOTD |
| -c, —checksum | Сравнивать файлы по контрольной сумме, а не времени или размеру. |
| -a, —archive | Режим архивирования или то же самое, что с ключами -rlptgoD (без -H,-A,-X). Используется для удобства, чтобы не перечислять много опций. |
| —no-<опция> | Отключает конкретную опцию, например, вышеописанная no-motd. |
| -r, —recursive | Рекурсивный режим для каталогов. |
| -R, —relative | Использовать относительные пути. |
| —no-implied-dirs | Выключить параметр —relative. |
| -b, —backup | Режим резервного копирования. С его помощью при обновлении файлов в папке назначения для них создается копия. |
| —backup-dir=<каталог> | В режиме резервного копирования указывает каталог, в котором будут храниться копии. |
| —suffix=SUFFIX | В режиме резервного копирования задает суффикс для сохраненных файлов. |
| -u, —update | Пропускать файлы, которые новее в папке назначения (копировать только измененные файлы). |
| -d, —dirs | Не использовать рекурсию для каталогов. |
| -l, —links | Копировать симлинки как симлинки. |
| -L, —copy-links | Копировать не симлинк а ее содержимое (трансформировать симлинк в каталог). |
| -k, —copy-dirlinks | Преобразовать симлинк на каталог в обычный каталог. |
| -K, —keep-dirlinks | В папке назначения обрабатывать симлинк как каталог. |
| -H, —hard-links | Сохранять жесткие ссылки. |
| -p, —perms | Сохранять разрешения (права доступа). |
| -E, —executability | Сохранить права на исполнение. |
| —chmod=<права> | Изменить права доступа на конкретные. |
| -A, —acls | Сохранить права ACL. |
| -X, —xattrs | Сохранить атрибуты файлов. |
| -o, —owner | Сохранить владельца (только от суперпользователя). |
| -g, —group | Сохранить группу владельца. |
| —devices | Копировать файлы-устройства (разрешено только при выполнении команды с правами суперпользователя). |
| —copy-devices | Копировать файлы устройства как обычные файлы. |
| —specials | Сохранять специальные файлы. |
| -D | Заменяет —devices и —specials одновременно. |
| -t, —times | Сохранять временные отметки. |
| -S, —sparse | Выполнение дефрагментации в момент копирования данных. |
| -n, —dry-run | Режим тестирования. Выполняется пробный запуск, при котором будет показаны изменения, но сами изменения выполнены не будут. |
| -W, —whole-file | Копировать файлы целиком. По умолчанию, для копирования файлов используется алгоритм дельта-хэфера, который позволяет переносить только часть с изменениями. На практике, это сильно ускоряет процесс копирования. Ключ применяется в тех случаях, когда нужно перенести файл целиком. |
| -x, —one-file-system | Не разрешает переходить границы файловой системы. Например, если в один из синхронизируемых каталогов может быть примонтирована сетевая файловая система, ее копирование может вызвать неудобства. |
| -B, —block-size=<размер> | Принудительно фиксировать размер блока контрольной суммы |
| -e, —rsh=<команда> | Указать оболочку для использования, например SSH. |
| —existing | Не создавать новые файлы в каталоге назначения. |
| —ignore-existing | Не обновлять существующие файлы в каталоге назначения. |
| —remove-source-files | Источник удаляет свои файлы после выполнения синхронизации. |
| —delete | Удалить файлы в папке назначения, если их больше нет в папке источнике (удаление старых файлов). |
| —delete-before | Удалить файлы в папке назначения до начала синхронизации. |
| —delete-during | Удалить файлы в папке назначения в момент синхронизации. |
| —delete-delay | Поиск файлов на удаление в момент синхронизации, а удаление после. |
| —delete-after | Удалить файлы в папке назначения после синхронизации. |
| —delete-excluded | Удалить исключенные из синхронизации файлы в каталоге назначения. |
| —ignore-errors | Удалять файлы даже при ошибках ввода/вывода. |
| —force | Принудительное удаление не пустых каталогов. |
| —max-delete=<число> | Не удалять больше заданного числа файлов. |
| —max-size=<размер> | Не передавать файлы с размером более заданного. |
| —min-size=<размер> | Не передавать файлы с размером менее заданного. |
| —partial | Оставлять файлы, которые переданы не до конца (процесс копирования завершился в процессе). |
| —partial-dir=<каталог> | Хранить частично переданные файлы в специальном каталоге. |
| —timeout=<секунды> | Установить время ожидания от системы ввода/вывода. |
| —contimeout=<секунды> | Установить время ожидания для подключения к демону rsync. |
| -I, —ignore-times | Все равно копировать файлы, если они имеют одинаковые разметы или время изменения. |
| —size-only | Не копировать только те файлы, которые имеют одинаковые размеры. |
| -T, —temp-dir=<каталог> | Все временные файлы размещать в определенном каталоге. |
| -z, —compress | Сжимать данные файла во время передачи |
| —compress-level=<число> | Устанавливает уровень сжатия от 0 до 9. |
| —skip-compress=<список> | Не выполнять компрессию для перечисленных файлов. |
| -C, —cvs-exclude | Исключить от копирования файлы, которые исключаются CVS (RCS/ SCCS/ CVS/ .svn/ CVS.adm RCSLOG cvslog.* tags TAGS .make.state .nse_depinfo *~ #* .#* ,* *.old *.bak *.BAK *.orig *.rej .del-* *.a *.o *.obj *.so *.Z *.elc *.ln core) |
| -f, —filter=<правило> | Добавить правило для фильтра. |
| —exclude=<выражение> | Исключить из синхронизации файлы, соответствующие выражению. |
| —exclude-from=<файл> | Исключить из синхронизации файлы, перечисленные в файле. |
| —include=<выражение> | Включить в синхронизацию файлы, соответствующие выражению. |
| —include-from=<файл> | Включить в синхронизацию файлы, перечисленные в файле. |
| —files-from=<файл> | Читать список имен исходных файлов из файла. |
| —address=<IP-адрес> | Привязать IP-адрес для исходящего сокета. |
| —port=<порт> | Использовать определенный сетевой порт. |
| —sockopts=OPTIONS | Использовать специальные опции для TCP. |
| —blocking-io | Использовать блокирующий ввод-вывод для удаленной оболочки |
| —stats | Вывод статистики по передаче данных. |
| -h, —human-readable | Вывод чисел в удобном для чтения формате. |
| —progress | Показывать строку прогресса для синхронизации. |
| -P | То же самое, что —partial и —progress. |
| -i, —itemize-changes | Выводить сводку изменений для всех обновлений |
| —log-file=<файл> | Вывод лога в специальный файл. |
| —password-file=<файл> | При аутентификации пароль можно хранить в специальном файле. Это необходимо для автоматизации выполнения команды без пароля. |
| —list-only | Показать список файлов, но не копировать их. |
| —bwlimit=<число> | Ограничить пропускную способность (КБит в секунду). |
| —protocol=<число> | Принудительно использовать более старую версию протокола. |
| —iconv=<кодировка> | Запрос кодировки преобразования имен файлов. |
| -4, —ipv4 | Предпочтительно, использовать IPv4. |
| -6, —ipv6 | Предпочтительно, использовать IPv6. |
| —version | Вывод версии rsync. |
| (-h) —help | Вывод справочной информации по использованию rsync. |
Настройка сервера Rsync
Как вы понимаете, нельзя просто так взять и закинуть на первую попавшуюся машину файлы без установки на нее специального программного обеспечения. На удаленной машине должен быть установлен и настроен RSYNC, SSH, Samba или FTP сервер, с помощью которого Rsync сможет авторизоваться на машине и передавать туда файлы.
Рассмотрим минимальную настройку сервера rsync, для того чтобы могло быть выполнено копирование файлов rsync. Он позволит нам не только синхронизировать файлы на машину, но и получать их от туда.
Сначала создайте конфигурационный файл со следующим содержимым:
sudo vi /etc/rsyncd.conf
Здесь мы задаем путь к нашей папке для синхронизации, разрешаем доступ к серверу только с ip адреса (192.168.56.1) и запрещаем все остальные подключения. Параметры uid и gid указывают пользователя и группу, от которых будет запущен демон. Лучше не использовать root, а указать пользователя nobody и выдать ему права на ту папку, в которую будет выполняться синхронизация каталогов rsync.
Настройка rsync завершена, остается сохранить файл, запустить сервер rsync и добавить его в автозагрузку:
sudo systemctl start rsync
sudo systemctl enable rsync
Сервер будет предоставлять доступ к файлам без запроса пароля.
Примеры синхронизации Rsync
Дальше давайте рассмотрим использование rsync, примеры синхронизации.
1. Копирование и синхронизация файлов на локальном компьютере
Rsync позволяет синхронизировать файлы и папки в пределах одной машины. Давайте сначала рассмотрим использование rsync для синхронизации файла на локальном компьютере:
rsync -zvh file /tmp/backups/
Указав опцию —progress вы можете видеть сколько процентов уже скопировано, а сколько еще осталось:
rsync -zvh --progress file /tmp/backups/
2. Синхронизация папок на локальной машине
Синхронизация папок rsync выполняется так же просто, как и файлов:
rsync -zvh /home/user/documents /tmp/backups/
Если вы хотите, чтобы все атрибуты файлов, такие, как дата изменения и создания сохранялись, необходимо использовать опцию -a:
rsync -azvh /home/user/documents /tmp/backups/
3. Синхронизация с удаленным сервером
Ненамного сложнее синхронизировать файлы с удаленным сервером. Скопируем локальную папку documents, на удаленный сервер:
rsync -avz /home/sergiy/tmp/ root@192.168.56.102:/home/
По умолчанию rsync попытается использовать транспорт ssh. Если вы хотите использовать ранее созданный сервер rsync, нужно указать это явно:
rsync -avz /home/sergiy/tmp/ rsync://192.168.56.102:/share
Точно также можно синхронизировать файлы с rsync из удаленного сервера:
rsync -avz root@192.168.56.102:/home/ /home/sergiy/tmp/
Адрес удаленного сервера записывается в таком формате:
имя_пользователя@адрес_машины/папка/на/удаленной_машине
Синхронизация папок rsync будет выполняться на стандартном порту.
4. Синхронизация файлов по SSH
Чтобы задать протокол подключения используется опция -e. При использовании SSH все передаваемые данные шифруются и передаются по защищенному каналу, таким образом, чтобы никто не мог их перехватить. Для использования SSH вам нужно знать пароль пользователя в системе.
Синхронизация файлов rsync с удаленного сервера по ssh будет выглядеть вот так:
rsync -avzhe ssh root@192.168.56.102:/root/install.log /tmp/
Если вы используете другой порт для ssh, то здесь его можно указать:
rsync -avzhe "ssh -p 22" root@192.168.56.102:/root/install.log /tmp/
А теперь передадим данные на тот же сервер:
rsync -avzhe ssh backup.tar root@192.168.0.101:/backups/
5. Просмотр прогресса при синхронизации
Для просмотра прогресса копирования файла с одной машины на другую используется опция progress:
rsync -avzhe ssh --progress /home/user/documents root@192.168.56.102:/root/documents
6. Синхронизация не всех файлов в rsync
Опции include и exclude позволяют указать какие файлы нужно синхронизировать, а какие исключить. Опции работают не только с файлами но и с директориями.
Например, скопируем все файлы, начинающиеся на букву R:
rsync -avze ssh --include 'R*' --exclude '*' root@192.168.56.102:/root/documents/ /root/documents
7. Удаление при синхронизации
Во время синхронизации можно удалять файлы, которых нет на машине откуда идет rsync синхронизация, для этого используется опция —delete.
Например:
rsync -avz --delete root@192.168.56.102:/documents/ /tmp/documents/
Если перед выполнением этой команды создать в папке файл которого нет на удаленном сервере, то он будет удален.
8. Максимальный размер файлов
Вы можете указать максимальный размер файлов, которые нужно синхронизировать. Для этого используется опция —max-size. Например, будем синхронизировать только файлы меньше 200 килобайт:
rsync -avzhe ssh --max-size='200k' /user/documents/ root@192.168.56.102:/root/documents
9. Удаление исходных файлов
Есть возможность удалять исходные файлы после завершения синхронизации с удаленным сервером:
rsync --remove-source-files -zvh backup.tar /tmp/backups/
Таким образом, файл backup.tar будет удален после завершения копирования в папку /tmp/backups.
10. Режим симуляции rsync
Если вы новичок, и еще не использовали rsync, то возможно захотите посмотреть как отработает команда без применения реальных действий в файловой системе. Для этого есть опция dry-run. Команда только выведет все выполняемые действия в терминал, без выполнения реальных изменений:
rsync --dry-run --remove-source-files -zvh backup.tar /tmp/backups/
11. Ограничить скорость передачи
Вы можете ограничить использование пропускной способности сети с помощью опции —bwlimit:
rsync --bwlimit=100 -avzhe ssh /user/home/documents/ root@192.168.56.102:/root/documents/
Как я уже писал выше, rsync синхронизирует только части файла, если вы хотите синхронизировать файл целиком используйте опцию -W:
rsync -zvhW backup.tar /tmp/backups/backup.tar
12. Автоматическая синхронизация папок rsync
Можно расписать автоматическую синхронизацию с помощью cron. Но в случае доступа к серверу по SSH необходимо будет создать ключ и загрузить его на сервер, чтобы аутентификация проходила без запроса пароля.
Создаем ключ:
ssh-keygen -t rsa
Загружаем ключ на сервер к с которым собираемся синхронизироваться:
ssh-copy-id -i /home/sk/.ssh/id_rsa.pub sk@192.168.1.250
Теперь можем переходить к настройке расписания cron. Будем запускать синхронизацию каждый день:
crontab -e
00 05 * * * rsync -azvre ssh /home/user/Downloads/ 192.168.56.102:/share
rsync синхронизация каталогов будет выполняться каждый день в пять утра.
13. Перенос системы с помощью rsync
Rsync также можно использовать для переноса операционной системы на новый диск или сервер.
rsync -avxHAX / /mnt/newdisk/
Подготовлено по материалам статей:
- https://losst.ru/rsync-primery-sinhronizatsii
- https://mhost.by/knowledgebase/282/linux-sinkhronizatciia-dannykh-s-pomoshchiu-rsync.html