Ejemplos prácticos del comando rsync en Linux

Rsync (Remote Sync) es una herramienta de sincronización para copiar archivos y directorios en un sistema o entre sistemas. La mayor ventaja de rsync es que sólo copia los archivos modificados y, por lo tanto, reduce el consumo de CPU y ahorra el ancho de banda y el tiempo durante la copia de archivos.

Ventajas de rsync sobre scp

Ya te he mostrado algunos ejemplos prácticos del comando scp, abreviatura de secure copy; también se utiliza para copiar archivos entre dos sistemas remotos a través de ssh.

Pero rsync tiene ciertas ventajas sobre scp que lo hacen una mejor opción.

• rsync copia sólo los archivos que son cambiados mientras que scp copia cada archivo y los sobrescribe si es necesario. Por tanto, en rsync se garantiza una mayor velocidad.
• rsync también puede trabajar sin encriptación. Esto puede reducir la sobrecarga. Pero esto debe ser considerado cuando no hay riesgo de seguridad al transferir sin encriptación.
• Uno puede reanudar la transferencia incompleta en rsync mientras que scp no lo permite.

Si no tienes rsync instalado, puedes instalarlo usando tu gestor de paquetes. En Ubuntu y Debian, puedes instalarlo con el siguiente comando.

sudo apt install rsync

Ejemplos prácticos del comando rsync en Linux

El comando rsync tiene la siguiente estructura

rsync [OPCIONES] Origen_del__destino

Donde el origen y el destino pueden ser rutas locales o rutas remotas en el formato nombre de usuario@hostname:ruta/del/archivo

Veamos cómo utilizar el comando rsync con algunos ejemplos útiles.

1. Sincronizar archivos locales [Sincronización unidireccional]

Para copiar los archivos locales del directorio A en el directorio Backup-A,

rsync A/ Backup-A/

Este comando copia los archivos (si se encuentran cambios) del directorio A en el directorio Backup-A. Esto no copiará ningún archivo extra en el directorio Backup-A que no esté en A inicialmente. Por eso se denomina sincronización unidireccional.

2. Sincronizar archivos remotos [Sincronización unidireccional]

Para sincronizar archivos entre un sistema remoto y un sistema local, el comando es similar. Ten en cuenta que la ubicación de origen y la ubicación de destino pueden ser rutas del sistema de archivos local o rutas del sistema remoto (ssh).

rsync dev/build team@itsfoss:~/Backup

3. Sincronización bidireccional

El comando anterior copia los archivos del origen al destino. Pero si el sistema tenía algunos archivos extra que no estaban en el origen, esos no serán eliminados por la sincronización de una vía. Si quieres eso, tendrás que usar la sincronización bidireccional.

Para mantener ambos puntos finales (directorios o archivos) en el mismo estado, con los mismos archivos y sin extras en ninguno de los dos lados, basta con añadir la opción -delete al comando original.

rsync A/ Backup-A/ --delete

4. Eliminar los archivos de origen después de copiarlos

Si necesita eliminar los archivos en el origen una vez completada la transferencia, la opción -remove-source-files debería ser útil.

rsync A/ Backup-A/ --remove-source-files

Debes tener cuidado con el comando anterior. Debes eliminar la fuente sólo si se hacen suficientes copias y los datos ya no son necesarios en la fuente.

5. Incluir y excluir archivos

Si necesitas (o no necesitas) transferir archivos cuyo nombre coincida con un patrón,
se pueden utilizar las opciones -include y -exclude. A cada opción se le debe dar un patrón después del signo ‘=’.

rsync A/ Backup-A/ --include=*.py --exclude=*.tmp.py

El comando anterior copia todos los archivos con extensión .py excepto los que tienen extensión .tmp.py.

Puedes utilizar una expresión regular como patrón. Aprende más sobre esto aquí.

6. rsync sobre SSH

Si deseas transferir los archivos a través de SSH, necesitas especificar ssh con la opción -e.

rsync -e ssh A/ marcocarmonaga@itsfoss:~/Backup-A/

Esta es la forma preferida de transferir archivos a un sistema remoto, ya que está encriptada. Hay que tener en cuenta que habrá una sobrecarga debido a la encriptación. Por lo tanto, podría tomar más tiempo que la transferencia normal.

Para que esto funcione, debes habilitar los inicios de sesión ssh configurados en el lado del servidor. La clave pública y la clave privada también tienen que estar en sus respectivas rutas.

Para aprender más sobre ssh y su configuración, te recomiendo leer estos artículos de LinuxHandBook sobre la configuración de SSH del lado del cliente y la configuración de SSH del lado del servidor.

7. Modo Verboso

La mayoría de los comandos en Linux tienen una opción verbose para registrar la acción del comando en la terminal. rsync no es una excepción.

Pasa la opción -v o la opción -verbose para mostrar el comando. Esto lo que hará es listar las acciones que se están realizando y su progreso. Esto será muy útil durante la depuración.

rsync A/ Backup-A/ -v -r

La salida será similar a la siguiente

$ rsync A/ Backup-A/ -v -r
sending incremental file list
created directory Backup-A
./
file1.txt
file2.txt
file3.txt
file4.txt
file5.txt
file6.txt
sent 388 bytes received 168 bytes 1,112.00 bytes/sec
total size is 0 speedup is 0.00

8. Dry Run – Ejecutar, pero no copiar

En caso de que quieras saber los archivos que van a ser copiados sin hacer realmente la transferencia, puedes usar la opción -dry-run (o -n).

Haz toda la operación como el comando rsync normal, excepto la parte de la copia. Hará una lista de los archivos que serán copiados o borrados (si es necesario) y luego se detendrá justo antes de copiar.

rsync -v A/ Backup-A/ --dry-run

Lo que dará lugar a

$ rsync -v A/ Backup-A/ –dry-run
sending incremental file list
created directory Backup-A
./
file1.txt
file2.txt
file3.txt
file4.txt
file5.txt
file6.txt
sent 172 bytes received 72 bytes 488.00 bytes/sec
total size is 0 speedup is 0.00 (DRY RUN)

Ten en cuenta que necesitas utilizar la opción -v para ver la salida anterior del comando de ejecución en seco. Si no, la ejecución en seco ocurrirá, pero te mostrará los resultados.

9. Mostrar el progreso de la transferencia

Si deseas mostrar el progreso de la transferencia, utiliza la opción -progress.

rsync A/ Backup-A/ --progress

El comando anterior mostrará una barra de progreso similar a la siguiente:

$ rsync -r A/ Backup-A/ –progress
sending incremental file list
created directory Backup-A
./
file1.txt 0 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=5/7)
file2.txt 0 100% 0.00kB/s 0:00:00 (xfr#2, to-chk=4/7)
file3.txt 0 100% 0.00kB/s 0:00:00 (xfr#3, to-chk=3/7)
file4.txt 0 100% 0.00kB/s 0:00:00 (xfr#4, to-chk=2/7)
file5.txt 0 100% 0.00kB/s 0:00:00 (xfr#5, to-chk=1/7)
file6.txt 0 100% 0.00kB/s 0:00:00 (xfr#6, to-chk=0/7)

10. Comprimir y transferir datos

Si quiere ahorrar ancho de banda y tiempo en la red, puedes comprimir los datos a transferir utilizando la opción -z. Se descomprimirán automáticamente en el destino.

Este truco puede ahorrarte mucho tiempo y costes de red cuando los datos a transferir son enormes. Debe evitarse para archivos pequeños ya que el procesamiento de la sobrecarga supera el tiempo total.

rsync -z A/ Backup-A/

11. Copiar recursivamente los archivos y directorios

Todos los comandos anteriores copian sólo los archivos, no los subdirectorios (el mismo caso de todos los comandos de Linux). Como resultado, los archivos dentro de esos subdirectorios no se copian. Esto puede eliminarse mediante la copia recursiva.

Para copiar recursivamente los archivos y directorios, se puede utilizar la opción -r.

rsync -r A/ Backup-A/

12. Archivar y conservar los metadatos

Si deseas conservar los enlaces simbólicos, las marcas de tiempo, los permisos de los archivos y la propiedad de los usuarios y grupos de los archivos, puedes utilizar la opción -a.

rsync -a A/ Backup-A/

Esta opción también incluye la funcionalidad de la opción -r. Así que copia recursivamente los archivos y preserva los metadatos de los archivos copiados.

13. Establecer límite de tamaño de archivo

Para evitar la transferencia de archivos grandes, puedes establecer un límite de tamaño de archivo con la ayuda de la opción -max-size. Esto le ayuda a mantener un control sobre el tamaño de los archivos que serán copiados.

rsync --max-size='100K' A/ Backup-A/ 

14. Establecer límite de ancho de banda

Si tienes alguna limitación en la velocidad de la red, puedes especificarla con la ayuda de la opción -bwlimit, la cual, debe expresarse en kbps.

rsync --bwlimit=100 A/ Backup-A/

15. Reanudar la descarga con rsync

Si la descarga/transferencia está incompleta, se puede utilizar el comando rsync para mantener las descargas incompletas de manera que la transferencia se pueda reanudar la próxima vez que se emita el mismo comando.

Para reanudar la transferencia, se puede utilizar la opción -append.

rsync --append A /Backup-A/

Este hilo de StackExchange es un muy buen recurso para aprender más sobre este tema.

Todos los comandos anteriores son básicos y copian el archivo en un solo flujo o un proceso. Si hay 5 TB de datos y la transferencia de 1 TB tarda 2 horas, la transferencia completa durará 10 horas. Pero hay otra forma de acelerar la transferencia

Consejo adicional: Acelerar Rsync / Transferencia en paralelo

parallel es una utilidad GNU utilizada para ejecutar trabajos en paralelo. Se puede acoplar fácilmente con rsync.

sudo apt install parallel

Antes de seguir avanzando, entendamos cómo funciona el paralelo. Consideremos una analogía.

Supongamos que hay 1.000 huevos y 100 cestas, cada una con un zángano. La tarea consiste en entregarlas a los clientes. El gerente asigna a cada cesta 10 huevos y ordena al dron que los entregue. Cada dron realiza una operación (en nuestro caso un proceso rsync de 10 archivos). El gerente supervisa todos los drones. Tenga en cuenta que los drones nunca sabrán que hay otros trabajos en paralelo. Sólo el Gestor lo sabe.

Del mismo modo, rsync ejecuta la transferencia de archivos como un dron. parallel actúa como el gestor.

parallel divide los archivos a enviar y engendra un número específico de procesos rsync cada uno con una lista diferente de archivos. parallel sólo gestiona todos los procesos. rsync no tiene conocimiento de otros procesos en paralelo ni tiene una funcionalidad de transferencia paralela. Parallel provee transferencia paralela al agrupar tareas.

Así que el comando parallel consiste en dos partes que se canalizan. Una son los argumentos (huevos/archivos) y la otra es el comando paralelo (gestor).

ls A/* | parallel -j 20 rsync A/{} /Backup-A/

En el comando anterior, cada archivo/directorio en la salida como resultado del primer comando antes del símbolo ‘|’ actúa como un argumento. {} representa el argumento de la izquierda en el comando paralelo.

-j n – Se utiliza para establecer n número de trabajos o trabajadores. En nuestro caso, n es 20.
La siguiente parte es el comando rsync habitual para cada argumento. Una vez generados los comandos, se agruparán en 20 procesos y se ejecutarán en paralelo.

Ten en cuenta que puedes añadir cualquier opción al comando rsync anterior como lo haría sin el paralelo. Sólo agrega las opciones de rsync (como -z, -a, -e ssh) después de la palabra rsync en el comando anterior.

Si quieres entender más sobre parallel, consulta esta página.

Errores comunes con rsync

Puedes encontrarte con errores al utilizar rsync. A continuación, se muestran algunos de los más comunes junto con sus consejos para solucionarlos.

1. Permiso de rsync denegado

Este es un error que puede ocurrir cuando usas rutas para las que no tienes los derechos apropiados. Por ejemplo:

rsync B/ /home/

El comando anterior causará un error de permiso denegado, si no tienes los permisos de escritura en /home/ (los usuarios normales no suelen tenerlos).

2. rsync falló al establecer los tiempos en

Esto ocurre cuando el sistema de archivos no puede manejar los tiempos de modificación de los archivos y directorios. Puedes aprender más sobre esto en esta página.

Espero que hayas aprendido algunos buenos ejemplos del comando rsync en este artículo. Si tienes alguna sugerencia o comentario, por favor siéntete libre de dejarlo en la parte de comentarios.