Comment copier un dossier de votre serveur vers S3 chaque nuit avec une seule commande (aws s3 sync)

Les instantanés de la machine sont la « grosse » sauvegarde : tout le disque, pour quand quelque chose casse. Mais parfois vous voulez quelque chose de plus fin et de moins cher : une copie quotidienne d'un dossier (les fichiers envoyés sur le site, les documents, un export de la base de données) dans un endroit hors de la machine, d'où vous pouvez récupérer un seul fichier sans rien restaurer. C'est S3, et l'outil en ligne de commande d'AWS fournit une commande, aws s3 sync, qui ne copie que ce qui a changé. Programmée chaque nuit, c'est la sauvegarde de fichiers la moins chère et la plus fiable que vous puissiez avoir.

Pas à pas

1. Créez le bucket

   Console S3, Créer un compartiment, nom unique (copias-miempresa-web), même région que la machine (ainsi le transfert entre les deux ne consomme pas de quota et n'est pas facturé), bloquer tous les accès publics activé, gestion des versions activée et chiffrement par défaut. Créez.

2. Créez une clé qui ne peut écrire que dans ce bucket

   Dans IAM, créez une politique avec ce contenu (changez le nom du bucket) et un utilisateur copias-web avec cette politique et une clé d'accès, comme l'explique le guide sur l'utilisateur IAM avec des permissions minimales :

   {
     "Version": "2012-10-17",
     "Statement": [
       { "Effect": "Allow",
         "Action": ["s3:ListBucket"],
         "Resource": "arn:aws:s3:::copias-miempresa-web" },
       { "Effect": "Allow",
         "Action": ["s3:PutObject", "s3:GetObject", "s3:DeleteObject"],
         "Resource": "arn:aws:s3:::copias-miempresa-web/*" }
     ]
   }

   Si cette clé fuyait un jour, la seule chose que quelqu'un pourrait faire serait de toucher à ce bucket. Rien d'autre.

3. Installez l'outil d'AWS sur la machine

   En SSH, sur Ubuntu ou Debian :

   sudo apt update && sudo apt install -y awscli

   (Sur Amazon Linux, il est déjà installé.) Configurez-le avec la clé de l'étape précédente :

   aws configure

   Il vous demande l'identifiant de la clé, le secret, la région (eu-west-1, par exemple) et le format de sortie (laissez json). Ils sont enregistrés dans le dossier de l'utilisateur, lisibles par lui seul.

4. Testez la commande à la main

   aws s3 sync /var/www/html/uploads s3://copias-miempresa-web/uploads --delete

   La première fois, c'est long, parce que tout est envoyé ; vous verrez chaque fichier défiler. Les fois suivantes, seul ce qui a changé est envoyé. L'option --delete supprime dans le bucket ce qui n'est plus dans le dossier, pour que la copie soit un miroir ; avec la gestion des versions activée, ce qui est supprimé reste récupérable. Vérifiez dans la console S3 que les fichiers sont bien là.

5. Ajoutez la base de données si vous en avez une

   Pour que la sauvegarde contienne aussi la base de données, exportez-la d'abord dans un fichier du même dossier que celui qui est synchronisé, par exemple avec un petit script /usr/local/bin/copia.sh :

   #!/bin/bash
   mysqldump -u usuario -pCONTRASEÑA nombre_bd | gzip > /var/copias/bd-$(date +%F).sql.gz
   find /var/copias -name "bd-*.sql.gz" -mtime +7 -delete
   aws s3 sync /var/copias s3://copias-miempresa-web/bd
   aws s3 sync /var/www/html/uploads s3://copias-miempresa-web/uploads --delete

   Donnez-lui les droits d'exécution (chmod 700) et testez-le avec sudo /usr/local/bin/copia.sh. La ligne find supprime sur la machine les exports de plus d'une semaine ; dans S3, ils restent.

6. Programmez-le chaque nuit

   sudo crontab -e

   Ajoutez à la fin une ligne pour 3 h 30 du matin (heure de la machine, qui est en général UTC) :

   30 3 * * * /usr/local/bin/copia.sh >> /var/log/copia.log 2>&1

   Enregistrez. Le lendemain, regardez /var/log/copia.log et la date des fichiers dans S3. Mettez en plus une règle de cycle de vie sur le bucket qui supprime les anciennes versions après 30 ou 90 jours, pour qu'il ne grossisse pas sans fin (guide dans cette rubrique).

Ce qui peut mal tourner