Come copiare una cartella del tuo server su S3 ogni notte con un solo comando (aws s3 sync)

Le istantanee della macchina sono il backup "grosso": tutto il disco, per quando qualcosa si rompe. Ma a volte vuoi qualcosa di più fine e più economico: una copia giornaliera di una cartella (i file caricati sul sito, i documenti, un dump del database) in un posto fuori dalla macchina, da cui poter recuperare un singolo file senza ripristinare nulla. Quello è S3, e lo strumento a riga di comando di AWS ha un comando, aws s3 sync, che copia solo ciò che è cambiato. Programmato ogni notte, è il backup di file più economico e affidabile che puoi avere.

Passo dopo passo

1. Crea il bucket

   Console di S3, Crea bucket, nome unico (copias-miempresa-web), stessa regione della macchina (così il trasferimento tra i due non consuma quota né viene addebitato), blocca tutti gli accessi pubblici attivo, controllo delle versioni attivo e crittografia predefinita. Crea.

2. Crea una chiave che possa scrivere solo in quel bucket

   In IAM, crea una policy con questo contenuto (cambia il nome del bucket) e un utente copias-web con quella policy e una chiave di accesso, come spiega la guida sull'utente IAM con permessi minimi:

   {
     "Version": "2012-10-17",
     "Statement": [
       { "Effect": "Allow",
         "Action": ["s3:ListBucket"],
         "Resource": "arn:aws:s3:::copias-miempresa-web" },
       { "Effect": "Allow",
         "Action": ["s3:PutObject", "s3:GetObject", "s3:DeleteObject"],
         "Resource": "arn:aws:s3:::copias-miempresa-web/*" }
     ]
   }

   Se un giorno quella chiave dovesse trapelare, l'unica cosa che qualcuno potrebbe fare è toccare quel bucket. Nient'altro.

3. Installa lo strumento di AWS sulla macchina

   Via SSH, su Ubuntu o Debian:

   sudo apt update && sudo apt install -y awscli

   (Su Amazon Linux è già installato.) Configuralo con la chiave del passo precedente:

   aws configure

   Ti chiede l'identificativo della chiave, il segreto, la regione (eu-west-1, per esempio) e il formato di output (lascia json). Restano salvati nella cartella dell'utente, leggibili solo da lui.

4. Prova il comando a mano

   aws s3 sync /var/www/html/uploads s3://copias-miempresa-web/uploads --delete

   La prima volta ci mette un po', perché carica tutto; vedrai passare ogni file. Le volte successive carica solo ciò che è cambiato. L'opzione --delete cancella nel bucket quello che non c'è più nella cartella, perché la copia sia uno specchio; con il controllo delle versioni attivo, ciò che è stato cancellato resta recuperabile. Verifica nella console di S3 che i file siano lì.

5. Aggiungi il database, se ce l'hai

   Perché il backup contenga anche il database, prima esportalo in un file nella stessa cartella che viene sincronizzata, per esempio con un piccolo script /usr/local/bin/copia.sh:

   #!/bin/bash
   mysqldump -u usuario -pCONTRASEÑA nombre_bd | gzip > /var/copias/bd-$(date +%F).sql.gz
   find /var/copias -name "bd-*.sql.gz" -mtime +7 -delete
   aws s3 sync /var/copias s3://copias-miempresa-web/bd
   aws s3 sync /var/www/html/uploads s3://copias-miempresa-web/uploads --delete

   Dagli i permessi di esecuzione (chmod 700) e provalo con sudo /usr/local/bin/copia.sh. La riga di find cancella sulla macchina i dump più vecchi di una settimana; su S3 restano.

6. Programmalo ogni notte

   sudo crontab -e

   Aggiungi in fondo una riga per le 3:30 di notte (ora della macchina, che di solito è UTC):

   30 3 * * * /usr/local/bin/copia.sh >> /var/log/copia.log 2>&1

   Salva. Il giorno dopo guarda /var/log/copia.log e la data dei file su S3. Metti inoltre una regola di ciclo di vita sul bucket che cancelli le versioni vecchie passati 30 o 90 giorni, perché non cresca all'infinito (guida in questa sezione).

Cosa può andare storto