Como copiar uma pasta do seu servidor para o S3 todas as noites com um único comando (aws s3 sync)

Os instantâneos da máquina são a cópia "grossa": todo o disco, para quando algo se estraga. Mas às vezes quer algo mais fino e mais barato: uma cópia diária de uma pasta (os carregamentos do site, os documentos, um despejo da base de dados) num sítio fora da máquina, de onde possa recuperar um único ficheiro sem restaurar nada. Isso é o S3, e a ferramenta de linha de comandos da AWS traz um comando, aws s3 sync, que copia só o que mudou. Agendado todas as noites, é a cópia de ficheiros mais barata e fiável que pode ter.

Passo a passo

1. Crie o bucket

   Consola do S3, Criar bucket, nome único (copias-miempresa-web), mesma região que a máquina (assim a transferência entre ambos não gasta quota nem é cobrada), bloquear todo o acesso público ativado, controlo de versões ativado e encriptação por defeito. Crie.

2. Crie uma chave que só possa escrever nesse bucket

   No IAM, crie uma política com este conteúdo (mude o nome do bucket) e um utilizador copias-web com essa política e uma chave de acesso, como explica o guia do utilizador IAM com permissões mínimas:

   {
     "Version": "2012-10-17",
     "Statement": [
       { "Effect": "Allow",
         "Action": ["s3:ListBucket"],
         "Resource": "arn:aws:s3:::copias-miempresa-web" },
       { "Effect": "Allow",
         "Action": ["s3:PutObject", "s3:GetObject", "s3:DeleteObject"],
         "Resource": "arn:aws:s3:::copias-miempresa-web/*" }
     ]
   }

   Se essa chave um dia vazasse, a única coisa que alguém poderia fazer era mexer nesse bucket. Nada mais.

3. Instale a ferramenta da AWS na máquina

   Por SSH, em Ubuntu ou Debian:

   sudo apt update && sudo apt install -y awscli

   (No Amazon Linux já vem instalada.) Configure-a com a chave do passo anterior:

   aws configure

   Pede-lhe o identificador da chave, o segredo, a região (eu-west-1, por exemplo) e o formato de saída (deixe json). Ficam guardados na pasta do utilizador, legíveis só por ele.

4. Teste o comando à mão

   aws s3 sync /var/www/html/uploads s3://copias-miempresa-web/uploads --delete

   Da primeira vez demora, porque carrega tudo; verá cada ficheiro a passar. Das seguintes só carrega o que mudou. A opção --delete apaga no bucket o que já não está na pasta, para que a cópia seja um espelho; com o controlo de versões ativado, o apagado continua recuperável. Confirme na consola do S3 que os ficheiros lá estão.

5. Acrescente a base de dados, se a tiver

   Para que a cópia tenha também a base de dados, despeje-a antes para um ficheiro na mesma pasta que se sincroniza, por exemplo com um pequeno script /usr/local/bin/copia.sh:

   #!/bin/bash
   mysqldump -u usuario -pCONTRASEÑA nombre_bd | gzip > /var/copias/bd-$(date +%F).sql.gz
   find /var/copias -name "bd-*.sql.gz" -mtime +7 -delete
   aws s3 sync /var/copias s3://copias-miempresa-web/bd
   aws s3 sync /var/www/html/uploads s3://copias-miempresa-web/uploads --delete

   Dê-lhe permissões de execução (chmod 700) e teste-o com sudo /usr/local/bin/copia.sh. A linha do find apaga na máquina os despejos com mais de uma semana; no S3 ficam.

6. Agende-o todas as noites

   sudo crontab -e

   Acrescente no fim uma linha para as 3:30 da madrugada (hora da máquina, que costuma ser UTC):

   30 3 * * * /usr/local/bin/copia.sh >> /var/log/copia.log 2>&1

   Guarde. No dia seguinte veja /var/log/copia.log e a data dos ficheiros no S3. Ponha ainda uma regra de ciclo de vida no bucket que apague as versões antigas passados 30 ou 90 dias, para que não cresça sem fim (guia nesta secção).

O que pode correr mal