Télécharger un seau S3 entier ?

Question

J'ai remarqué qu'il ne semble pas y avoir d'option pour télécharger un dossier complet. s3 à partir de l'AWS Management Console.

Existe-t-il un moyen facile d'attraper tout ce qui se trouve dans un de mes godets ? Je pensais rendre le dossier racine public, en utilisant la fonction wget pour tout récupérer, et ensuite le rendre privé à nouveau, mais je ne sais pas s'il y a un moyen plus simple.

Answer 1

CLI D'AWS

Voir le " Référence des commandes de l'AWS CLI "pour plus d'informations.

AWS a récemment publié ses outils en ligne de commande, qui fonctionnent à peu près comme boto et peuvent être installés à l'aide des éléments suivants

sudo easy_install awscli

ou

sudo pip install awscli

Une fois installé, vous pouvez alors simplement exécuter :

aws s3 sync s3://<source_bucket> <local_destination>

Par exemple :

aws s3 sync s3://mybucket .

va télécharger tous les objets dans mybucket dans le répertoire courant.

Et va sortir :

download: s3://mybucket/test.txt to test.txt
download: s3://mybucket/test2.txt to test2.txt

Cela va télécharger tous vos fichiers en utilisant une synchronisation à sens unique. Il va pas supprime tous les fichiers existants dans votre répertoire actuel, sauf si vous spécifiez --delete et il ne modifiera ni ne supprimera aucun fichier sur S3.

Vous pouvez également effectuer une synchronisation de seau S3 à seau S3, ou de local à seau S3.

Consultez le documentation et autres exemples .

Alors que l'exemple ci-dessus montre comment télécharger un seau complet, vous pouvez également télécharger un dossier de manière récursive en exécutant la procédure suivante

aws s3 cp s3://BUCKETNAME/PATH/TO/FOLDER LocalFolderName --recursive

Cela demandera au CLI de télécharger tous les fichiers et les clés de dossiers de manière récursive dans le répertoire PATH/TO/FOLDER dans le répertoire BUCKETNAME seau.

Answer 2

Vous pouvez utiliser s3cmd pour télécharger votre seau :

s3cmd --configure
s3cmd sync s3://bucketnamehere/folder /destination/folder

---

Il existe un autre outil que vous pouvez utiliser, appelé rclone . Il s'agit d'un exemple de code dans la documentation de Rclone :

rclone sync /home/local/directory remote:bucket

Answer 3

J'ai utilisé plusieurs méthodes différentes pour copier des données Amazon S3 sur une machine locale, notamment s3cmd et le plus simple est de loin Cyberduck .

Il vous suffit d'entrer vos informations d'identification Amazon et d'utiliser l'interface simple pour télécharger, charger et synchroniser n'importe lequel de vos dossiers ou fichiers.

Answer 4

Pour Windows, Navigateur S3 est le moyen le plus simple que j'ai trouvé. C'est un excellent logiciel, et il est gratuit pour une utilisation non commerciale.

Answer 5

J'ai fait un peu de développement pour S3 et je n'ai pas trouvé de moyen simple de télécharger un seau entier.

Si vous voulez coder en Java, le jets3t lib est facile à utiliser pour créer une liste de seaux et itérer sur cette liste pour les télécharger.

Tout d'abord, obtenez un jeu de clés privées publiques à partir de la console de gestion AWS afin de pouvoir créer un objet S3service :

AWSCredentials awsCredentials = new AWSCredentials(YourAccessKey, YourAwsSecretKey);
s3Service = new RestS3Service(awsCredentials);

Ensuite, obtenez un tableau de vos objets buckets :

S3Object[] objects = s3Service.listObjects(YourBucketNameString);

Enfin, il faut itérer sur ce tableau pour télécharger les objets un par un :

S3Object obj = s3Service.getObject(bucket, fileName);
            file = obj.getDataInputStream();

J'ai mis le code de connexion dans un singleton threadsafe. La syntaxe try/catch nécessaire a été omise pour des raisons évidentes.

Si vous préférez coder en Python, vous pouvez utiliser Boto à la place.

Après avoir fait le tour de BucketExplorer, " Télécharger le seau entier " peut faire ce que vous voulez.