Un moyen rapide de lister tous les fichiers dans le seau Amazon S3 ?

Question

J'ai un seau amazon s3 qui contient des dizaines de milliers de noms de fichiers. Quel est le moyen le plus simple d'obtenir un fichier texte qui répertorie tous les noms de fichiers dans le seau ?

Answer 1

Je recommande d'utiliser boto . Ensuite, c'est un rapide quelques lignes de python :

from boto.s3.connection import S3Connection

conn = S3Connection('access-key','secret-access-key')
bucket = conn.get_bucket('bucket')
for key in bucket.list():
    print(key.name.encode('utf-8'))

Enregistrez ce fichier sous le nom de list.py, ouvrez un terminal, puis exécutez-le :

$ python list.py > results.txt

Answer 2

CLI D'AWS

Documentation pour aws s3 ls

AWS a récemment publié ses outils de ligne de commande. Cela fonctionne comme boto et peut être installé en utilisant sudo easy_install awscli o sudo pip install awscli

Une fois l'installation terminée, il vous suffit d'exécuter

aws s3 ls

Ce qui vous montrera tous les godets disponibles.

CreationTime Bucket
       ------------ ------
2013-07-11 17:08:50 mybucket
2013-07-24 14:55:44 mybucket2

Vous pouvez ensuite rechercher des fichiers dans un seau spécifique.

Commande :

aws s3 ls s3://mybucket

Sortie :

Bucket: mybucket
Prefix:

      LastWriteTime     Length Name
      -------------     ------ ----
                           PRE somePrefix/
2013-07-25 17:06:27         88 test.txt

Cela vous montrera tous vos fichiers.

Answer 3

s3cmd est inestimable pour ce genre de choses

$ s3cmd ls -r s3://yourbucket/ | awk '{print $4}' > objects_in_bucket

Answer 4

Attention, la liste d'Amazon ne renvoie que 1000 fichiers. Si vous voulez itérer sur tous les fichiers, vous devez paginer les résultats en utilisant des marqueurs :

En ruby, en utilisant aws-s3

bucket_name = 'yourBucket'
marker = ""

AWS::S3::Base.establish_connection!(
  :access_key_id => 'your_access_key_id',
  :secret_access_key => 'your_secret_access_key'
)

loop do
  objects = Bucket.objects(bucket_name, :marker=>marker, :max_keys=>1000)
  break if objects.size == 0
  marker = objects.last.key

  objects.each do |obj|
      puts "#{obj.key}"
  end
end

fin

J'espère que cela vous aidera, Vincent

Answer 5

Après Zach, je recommanderais également boto mais je devais faire une légère différence dans son code :

conn = boto.connect_s3('access-key', 'secret'key')
bucket = conn.lookup('bucket-name')
for key in bucket:
    print key.name