Comment obtenir plus de 1000 objets de S3 en utilisant list_objects_v2 ?

Question

J'ai plus de 500 000 objets sur S3. J'essaie d'obtenir la taille de chaque objet. Je utilise le code Python suivant pour cela

import boto3

bucket = 'bucket'
prefix = 'prefix'

contents = boto3.client('s3').list_objects_v2(Bucket=bucket,  MaxKeys=1000, Prefix=prefix)["Contents"]

for c in contents:
    print(c["Size"])

Mais cela ne m'a donné que la taille des 1000 premiers objets. D'après la documentation, nous ne pouvons pas obtenir plus de 1000. Y a-t-il un moyen d'obtenir plus que cela?

Answer 1

La classe Paginator intégrée à boto3 est le moyen le plus simple de contourner la limitation de 1000 enregistrements de list-objects-v2. Cela peut être mis en œuvre de la manière suivante

s3 = boto3.client('s3')

paginator = s3.get_paginator('list_objects_v2')
pages = paginator.paginate(Bucket='bucket', Prefix='prefix')

for page in pages:
    for obj in page['Contents']:
        print(obj['Size'])

Pour plus de détails : https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Paginator.ListObjectsV2

Answer 2

Utilisez le ContinuationToken retourné dans la réponse en tant que paramètre pour les appels ultérieurs, jusqu'à ce que la valeur IsTruncated retournée dans la réponse soit fausse.

Ceci peut être factorisé dans une fonction génératrice soignée :

def get_all_s3_objects(s3, **base_kwargs):
    continuation_token = None
    while True:
        list_kwargs = dict(MaxKeys=1000, **base_kwargs)
        if continuation_token:
            list_kwargs['ContinuationToken'] = continuation_token
        response = s3.list_objects_v2(**list_kwargs)
        yield from response.get('Contents', [])
        if not response.get('IsTruncated'):  # À la fin de la liste ?
            break
        continuation_token = response.get('NextContinuationToken')

for file in get_all_s3_objects(boto3.client('s3'), Bucket=bucket, Prefix=prefix):
    print(file['Size'])

Answer 3

Si vous n'avez PAS BESOIN d'utiliser le boto3.client vous pouvez utiliser boto3.resource pour obtenir une liste complète de vos fichiers :

s3r = boto3.resource('s3')
bucket = s3r.Bucket('nom_du_bucket')
files_in_bucket = list(bucket.objects.all())

Ensuite, pour obtenir la taille :

tailles = [f.size for f in files_in_bucket]

En fonction de la taille de votre bucket, cela pourrait prendre quelques minutes.