Comment écrire un fichier ou des données dans un objet S3 en utilisant boto3

Question

Dans le boto 2, vous pouvez écrire dans un objet S3 en utilisant ces méthodes :

• Key.set_contents_from_string()
• Key.set_contents_from_file()
• Key.set_contents_from_filename()
• Key.set_contents_from_stream()

Existe-t-il un équivalent du boto 3 ? Quelle est la méthode boto3 pour sauvegarder des données dans un objet stocké sur S3 ?

Answer 1

Dans le boto 3, les méthodes "Key.set_contents_from_" ont été remplacées par les méthodes suivantes

• Objet.put()

• Client.put_object()

Par exemple :

import boto3

some_binary_data = b'Here we have some data'
more_binary_data = b'Here we have some more data'

# Method 1: Object.put()
s3 = boto3.resource('s3')
object = s3.Object('my_bucket_name', 'my/key/including/filename.txt')
object.put(Body=some_binary_data)

# Method 2: Client.put_object()
client = boto3.client('s3')
client.put_object(Body=more_binary_data, Bucket='my_bucket_name', Key='my/key/including/anotherfilename.txt')

Alternativement, les données binaires peuvent provenir de la lecture d'un fichier, comme décrit dans la rubrique les docs officiels comparant boto 2 et boto 3 :

Stockage des données

Il est facile de stocker des données à partir d'un fichier, d'un flux ou d'une chaîne :

# Boto 2.x
from boto.s3.key import Key
key = Key('hello.txt')
key.set_contents_from_file('/tmp/hello.txt')

# Boto 3
s3.Object('mybucket', 'hello.txt').put(Body=open('/tmp/hello.txt', 'rb'))

Answer 2

Boto3 dispose également d'une méthode pour télécharger directement un fichier :

s3 = boto3.resource('s3')    
s3.Bucket('bucketname').upload_file('/local/file/here.txt','folder/sub/path/to/s3key')

http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Bucket.upload_file

Answer 3

Vous n'avez plus besoin de convertir le contenu en binaire avant d'écrire dans le fichier dans S3. L'exemple suivant crée un nouveau fichier texte (appelé newfile.txt) dans un seau S3 avec un contenu de chaîne de caractères :

import boto3

s3 = boto3.resource(
    's3',
    region_name='us-east-1',
    aws_access_key_id=KEY_ID,
    aws_secret_access_key=ACCESS_KEY
)
content="String content to write to a new S3 file"
s3.Object('my-bucket-name', 'newfile.txt').put(Body=content)

Answer 4

Voici une belle astuce pour lire JSON depuis s3 :

import json, boto3
s3 = boto3.resource("s3").Bucket("bucket")
json.load_s3 = lambda f: json.load(s3.Object(key=f).get()["Body"])
json.dump_s3 = lambda obj, f: s3.Object(key=f).put(Body=json.dumps(obj))

Vous pouvez maintenant utiliser json.load_s3 y json.dump_s3 avec la même API que load y dump

data = {"test":0}
json.dump_s3(data, "key") # saves json to s3://bucket/key
data = json.load_s3("key") # read json from s3://bucket/key

Answer 5

Une version plus propre et concise que j'utilise pour télécharger des fichiers à la volée vers un seau S3 et un sous-dossier donnés

import boto3

BUCKET_NAME = 'sample_bucket_name'
PREFIX = 'sub-folder/'

s3 = boto3.resource('s3')

# Creating an empty file called "_DONE" and putting it in the S3 bucket
s3.Object(BUCKET_NAME, PREFIX + '_DONE').put(Body="")

Note _: Vous devez TOUJOURS mettre vos informations d'identification AWS ( aws_access_key_id y aws_secret_access_key ) dans un fichier séparé, par exemple- ~/.aws/credentials_