Ajouter des données à un objet S3

Question

Disons que j'ai une machine sur laquelle je veux pouvoir écrire dans un certain fichier journal stocké sur un seau S3.

La machine doit donc avoir la capacité d'écrire dans ce bac, mais je ne veux pas qu'elle ait la capacité d'écraser ou de supprimer les fichiers de ce bac (y compris celui dans lequel je veux qu'elle écrive).

En gros, je veux que ma machine puisse seulement ajouter des données à ce fichier journal, sans le remplacer ou le télécharger.

Existe-t-il un moyen de configurer mon S3 pour qu'il fonctionne de cette manière ? Peut-être y a-t-il une politique IAM que je peux y attacher pour qu'il fonctionne comme je le souhaite ?

Answer 1

Malheureusement, vous ne pouvez pas.

S3 n'a pas d'opération "append". * Une fois qu'un objet a été téléchargé, il n'y a aucun moyen de le modifier sur place ; votre seule option est de télécharger un nouvel objet pour le remplacer, ce qui ne répond pas à vos exigences.

* : Oui, je sais que ce post date d'il y a quelques années. Mais il est toujours d'actualité.

Answer 2

Comme l'indique la réponse acceptée, vous ne pouvez pas. La meilleure solution que je connaisse est d'utiliser :

AWS Kinesis Firehose

https://aws.amazon.com/kinesis/firehose/

Leur exemple de code a l'air compliqué mais le vôtre peut être très simple. Vous continuez à effectuer des opérations PUT (ou BATCH PUT) sur un flux de livraison Kinesis Firehose dans votre application (à l'aide du SDK AWS), et vous configurez le flux de livraison Kinesis Firehose pour envoyer vos données diffusées vers un seau AWS S3 de votre choix (dans la console AWS Kinesis Firehose).

Ce n'est toujours pas aussi pratique que >> à partir de la ligne de commande Linux, parce qu'une fois que vous avez créé un fichier sur S3, vous devez à nouveau vous occuper du téléchargement, de l'ajout et du transfert du nouveau fichier, mais vous ne devez le faire qu'une fois par lot de lignes plutôt que pour chaque ligne de données, de sorte que vous n'avez pas à vous soucier de frais énormes en raison du volume des opérations d'ajout. C'est peut-être possible, mais je ne vois pas comment le faire à partir de la console.

Answer 3

Les objets sur S3 ne sont pas appendables. Vous avez 2 solutions dans ce cas :

1. copier toutes les données S3 dans un nouvel objet, ajouter le nouveau contenu et réécrire dans S3.

function writeToS3(input) {
    var content;
    var getParams = {
        Bucket: 'myBucket', 
        Key: "myKey"
    };

    s3.getObject(getParams, function(err, data) {
        if (err) console.log(err, err.stack);
        else {
            content = new Buffer(data.Body).toString("utf8");
            content = content + '\n' + new Date() + '\t' + input;
            var putParams = {
                Body: content,
                Bucket: 'myBucket', 
                Key: "myKey",
                ACL: "public-read"
             };

            s3.putObject(putParams, function(err, data) {
                if (err) console.log(err, err.stack); // an error occurred
                else     {
                    console.log(data);           // successful response
                }
             });
        }
    });  
}

2. La deuxième option consiste à utiliser Kinesis Firehose. C'est assez simple. Vous devez créer votre flux de livraison Firehose et lier la destination au seau S3. C'est tout !

function writeToS3(input) {
    var content = "\n" + new Date() + "\t" + input;
    var params = {
      DeliveryStreamName: 'myDeliveryStream', /* required */
      Record: { /* required */
        Data: new Buffer(content) || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
      }
    };

    firehose.putRecord(params, function(err, data) {
      if (err) console.log(err, err.stack); // an error occurred
      else     console.log(data);           // successful response
    }); 
}

Answer 4

Si quelqu'un souhaite ajouter des données à un objet avec un service de type S3, l'OSS (Object Storage Service) d'Alibaba Cloud le supporte nativement .

OSS propose le téléchargement d'append (via l'API AppendObject), qui vous permet d'ajouter directement du contenu à la fin d'un objet. Les objets téléchargés en utilisant cette méthode sont des objets appendables, tandis que les objets téléchargés en utilisant d'autres méthodes sont des objets normaux. Les données ajoutées sont immédiatement lisibles.

Answer 5

J'ai eu le même problème et voici ce que j'avais demandé

Comment ajouter des données dans un fichier à l'aide d'AWS Lambda ?

Voici ce que j'ai trouvé pour résoudre le problème ci-dessus :

Utilisez getObject pour récupérer le fichier existant.

   s3.getObject(getParams, function(err, data) {
   if (err) console.log(err, err.stack); // an error occurred
   else{
       console.log(data);           // successful response
       var s3Projects = JSON.parse(data.Body);
       console.log('s3 data==>', s3Projects);
       if(s3Projects.length > 0) {
           projects = s3Projects;
       }   
   }
   projects.push(event);
   writeToS3(); // Calling function to append the data
});

Fonction d'écriture pour ajouter dans le fichier

   function writeToS3() {
    var putParams = {
      Body: JSON.stringify(projects),
      Bucket: bucketPath, 
      Key: "projects.json",
      ACL: "public-read"
     };

    s3.putObject(putParams, function(err, data) {
       if (err) console.log(err, err.stack); // an error occurred
       else     console.log(data);           // successful response
        callback(null, 'Hello from Lambda');
     });
}

J'espère que cela aidera !