Ottenere tutti Amazon S3 file all'interno di un cestello interno Promessa

Question 1

Sto cercando di afferrare migliaia di file da Amazon S3 all'interno di una Promessa, ma non riesco a capire come inserire la ContinuationToken all'interno se l'elenco è troncato e di raccogliere tutto insieme, all'interno della promessa. Sono un novizio con JS e potrebbe usare un certo aiuto. Ecco quello che ho, finora:

getFiles()
    .then(filterFiles)
    .then(mapUrls)
;

function getFiles(token) {
    var params = {
        Bucket: bucket,
        MaxKeys: 5000,
        ContinuationToken: token
    };
    var allKeys = [];

    var p = new Promise(function(resolve, reject){
    s3.listObjectsV2(params, function(err, data) {
      if (err) { 
        return reject(err);
      }
      allKeys.push(data.Contents)
      if (data.IsTruncated) {
        s3.listObjectsV2({Bucket: bucket, MaxKeys: 5000, ContinuationToken: data.NextContinuationToken})
        console.log('Getting more images...');
        allKeys.push(data.Contents)
      }
      resolve(data.Contents);
    });
  });

  return p;
}

Ho bisogno di una funzione per continuare a correre fino a quando ho creato un elenco di tutti gli oggetti nel secchio per tornare.

Question 2

Hai bisogno di ContinuationToken la seconda volta.

var params = {
    Bucket: bucket,
    MaxKeys: 5000,
};

if (data.IsTruncated) {
    s3.listObjectsV2({...params, ContinuationToken: data.NextContinuationToken})

IMO, questo è solo un s3 funzione chiamata due volte, più simile a un nidificati chiamata. La ricorsione è quando una funzione continua a chiamare se stesso fino ad una determinata condizione è soddisfatta.

Per saperne di più circa la ricorsione: https://medium.com/@vickdayaram/recursion-caad288bf621

Question 3

Sono stato in grado di elencare tutti gli oggetti nel secchio utilizzando async/await e il codice riportato di seguito per popolare un array.

async function getFiles(objects = []) {
    const response = await s3.listObjectsV2(params).promise();
    response.Contents.forEach(obj => filelist.push(obj.Key));
    if (response.NextContinuationToken) {
        params.ContinuationToken = response.NextContinuationToken;
        await getFiles(params, objects);
    }
    console.log(filelist.length)
    return filelist;
}

Grazie a tutti coloro che hanno contribuito!

sid · Answer 1 · 2021-10-25T16:29:42

Hai bisogno di ContinuationToken la seconda volta.

var params = {
    Bucket: bucket,
    MaxKeys: 5000,
};

if (data.IsTruncated) {
    s3.listObjectsV2({...params, ContinuationToken: data.NextContinuationToken})

IMO, questo è solo un s3 funzione chiamata due volte, più simile a un nidificati chiamata. La ricorsione è quando una funzione continua a chiamare se stesso fino ad una determinata condizione è soddisfatta.

Per saperne di più circa la ricorsione: https://medium.com/@vickdayaram/recursion-caad288bf621

Buon punto - io aggiornare la mia domanda con un dettaglio maggiore. Ho bisogno di una funzione per continuare a correre fino a quando tutti i file sono stati recuperati.

AppleBaggins · Answer 2 · 2021-10-26T00:59:26

Sono stato in grado di elencare tutti gli oggetti nel secchio utilizzando async/await e il codice riportato di seguito per popolare un array.

async function getFiles(objects = []) {
    const response = await s3.listObjectsV2(params).promise();
    response.Contents.forEach(obj => filelist.push(obj.Key));
    if (response.NextContinuationToken) {
        params.ContinuationToken = response.NextContinuationToken;
        await getFiles(params, objects);
    }
    console.log(filelist.length)
    return filelist;
}

Grazie a tutti coloro che hanno contribuito!

Ottenere tutti Amazon S3 file all'interno di un cestello interno Promessa

Domanda

In altre lingue

Questa pagina è in altre lingue

Popolare in questa categoria

Domande popolari in questa categoria