Rapide moyen de la liste de tous les fichiers dans le compartiment Amazon S3 à l'aide de php?

J'ai un compartiment amazon s3 qui a des dizaines de milliers de noms de fichiers. Quelle est la meilleure façon d'obtenir une liste de tous les fichiers ou un fichier texte qui répertorie tous les noms de fichiers dans le seau?

J'ai essayé avec listObject(), mais Il semble qu'il n'liste de 1000 fichiers.

amazon-s3-retour-uniquement-de 1000 entrées-pour-un-seau-et-tous-pour-l'autre-seau-u
S3-Fournisseur-ne-pas-obtenir-plus-de-1000-articles-de-seau

--> Liste des Clés à l'Aide du kit SDK AWS pour PHP
mais dans aws docs que j'ai lu

max-clés - chaîne - en Option - Le nombre maximum de résultats retournés
par l'appel de méthode. La liste retournée ne contiennent pas plus de résultats
que la valeur spécifiée, mais peut revenir moins. La valeur par défaut est
1000.

AWS DOC POUR list_objects

Est-il possible de dresser une liste et de les imprimer dans un fichier texte à l'aide d'AWS SDK PHP ?

Possible de répéter : rapide-moyen-de-liste-toutes les-fichiers-en-amazon-s3-seau

J'ai reposté la question parce que je suis à la recherche de la solution en php.

Code :

$s3Client = S3Client::factory(array('key' => $access, 'secret' => $secret));

$response = $s3Client->listObjects(array('Bucket' => $bucket, 'MaxKeys' => 1000, 'Prefix' => 'files/'));
$files = $response->getPath('Contents');
$request_id = array();
foreach ($files as $file) {
    $filename = $file['Key'];
    print "\n\nFilename:". $filename;

 }
Notez que les nouvelles versions de PHP SDK le client doit être créé comme ceci à la place: $s3Client = S3Client::factory(array('credentials' => array('key' => $access, 'secret' => $secret)));
Merci pour l'information

OriginalL'auteur Hitesh | 2014-03-04

  1. 12

    Pour obtenir plus de 1000 objets, vous devez faire plusieurs demandes à l'aide de la Marker paramètre S3 dire où vous l'avez laissé pour chaque demande. À l'aide de la Les itérateurs fonction du SDK AWS pour PHP en fait plus facile d'obtenir tous les objets, parce qu'il encapsule la logique de faire plusieurs requêtes à l'API. Essayez ceci:

    $objects = $s3Client->getListObjectsIterator(array(
    'Bucket' => $bucket,
    'Prefix' => 'files/'
));

foreach ($objects as $object) {
    echo $object['Key'] . "\n";
}

    Avec la dernière version du SDK PHP (Mars 2016), le code doit être écrit comme ceci à la place:

    $objects = $s3Client->getIterator('ListObjects', array(
    'Bucket' => $bucket,
    'Prefix' => 'files/'
));
    vous êtes peu en retard, j'ai moi aussi trouvé le même mais Merci beaucoup, j'ai fait faire un peu de travail autour de dans ce pour le faire fonctionner pour moi, mais comme j'ai trouvé que chaque demande seulement la liste des 1000 et si vous faites une recherche (permet de supposer que pour les fichiers pdf, il recherche à partir de ces 1 000 résultats) donc, je ne peux pas être sûr de les compter, mais j'ai trouvé que c'est le seul truc à faire
    qui un u de recommander votre réponse ou la mienne ? et pourquoi ?
    Je dirais que le mien serait préférable pour les raisons suivantes: 1.) Il nécessite moins de demandes. Étant donné que n est le nombre total d'objets S3 dans votre seau avec de l' files/ préfixe, ma solution nécessite ceil(n/1000) des demandes. Toujours vôtre exige exactement 52 demandes, si oui ou non elles sont toutes nécessaires. 2.) Le mien ne nécessite qu'une boucle au lieu de 2 boucles avec des boucles imbriquées. 3.) Si vous avez eu plus de 1000 fichiers qui a commencé par une lettre particulière, votre solution de capture seulement les 1000 premiers par lettre. La mienne sera toujours bénéficier de tous vos objets.
    Je pense que pour obtenir l'adresse URL complète, tu peux faire ça: sprintf('http://%s.s3.amazonaws.com/%s', $bucket_name, $objet['Clé'])

    OriginalL'auteur Jeremy Lindblom

  2. 1

    Code ci-dessous est juste un truc de contourner le problème, j'ai fait à ma CDN bucket dossier qui ont beaucoup de dossiers par ordre alphabétique (a-z & A-Z), donc je viens de faire plusieurs demandes pour en faire la liste de tous les fichiers,

    This code is to list mp4, pdf, png, jpg or all files 

    //letter range a-z and A-Z
$az = range('a', 'z');
$AZ = range('A', 'Z');
//To get the total no of files
$total = 0;
//text file
$File = "CDNFileList.txt"; 
//getting dropdownlist values 
$selectedoption = $_POST['cdn_dropdown_list'];
$file_ext = '';
if ($selectedoption == 'pdf'){
$file_ext = 'PDF DOCUMENTS';
}else if(($selectedoption == 'jpg')){
$file_ext = 'JPEG IMAGES';
}else if(($selectedoption == 'png')){
$file_ext = 'PNG IMAGES';
}else if($selectedoption == 'mp4'){
$file_ext = 'MP4 VIDEOS';
}else if($selectedoption == 'all'){
$file_ext = 'ALL CONTENTS';
}
//Creating table
echo "<table style='width:300px' border='1'><th colspan='2'><b>List of $file_ext</b></th><tr><td><b>Name of the File</b></td><td><b>URL of the file</b></td></tr>";
foreach($az as $value){
$response = $s3Client->listObjects(array('Bucket' => $bucket, 'MaxKeys' => 1000, 'Prefix' => 'files/'.$value));
$files = $response->getPath('Contents');
$file_list = array();
foreach ($files as $file) {
$filename = $file['Key'];
if ( 'all' == ($selectedoption)){
$file_path_parts = pathinfo($filename);
$file_name = $file_path_parts['filename'];
echo "<tr><td>$file_name</td><td><a href = '";
echo $baseUrl.$filename;
echo "' target='_blank'>";
echo $baseUrl.$filename;
echo "</a></td></tr>";
$filename = $baseUrl.$filename.PHP_EOL; 
array_push($file_list, $filename);
$total++;
}else{
$filetype = strtolower(substr($filename, strrpos($filename, '.')+1));
if ($filetype == ($selectedoption)){
$file_path_parts = pathinfo($filename);
$file_name = $file_path_parts['filename'];
echo "<tr><td>$file_name</td><td><a href = '";
echo $baseUrl.$filename;
echo "' target='_blank'>";
echo $baseUrl.$filename;
echo "</a></td></tr>";
$filename = $baseUrl.$filename.PHP_EOL; 
array_push($file_list, $filename);
$total++;
}
}
}
}
foreach($AZ as $value){
$response = $s3Client->listObjects(array('Bucket' => $bucket, 'MaxKeys' => 1000, 'Prefix' => 'files/'.$value));
$files = $response->getPath('Contents');
$file_list = array();
foreach ($files as $file) {
$filename = $file['Key'];
if ( 'all' == ($selectedoption)){
$file_path_parts = pathinfo($filename);
$file_name = $file_path_parts['filename'];
echo "<tr><td>$file_name</td><td><a href = '";
echo $baseUrl.$filename;
echo "' target='_blank'>";
echo $baseUrl.$filename;
echo "</a></td></tr>";
$filename = $baseUrl.$filename.PHP_EOL; 
array_push($file_list, $filename);
$total++;
}else{
$filetype = strtolower(substr($filename, strrpos($filename, '.')+1));
if ($filetype == ($selectedoption)){
$file_path_parts = pathinfo($filename);
$file_name = $file_path_parts['filename'];
echo "<tr><td>$file_name</td><td><a href = '";
echo $baseUrl.$filename;
echo "' target='_blank'>";
echo $baseUrl.$filename;
echo "</a></td></tr>";
$filename = $baseUrl.$filename.PHP_EOL; 
array_push($file_list, $filename);
$total++;
}
}
}
}
echo "</table><br/>";
print "\n\nTOTAL NO OF $file_ext ".$total;

    C'est juste une solution de contournement pour ce problème,Puisqu'il n'est pas AWS API à la liste de tous les fichiers (plus de 1000). espérons que cela aide quelqu'un.

    Je suis d'erreur alors que je suis cotation S3 objects.PHP Fatal error: Uncaught Aws\S3\Exception\PermanentRedirectException: AWS Code d'Erreur: PermanentRedirect, Code d'État: 301,
    AWS ID de la Demande: E07DWDWED, AWS Type d'erreur: Erreur client, AWS Message d'Erreur: Le seau que vous tentez d'accès doit être adressée à l'aide de l'extrémité spécifiée. Veuillez envoyer toutes les futures demandes à cet effet: "images.cser.in.s3.amazonaws.com"., User-Agent: aws-sdk-php2/2.7.27 Bouffer/3.9.3 curl/7.40.0 PHP/5.5.31 ITR
    jeté dans /var/www/html/app/s3/vendor/aws/aws-sdk-php/src/Aws/Common/Exception/NamespaceExceptionFactory.php sur la ligne 91
    peut-on aider dans la compréhension de cette erreur...
    merci de poser la question en tant décrivant le scénario. Si vous avez déjà posé la question, de partager le lien

    OriginalL'auteur Hitesh