Max des fichiers par répertoire dans S3
Si j'avais un million d'images, serait-il préférable de les stocker dans un dossier/sous-dossier de hiérarchie ou de simplement les jeter tout droit dans un seau (sans dossiers)?
Serait dumping toutes les images en une hiérarchie moins seau de ralentir le fonctionnement de la LISTE?
Est-il une surcharge importante dans la création de dossiers et sous-dossiers, à la volée et mise en place de leur Acl (par programmation parlant)?
Vous devez vous connecter pour publier un commentaire.
S3 n'a pas de respect hiérarchique des espaces de noms. Chaque seau contient un certain nombre de correspondances à partir de la clé de l'objet (avec les métadonnées associées, Acl et ainsi de suite).
Même si votre objet est la clé peut contenir un '/', S3 traite le chemin comme une chaîne simple et met tous les objets dans un espace de noms plat.
Dans mon expérience, la LISTE des activités de la prendre (linéaire) de plus, comme nombre d'objets augmente, mais c'est probablement un symptôme de l'augmentation de I/O obligatoire sur les serveurs Amazon, et le long du fil à votre client.
Cependant, la recherche de temps ne semble pas augmenter avec le nombre d'objets - c'est le plus probablement une sorte de O(1) table de hachage de la mise en œuvre sur leur fin, de sorte qu'ayant de nombreux objets dans le même seau devrait être tout aussi performant que les petits seaux pour une utilisation normale (pas de Listes).
Comme pour l'ACL, des subventions peuvent être mis sur le seau et sur chaque objet. Comme il n'y a pas de hiérarchie, ils sont votre seulement deux options. Évidemment, créer autant de seau à l'échelle de subventions permettront de réduire massivement votre admin maux de tête si vous avez des millions de fichiers, mais n'oubliez pas que vous ne pouvez subvention autorisations, de ne pas révoquer, de sorte que le seau à l'échelle de la subvention devrait être le sous-ensemble maximal de l'ACL pour l'ensemble de son contenu.
J'aimerais vous conseillons de le diviser en différents seaux pour:
De répondre à la question initiale "Max fichiers par répertoire dans S3" est ILLIMITÉE. Voir aussi S3 limite aux objets dans un seau.
- Je utiliser une structure de répertoire avec une racine au moins un sous-répertoire. J'utilise souvent le "document date d'importation" comme le répertoire sous la racine. Cela peut rendre la gestion des sauvegardes un peu plus facile. Quel système de fichiers que vous utilisez, vous êtes lié pour frapper un fichier de limite de nombre (pratique si ce n'est un physycal limite) par la suite. Vous pourriez penser sur la façon de soutenir de multiples causes ainsi.