amazon s3 partitionnement de fichiers les meilleures pratiques

Espérons le, une question simple - toutes mes excuses si ça a déjà été répondu, mais rien n'est venu dans les moteurs de recherche.

Sur S3 est-il mieux organise les images en plus petits sous-répertoires, ou tout simplement de les garder tous dans un même répertoire? Typique d'un système de fichiers serait un espace de noms, les images dans les répertoires pour améliorer les performances. Une structure plate avec des milliers d'images dans un répertoire n'a pas l'habitude d'accomplir le bien. Est-ce le cas sur Amazon S3?

Je peux mettre tous les utilisateurs d'images dans un dossier utilisateurs, toutes les images dans l'un des postes du dossier, etc. OU je peux mettre de l'utilisateur des images dans des dossiers comme les utilisateurs/{idutilisateur} pour éviter d'avoir des milliers d'images dans un dossier utilisateurs.

InformationsquelleAutor Marc | 2012-03-10
  1. 10

    Mise à jour 2018-07

    Il n'est plus tenu de rendre compte de la performance lors de l'élaboration du schéma de partitionnement pour votre cas d'utilisation, voir mon InfoQ résumé Amazon S3 Augmente les Taux de Demande de Performance et de Gouttes Randomisés Préfixe Exigence pour plus de détails:

    Amazon Web Services (AWS) a récemment annoncé augmenté de façon significative S3 taux de demande de la performance et de la capacité de paralléliser les requêtes pour le débit souhaité. Notamment cette augmentation des performances aussi "enlève tous les précédents conseils pour randomiser objet préfixes" et permet l'utilisation de "ou logique séquentielle des modèles de noms dans S3 objet de nommage sans aucune incidence sur les performances".

    Mise à jour 2013-09

    Les informations dans le lien référencé, tout en encore largement
    précis    , a été supplantée par un nouveau document, S3 Taux de Demande et les facteurs de Performance.

    Première réponse

    C'est un problème avec Amazon S3 ainsi, quoique pour d'importantes exigences en matière d'entreposage, voir Amazon S3 Performance Trucs & Astuces pour une réponse détaillée, y compris des stratégies pour le partitionnement de l'espace objet.

    • Je veux juste ajouter que les conseils de la première liaison sont aujourd'hui obsolète, et vous pouvez l'ajouter à votre réponse: aws.amazon.com/about-aws/whats-new/2018/07/... "Cette S3 demande de taux d'augmentation des performances supprime les orientations précédentes, afin de rendre aléatoire l'objet préfixes pour atteindre des performances plus rapides. Cela signifie que vous pouvez maintenant utiliser ou logique séquentielle des modèles de noms dans S3 objet de nommage sans aucune incidence sur les performances. "
    • Merci pour le coup de coude @CodesInTheDark - par hasard que j'ai recouvert cette importante et hautement amélioration bienvenue pour InfoQ et ont maintenant mis à jour la réponse avec un pointeur de ma resp. news post 😉
    InformationsquelleAutor Steffen Opel
  2. 0

    Vaut le coup de réfléchir à un schéma de segmentation sur des fichiers... si pour aucune autre raison que d'avoir un moyen de filtrer vos fichiers si vous souhaitez manuellement regardez autour de vous.

    Mais ne pas passer trop de temps si vous êtes certain que de toutes les façons, vous devrez généralement accéder à vos fichiers... Vous pouvez toujours migrer vers un nouveau régime plus tard.

    • Ainsi les noms de fichiers eux-mêmes seront préfixés avec l'ID de l'utilisateur de sorte qu'il est facile de trouver un particulier, les utilisateurs de fichiers avec l'une ou l'autre méthode. Plus le problème est que normal du système de fichiers préoccupations affecter S3 (baisse de performance avec des dizaines de milliers de fichiers dans le même dossier).
    InformationsquelleAutor sethcall
  3. 0

    Excuses pour la réponse, en espérant qu'il pourrait être utile encore,

    Dans AWS noms de clé de déterminer la partition dans laquelle l'objet(fichier) est stocké dans - vous pouvez ajouter un hax préfixe de nom de fichier pour de meilleures performances.

    OBTENIR les Charges de travail Intensives : Utilisation CloudFront

    Des Charges de travail mixtes (GET, PUT & SUPPRIMER) : Utilisation hax préfixe S3 objet de noms de clé pour empêcher plusieurs objets stockés sur la même partition.

    InformationsquelleAutor vml19
  4. 0

    Réponses précédentes sont désormais obsolète
    https://aws.amazon.com/about-aws/whats-new/2018/07/amazon-s3-announces-increased-request-rate-performance/
    "Cette S3 demande de taux d'augmentation des performances supprime les orientations précédentes, afin de rendre aléatoire l'objet préfixes pour atteindre des performances plus rapides. Cela signifie que vous pouvez maintenant utiliser ou logique séquentielle des modèles de noms dans S3 objet de nommage sans aucune incidence sur les performances. "

    InformationsquelleAutor CodesInTheDark