Le stockage d'un grand nombre d'images

Je suis en train de réfléchir à développer mon propre PHP galerie pour stocker beaucoup de photos, peut-être dans les dizaines de milliers de personnes.

À la base de données je vais pointer vers l'url de l'image, mais voici le problème: je sais, c'est pas pratique d'avoir tous assis dans le même répertoire sur le serveur car il permettrait de ralentir l'accès à une analyse, alors, comment voulez-vous stocker tous? Une sorte d'arbre basé sur le nom de l'jpeg/png?

Quelles sont les règles de partition, les images vous me recommander?

(Il sera porté pour l'utilisation dans cheapo dot coms, donc pas de déformation avec le serveur est possible)

InformationsquelleAutor Saiyine | 2009-01-15

46

Nous avons eu un problème similaire dans le passé. Et trouvé une solution sympa:
- Donner à chaque image un guid unique.
- Créer un enregistrement de base de données pour chaque image contenant le nom, l'emplacement, guid et l'emplacement possible de sous-images (vignettes, reducedsize, etc.).
- Utiliser le premier (un ou deux), personnages de la guid pour déterminer le niveau supérieur du dossier.
- Si les dossiers ont trop de fichiers, est de nouveau divisée. Mettre à jour les références et vous êtes prêt à aller.
- Si le nombre de fichiers et l'accès sont trop élevés, vous pouvez transmettre des dossiers sur les différents serveurs de fichiers.
Nous avons connu ce en utilisant le guid, vous obtenez une plus ou moins uniforme de la division. Et cela a fonctionné comme un charme.

Liens qui pourraient aider à générer un numéro d'identification unique:
- http://en.wikipedia.org/wiki/Universally_Unique_Identifier
- http://en.wikipedia.org/wiki/Sha1
- Si vous utilisez une base de données de toute façon, pourquoi ne pas simplement faire un blob et de laisser la base de données en soucier?
- en raison de la performance, de la base de données des appels sont généralement très cher, surtout pour des données binaires comme les images.
- ne pas oublier que la diffusion des images de la base de données signifie que vous avez à peu près toujours envoyer les données où que si vous pouvez vous servir du système de fichiers, vous pouvez laisser le navigateur/serveur de gérer la mise en cache des images
- À mon humble avis, beaucoup mieux que la génération des Uuid est tout simplement de hachage le nom de fichier et l'utilisation de son début comme un nom de répertoire. De cette façon, vous n'avez pas besoin de base de données, puisque vous pouvez toujours recalculer la valeur de hachage, ce qui est beaucoup plus rapide que la base de données access. (Je vois que vous avez mentionné SHA-1, mais je n'ai pas de conseils de manière explicite).
- vous avez probablement raison. Mais nous avions déjà une base de données (pour un CMS), nous avons juste besoin de lien avec les photos et cela a très bien fonctionné pour nous.
- Je vois (je vais utiliser une table de hachage et une base de données, aussi).
- Si vous avez un entier IDENTIFIANT unique, une façon simple de le faire est de le diviser en trois niveaux: xxx/yyy/filename.jpg. De cette façon, vous pouvez utiliser l'ID unique. Par exemple, si l'id est 100789, elle est stockée en tant que 100/789/filename.jpg. Ensuite, vous avez jusqu'à 1 000 répertoires dans chaque niveau. Et un total de 1 000 000 de fichiers. Et, vous pouvez avoir plusieurs noms de fichiers basés sur la résolution: thumbnail.jpg, small.jpg, etc.
- Je recommande aussi le salage votre hash avec une constante lors de la génération de noms de dossier. Cela empêche les téléchargeurs de facilement déterminer le dossier dans lequel vous mettez leurs fichiers (ils peuvent hachage leurs propres images avec sha1 si ils savent que c'est la façon dont vous créez des dossiers).
InformationsquelleAutor Toon Krijthe
11

J'ai travaillé sur un système Électronique de Gestion documentaire il y a quelques années, et nous l'avons fait à peu près ce que Gamecat et wic suggéré.

Qui est, d'attribuer à chaque image un ID unique, et l'utiliser pour tirer un chemin relatif vers le fichier image. Nous avons utilisé le MOD similaire à ce que wic suggéré, mais nous a permis de 1024 dossiers/fichiers à chaque niveau, avec 3 niveaux, de sorte que nous pourrions soutenir 1G fichiers.

Nous avons dépouillé de l'extension de la fichiers. La DB enregistrements contenus le Type MIME, de sorte que l'extension n'était pas nécessaire.

Je ne voudrais pas vous recommandons de conserver l'URL complète dans la base de données d'enregistrement, seul l'ID de l'Image. Si vous stockez l'URL que vous ne pouvez pas déplacer ou réorganiser votre espace de stockage sans avoir à les convertir votre base de données. Une URL relative serait ok, puisque de cette façon, vous pouvez au moins déplacer l'image référentiel autour, mais vous aurez plus de flexibilité si vous venez de stocker le code et d'en tirer le URL.

Aussi, je recommande de ne pas permettre des références directes à vos fichiers image à partir du web. Au lieu de cela, fournir une URL à un programme côté serveur (par exemple, Java Servlet), avec l'ID de l'Image fourni dans l'URL de la Requête (http://url.com/GetImage?imageID=1234).

La servlet pouvez utiliser cet IDENTIFIANT pour rechercher la base de données d'enregistrement, de déterminer le Type MIME, et d'en tirer l'emplacement réel, vérifier les restrictions de sécurité, l'exploitation forestière, etc.
- les bons points. la servlet demande toujours autoriser la mise en cache ? je suis à la recherche à un problème similaire, mais dans mon application le temps de transfert est critique, j'ai donc été à la recherche de moyens pour mettre en cache les images sur le client. Suis-je en train de rêver?
- Vous pouvez créer une catégorie distincte pour l'accès aux images. Que la classe ne savent comment tirer un chemin d'accès à partir d'un id, etc. Il pourrait également contenir un cache, peut-être à une table de hachage que vous gérez vous-même, ou peut-être une conserve de la classe cache. Servlet permettrait d'obtenir des images à partir de cet objet, et non pas à partir du disque.
- Comment proposer votre travaillera avec la mise en cache des proxys comme nginx?
InformationsquelleAutor Clayton
8

J'ai l'habitude de simplement utiliser la base de données numériques id (auto_increment), puis utilisez la modulu (%) de l'opérateur de déterminer où placer le fichier. Simple et évolutive. Par exemple, le chemin vers l'image avec l'id 12345 pourrait être créé comme ceci:
```
12345 % 100 = 45
12345 % 1000 = 345
```
Se termine dans:
```
/home/joe/images/345/45/12345.png
```
Ou quelque chose comme ça.

Si vous utilisez Linux ext3 et le système de fichiers, vous devez être conscient qu'il ya des limites sur le nombre de répertoires et de fichiers que vous pouvez avoir dans un répertoire. La limite est de 32000 pour dirs, de sorte que vous devrait toujours s'efforcer de maintenir le nombre de dirs faible.
- Quel est le but en ayant les deux '345' et '45'? Semble que chacun de vos premiers répertoires de niveau (comme '345') aura exactement un sous-répertoire (dans ce cas, '45').
InformationsquelleAutor Martin Wickman
7

Je sais, c'est pas pratique d'avoir tous assis dans le même répertoire sur le serveur car il permettrait de ralentir l'accès à un rampement.

C'est une hypothèse.

J'ai conçu des systèmes où nous avons eu des millions de fichiers stockés à plat dans un répertoire, et il a très bien fonctionné. C'est aussi le système le plus facile à programmer. La plupart des systèmes de fichiers du serveur en charge cette sans problème (bien que vous auriez à voir laquelle vous utilisez).

http://www.databasesandlife.com/flat-directories/
- Merci pour le partage. L'OP cité PHP et une question pratique, c'est que l'accès FTP à un répertoire avec un grand nombre de fichiers peut timeout.
- Je pense que c'est important de dire, comme vous le faites dans votre article de blog, que certains systèmes de fichiers supporter un grand nombre de fichiers dans un seul dossier. Et dans mon expérience, certains (autres) des systèmes de fichiers de travail en dehors de leur spécification est indiquée pour les grands #s de fichier, mais pas toutes les opérations de fichiers fonctionne. Si vous allez stocker un très grand nombre de fichiers dans un seul dossier, de le tester en premier! Cela dit, pourquoi ne pas simplement de l'arbre-bilan de la structure de dossier avec un hachage de quelque sorte?
InformationsquelleAutor Adrian Smith

Lors de l'enregistrement des fichiers associés à un id auto_increment, j'utilise quelque chose comme la suivante, ce qui crée trois niveaux de répertoire, chacun composé de 1000 dirs, et 100 fichiers dans chaque tiers-répertoire de niveau. Ce soutient ~ 100 milliards de fichiers.

si $id = 99532455444 alors la suivante retourne /995/324/554/44

function getFileDirectory($id) {
    $level1 = ($id /100000000) % 100000000;
    $level2 = (($id - $level1 * 100000000) /100000) % 100000;
    $level3 = (($id - ($level1 * 100000000) - ($level2 * 100000)) /100) % 1000;
    $file   = $id - (($level1 * 100000000) + ($level2 * 100000) + ($level3 * 100));

    return '/' . sprintf("%03d", $level1)
         . '/' . sprintf("%03d", $level2)
         . '/' . sprintf("%03d", $level3)
         . '/' . $file;
}

InformationsquelleAutor Isaac

2

Regarder système de fichiers XFS. Il prend en charge un nombre illimité de fichiers, et Linux prend en charge.
http://oss.sgi.com/projects/xfs/papers/xfs_usenix/index.html

InformationsquelleAutor EXTROMEDIA
1

Vous pourriez alawys ont une colonne DateTime dans la table, puis de les stocker dans des dossiers nommés après le mois,l'année ou le mois,le jour,l'année, les images ajoutées à la table.

Exemple
1. 2009
2. -01
3. --01
4. --02
5. --03
6. --31
de cette façon, vous vous retrouvez avec pas plus de 3 dossiers de profondeur.

InformationsquelleAutor Mike Geise
1

Je suis actuellement confronté à ce problème, et ce qu'Isaac a écrit m'a intéressé dans l'idée. Tho ma fonction diffère un peu.
```
function _getFilePath($id) {
    $id = sprintf("%06d", $id);
    $level = array();
    for($lvl = 3; $lvl >= 1; $lvl--)
        $level[$lvl] = substr($id, (($lvl*2)-2), 2);
    return implode('/', array_reverse($level)).'.jpg';
}
```
Mes images ne sont en milliers donc je n'ai que cela à 999999 limite et donc, il serait divisé en 99/99/99.jpg ou 43524 en 04/35/24.jpg

InformationsquelleAutor Mikhail
0

Utiliser la hiérarchie du système de fichiers. ID de vos images à l'aide de quelque chose comme 001/002/003/004.jpg serait très utile. Le partitionnement est une autre histoire, cependant. Peut être aléatoire, basée sur le contenu, la date de création, etc. Dépend vraiment de ce que votre demande est.

InformationsquelleAutor PolyThinker
0

Vous pouvez consulter le aux utilisé par Apple iPod pour stocker du contenu multimédia. Il y a des dossiers dans un niveau de profondeur et de fichiers avec des titres de même largeur. Je crois que Apple gars a investi beaucoup de temps dans les tests de leur solution de sorte qu'il peut apporter certains avantages instantanés pour vous.
- Je ne suis pas trop clair ce que tu veux dire ici. Pouvez-vous donner un exemple?
InformationsquelleAutor Boris Pavlović
0

Si les photos vous êtes la manipulation sont des photos numériques, vous pouvez utiliser les données EXIF de les trier, par exemple par date de capture.

InformationsquelleAutor Keltia
0

Vous pouvez stocker les images dans la base de données d'objets blob (varbinary pour mssql). De cette façon, vous n'avez pas à vous soucier du stockage ou de la structure de répertoire. Le seul inconvénient est que vous ne pouvez pas facilement parcourir les fichiers, mais cela serait difficile à l'équilibre de l'arbre de répertoire, de toute façon.
- IMO c'est un mauvais conseil. 1.Bientôt, votre DB va devenir énorme et il apporte d'autres questions. 2. D'autre part, il ne sera pas possible de mettre les images en cache en utilisant la mise en cache du serveur proxy comme nginx ou HAproxy, qui extreanly rapide pour le contenu statique. 3. DB deviendra goulot de bouteille avec assez faible charge.
InformationsquelleAutor Mats Fredriksson

Vous devez vous connecter pour publier un commentaire.