La différence entre l'Objet d'Entreposage Et de Stockage de Fichiers
Quelqu'un pourrait-il expliquer quelle est la différence entre l'Objet d'Entreposage et de Stockage de Fichiers est s'il vous plaît?
J'ai lu au sujet de l'Objet de Stockage sur wiki, aussi j'ai lu http://www.dell.com/downloads/global/products/pvaul/en/object-storage-overview.pdf, aussi j'ai lu amazones docs(S3), openstack swift et etc. Mais quelqu'un pourrait-il me donner un exemple pour mieux comprendre?
Toute la différence est seulement que, pour 'objet de stockage d'objets, nous en rajouter?
Par exemple comment stocker l'image comme objet à l'aide de certains langages de programmation (par exemple en python)?
Grâce.
Vous devez vous connecter pour publier un commentaire.
De l'OMI, de l'Objet de stockage n'a rien à voir avec l'échelle parce que quelqu'un pourrait construire un FS qui est capable de stocker un grand nombre de fichiers, même dans un seul répertoire.
Il n'est pas sur les méthodes d'accès. HTTP l'accès aux données dans les systèmes de fichiers est disponible dans de nombreux systèmes NAS.
De stockage/Accès par un OID est une façon de gérer les données sans se soucier de le nommer. Il pourrait être effectuée sur les fichiers trop. Je crois qu'il existe un protocole NFS extension qui permet cela.
Je serait rassembler ce: Objet du stockage est un (nouveau/différent) "objet centrée sur" le mode de pensée de données, d'accès et de gestion.
Penser à ces points:
Ce sont des captures d'aujourd'hui? Ils sont le point dans le temps des copies d'un volume. Lorsqu'un cliché est pris, tous les fichiers dans le volume sont accrochés trop. Si tous le veuille ou non, qu'ils ont tous besoin ou pas. Beaucoup d'espace, peuvent être utilisés(perdu?) pour un volume d'instantané alors que seulement quelques fichiers nécessaires pour être cassé.
Dans un objet de système de stockage, vous verrez rarement des instantanés de volumes, les objets seront instantané-ed, peut-être automatiquement. C'est l'objet de contrôle de version. Tous les objets n'ont pas besoin d'être versionné, chaque objet peut dire si c'est versionné.
Comment sont les fichiers/volumes protégés en cas de catastrophe? Généralement, dans une Reprise après Sinistre(DR) de l'installation, des volumes entiers/volume-ensembles de l'installation pour la réplication vers le site. Encore une fois, ce n'est pas la peine de savoir si des fichiers individuels voulez être reproduit ou pas. L'unité de protection en cas d'urgence est le volume. Les fichiers sont de petits alevins.
Dans un objet de système de stockage, le DR n'est pas le volume central. Des métadonnées de l'objet peut décider du nombre de copies doit exister et où(geo endroits/les domaines de la faute).
De même pour les autres caractéristiques:
Hiérarchisation - les Objets placés dans les niveaux de stockage/les classes en fonction de ses métadonnées indépendant des autres objets indépendants.
De vie des Objets, les déplacer entre les niveaux, de changer le nombre de copies, etc, individuellement, plutôt que comme un groupe.
Authentification - objets Individuels peuvent obtenir authentifié à partir de différents domaines d'authentification si nécessaire.
Comme vous pouvez le voir, le changement dans la pensée, c'est que dans un magasin d'objets, tout est à propos d'un objet.
Cela contraste avec la façon traditionnelle de penser et de gestion et l'accès de plus gros contenants comme des volumes(contenant des fichiers) n'est pas l'objet de stockage.
Les caractéristiques ci-dessus et leur objet, centrée sur l'-ness, s'accorde bien avec les exigences de données non structurées et donc de l'intérêt.
Si un système de stockage est l'objet(ou le fichier) centrée sur la place de volume centré sur dans sa façon de penser, (quel que soit le protocole d'accès ou l'échelle) c'est un objet du système de stockage.
Il y a des différences fondamentales entre le Stockage de Fichiers et de Stockage des Objets.
De stockage de fichier se présente comme une hiérarchie du système de fichiers avec des répertoires, sous-répertoires et fichiers. Il est grand et fonctionne à merveille lorsque le nombre de fichiers n'est pas très grande. Il fonctionne aussi bien quand vous savez exactement où vos fichiers sont stockés.
Objet de stockage, d'autre part, se traduit généralement par le biais de. une API RESTful. Il n'y a pas de notion de système de fichiers. Au lieu de cela, une demande d'enregistrer un objet (fichiers + métadonnées supplémentaires) pour le magasin d'objets via. la METTRE de l'API et de l'objet de stockage permettrait d'économiser de l'objet quelque part dans le système. L'objet de plate-forme de stockage serait de donner à l'application d'une clé unique (analogue à un valet de billet) pour que l'objet dont l'application serait de stocker dans la base de données d'application. Si une application a voulu récupérer cet objet, tout ce qu'ils doivent faire est de donner la clé dans le cadre de l'OBTENIR de l'API et de l'objet serait récupérée par l'objet de stockage.
Espère que c'est clair maintenant.
Divulgation - je travaille pour un fournisseur (NetApp), qui développe et vend des grand système de fichiers et objet de plates-formes de stockage, je vais essayer de garder ce que la mise en œuvre neutre que je peux, mais mon biais cognitifs peuvent unconciously influence de ma réponse.
Il y a beaucoup de différences, tant d'un accès, de programmation et de mise en œuvre point de vue, cependant, étant donné que cela est susceptible d'être lu principalement par des programmeurs plutôt que sur l'infrastructure ou de l'entreposage, je vais me concentrer sur cet aspect ici.
La principale différence, en externe, de programmation et de point de vue, est qu'un objet dans un magasin d'objet est créé ou supprimé ou mis à jour en tant qu'unité complète, vous ne pouvez pas ajouter des données à un objet et que vous ne pouvez pas mettre à jour une partie d'un objet "en place", vous pouvez toutefois remplacer tout en gardant le même ID de l'objet. La création, Lecture, mise à Jour et de Supprimer des objets se fait généralement via relativement simple Api, qui sont presque toujours REST-ful ou REST et favorise un état d'esprit que le magasin est programmable de ressources ou peut-être multi-locataire de services à distance. Alors que la plupart des magasins d'objets, je suis conscient de soutien byte-range lit dans un objet, en général, des objets de magasins ont été initialement conçus pour fonctionner avec l'ensemble des objets . De bons exemples de l'objet de stockage de l'API sont ceux qui sont utilisés par Amazon S3 (la valeur par défaut standard pour objet l'accès au stockage), OpenStack Swift, et Azure Blob Service API REST. Décrivant la fin des implémentations derrière ces Api serait un livre à lui tout seul.
D'autre part les fichiers dans un système de fichiers ont un plus large ensemble de fonctions qui peuvent être appliquées, y compris l'ajout de données, et la mise à jour des données à la place. Le modèle de programmation est plus complexe qu'un magasin d'objets et est maintenant presque toujours accessibles par programmation via un "POSIX" style de l'interface et essaie généralement de faire l'utilisation la plus efficace de la CPU et de la mémoire et favorise un état d'esprit que le système de fichiers est privé de ressources locales. NFS et SMB ne permet pour un système de fichiers à être mis à disposition en tant que multi-locataires de ressources, mais celles-ci sont souvent traités avec suspicion par les programmeurs qu'ils ont parfois des différences subtiles dans la façon dont ils réagissent par rapport à des "locaux" pour les systèmes de fichiers en dépit de leur plein appui à la sémantique POSIX. Pour mettre à jour les fichiers dans un système de fichiers local, vous devrez probablement utiliser les API comme https://www.classes.cs.uchicago.edu/archive/2017/winter/51081-1/LabFAQ/lab2/fileio.html ou https://msdn.microsoft.com/en-us/library/mt794711(v=vs. 85).aspx. Parler sur les mérites relatifs de système de fichiers implémentations par exemple NTFS vs BTRFS vs XFS vs WAFL vs ZFS a tendance à entraîner une guerre de religion qui est rarement la peine de anyones temps, mais si vous m'acheter une bière, je vais heureux de partager mes opinions avec vous.
À partir d'un cas d'utilisation de point de vue, si vous voulez garder un grand nombre de photos, ou des vidéos, ou binaire construire des artefacts, puis un magasin d'objet est souvent un bon choix. Si en revanche vous avez voulu la persistance de stocker des données dans un arbre binaire et mise à jour des données sont en place sur le support de stockage, puis un magasin d'objets tout simplement ne fonctionne pas, et tu serais bien mieux avec un système de fichiers (vous pouvez aussi utiliser des périphériques de bloc, mais je n'ai pas vu quelqu'un le faire depuis le début des années 90)
L'autre grande différence est que l'un des systèmes de fichiers conçu pour être fortement cohérent, et sont généralement accessibles sur faible à modéré de latence (50 microsecondes - 50 millisecondes) réseaux tandis que les magasins d'objets sont souvent finalement cohérente, et répartis sur un sans partage des infrastructures connectées ensemble de plus de bande passante à faible latence élevée à l'échelle de la zone des réseaux et de leur temps pour le premier octet peut parfois être mesuré par multiples de secondes. L'exécution de beaucoup de petits (4K 16K) les lectures aléatoires à partir d'un magasin d'objet est susceptible de causer de la frustration et de problèmes de performances.
L'autre avantage principal d'un magasin d'objet par rapport à un système de fichiers est que vous pouvez être raisonnablement sûr que tout ce que vous mettez dans un magasin d'objets il y restera jusqu'à ce que vous demandez à nouveau et qu'il ne sera jamais à court d'espace aussi longtemps que vous continuez à payer pour les frais mensuels. Ces ressources sont généralement exécuter à grande échelle avec construit dans la réplication, contrôle de version, la récupération automatique etc etc et rien de l'Ouragan Harvey style catastrophe de rendre les données disparaissent (même alors, vous avez facilement des options pour en faire une autre copie dans un autre emplacement). Avec un système de fichiers, en particulier celui que vous attendiez, vous ou vos opérations locales de personnes à gérer, vous devez espérer que tout va bien sauvegardé et qu'il ne marche pas remplir accidentellement et entraîner tout le à fondre lorsque vous ne peut pas mettre à jour vos données de plus.
J'ai essayé d'être conscise, mais pour ajouter à la confusion, les mots "système de fichiers" et "magasin d'objets” appliquée à des choses qui ne sont rien comme les descriptions que j'ai utilisé ci-dessus, par exemple, NFS Network file system n'est pas réellement un système de fichiers, c'est une manière de mettre en œuvre les normes posix API de stockage via des appels de procédure distante, et de VMware, san virtuels (vsan) stocke ses données dans quelque chose qu'ils appellent un "magasin d'objets" qui permet à haute vitesse en place des mises à jour de la machine virtuelle images.
La réponse est simple objet accédé à des systèmes de stockage ou de services utilisent des Api et autres méthodes d'accès pour le stockage, la récupération et la recherche de données, par opposition à la traditionnelle fichier ou un NAS. Par exemple avec un fichier ou un NAS, vous avez accès au stockage à l'aide de NFS (Network File System) ou CIFS (par exemple, le partage de fichiers windows) aka alias SAMBA SMB où le fichier a un nom/poignée associée à des méta-données déterminées par le système de fichiers.
Les méta-données fournit des renseignements au sujet de créer, d'accès, de modification et d'autres dates, les autorisations, la sécurité, l'application ou le type de fichier, ou d'autres attributs. Les fichiers sont limités par le système de fichiers en fonction de leur taille, ainsi que le nombre de fichiers par système de fichiers. De même, les systèmes de fichiers sont limités par leur totale ou agrégée, de taille en termes de capacité et le nombre de fichiers dans le système de fichiers.
D'accès à l'objet est différent, tandis que le fichier ou le NAS front-end ou des passerelles ou des plugins sont disponibles pour de nombreuses solutions ou de services, l'accès principal se fait via une API dans laquelle un objet peut être de taille arbitraire (jusqu'à la limite de l'objet système) avec la variable de la taille de la méta données (dépend de l'objet système/service de la mise en œuvre). Avec la plupart des objet les systèmes de stockage/services que vous pouvez spécifier n'importe où à partir de quelques kilo-octets de défini par l'utilisateur méta-données ou des Go. Que feriez-vous utiliser des Go de méta-données? Que diriez-en plus de la normale info, l'ajout de données supplémentaires pour les politiques, les directions, où d'autres copies sont situés, de vignettes ou de petits aperçus de vidéos, audio, etc.
Quelques exemples de l'accès aux objets Api ou interfaces comprennent Amazon Web Services (AWS) simple des services de stockage (S3) ou d'autres HTTP et REST ceux, SNIA CDMI. Différentes solutions sera également en charge d'IOS (par exemple, iphone/ipad) l'accès, du SAVON, Torrent, WebDav, JSON, XAM parmi d'autres plus NFS/CIFS. En outre, beaucoup de l'objet de systèmes de stockage ou de services de soutien programmatique liaisons python parmi d'autres. L'Api vous permettent essentiellement d'ouvrir un cours d'eau et le get ou put, liste et d'autres fonctions prises en charge par l'API/système afin de déterminer comment vous allez l'utiliser.
Par exemple, j'utilise à la fois Rackspace Cloud des fichiers et Amazon S3 (en plus de l'EBS et de Glacier) pour la sauvegarde, le stockage et l'archivage de données. Je peux accéder aux objets stockés via un navigateur web ou d'outils, y compris de la Jungle de disque (JD), qui est ce que j'ai sauvegarder et synchroniser des fichiers avec. JD poignées de l'objet de gestion et de déplacer des données à la fois Rackspace ainsi que Amazon pour moi. Si j'étais enclin, je pourrais aussi faire de la programmation à l'aide de l'Api et ensuite accéder directement à l'un de ces sites fournir mes informations d'identification de sécurité à faire des choses avec mes objets stockés.
Voici un lien pour objet de stockage en nuage et d'apprêt à partir d'une session que j'ai fait en Hollande l'année dernière, qui a quelques exemples simples d'objets et d'accès.
http://storageio.com/DownloadItems/Nijkerk_Nov2012/SIO_IndustryTrends_CloudObjectStorage.pdf
À l'aide du programme de liaison, vous définissez vos structures de données ou des objets dans votre programme, puis d'utiliser les Api ou les appels pour le stockage, la récupération, l'inscription de données, méta-données d'accès etc. S'il est un objet de système de stockage, le logiciel ou le service que vous cherchez à travailler avec ou besoin de savoir comment le programme, allez sur leur site et vous devriez trouver leur SDK ou de l'API info avec des exemples. Avec les objets, une fois que vous créer votre premier seau ou un récipient à un service ou à un produit/système, il vous suffit alors de créer et de stocker des objets supplémentaires que vous allez.
Voici un lien comme un exemple d'API AWS S3/programmation:
http://docs.aws.amazon.com/AmazonS3/latest/API/IntroductionAPI.html
Dans la théorie de l'objet de systèmes de stockage sont parlé a avoir un nombre illimité d'objets, ou de la taille de l'objet, en réalité, la plupart des systèmes, les solutions, logiciels ou services sont limités par ce qu'ils ont testée ou actuellement en charge, ce qui peut être des milliards de les objets, avec les objets de tailles de 5GByte ou plus. Faites attention à la limite sur certains services ou produits sur ce qui est réellement testé, soutenu contre ce qu'est une architecture possible ou ce qui est mis en œuvre sur webex ou powerpoint.
De nouveau sa de service et de produit/service/logiciel dépendant du nombre d'objets, la taille des objets, la taille de méta-données, et la quantité de données qui peut être déplacé sur/via leur Api. Toutefois, il est généralement plus sûr de supposer que l'objet de stockage peut être beaucoup plus évolutif (selon mise en œuvre) que les systèmes de fichier (sans l'aide globale de l'espace de nom de la fédération, fichier de virtualisation ou d'autres techniques).
Aussi dans mon livre de Cloud et de Stockage de Données Virtuelle de Réseau (CRC Press) qui est Intel Recommandé la Lecture, vous trouverez plus d'informations à propos de cloud et de stockage des objets.
Je vais ajouter plus de matériel connexe à http://www.objectstorage.us bientôt.
Acclamations gs
Objet De Stockage = Bloc De Stockage
+ Métadonnées Riches
- Hiérarchie des fichiers
Bloc de Stockage utilise un système de fichiers à l'endroit où est stocké le contenu.
Objet de Stockage utilise un identifyer pour pointer vers un contenu et son contexte.
Ceci est ma compréhension de la lecture Contenu adressée vs emplacement adressée
Bloquer les besoins de Stockage d'un système de fichiers et la structuration de la sorte avec des fichiers plus gros des systèmes de sécurité vient plus de surcharge.
L'Objet de stockage a beaucoup de contexte sur le fichier et n'a pas besoin de la hiérarchie des fichiers.
L'explication à la page 7 de la Dell papier montre clairement ce..Ce qui me préoccupait, c'était que sur l'échelle du disque dur lui-même, il n'est pas expliqué.
J'ai trouvé qu'un Disque Dur lui-même utilise toujours un Bloc mécanisme de stockage (bien que cela semble être en train de changer d')
(bien que cela semble être en train de changer d')
certains autres points de vue peuvent être trouvés ici
Oh, je souhaite que je pourrais en bas de vote de réponses à certaines questions et voter les autres avec un compte.
Celui avec le plus de votes, de cette écriture, n'a même pas expliquer rien au sujet des différences.
Ceci explique une grande partie de celui-ci; mais vous avez soutenu sur les méta-données. Ce qui suit est ce que j'ai lu ces deux derniers jours, et depuis cela n'a pas été résolu, je vais poster.
Objet de stockage n'a pas de sens de dossiers, ou tout type de structure de l'organisation qui le rend facile pour un homme de s'organiser. Stockage de fichiers, bien sûr, n'a pas tous ces dossiers, qui le rend si facile pour un homme de s'organiser et de façon aléatoire...Dans un environnement de serveur avec le nombre de fichiers dans une échelle astronomique, les dossiers sont juste un gaspillage d'espace et de temps.
Bases de données dites-vous? Eh bien, il ne parle pas l'Objet de stockage lui-même, il est de dire à votre service http (php, webmail, etc) a l'ID unique dans sa base de données pour faire référence à un fichier qui pourrait avoir un homme nom reconnaissable.
Métadonnées, et où est ce fichier stocké dites-vous? C'est ce que les métadonnées sont pour. Vous seul fichier est divisé en un tas de petits morceaux et la propagation de l'emplacement géographique, des serveurs et des disques durs. Ces petits morceaux également contenir plus de données, ils contiennent des informations de parité pour les autres éléments de données, ou peut-être même carrément la duplication.
Les métadonnées sont utilisées pour localiser chaque morceau de données pour le fichier en différents endroits géographiques, les centres de données, des serveurs et des disques durs, ainsi que d'être utilisé pour restaurer tout détruit pièces à partir de défaillance matérielle. Il le fait automatiquement. Il sera même manière fluide à déplacer ces pièces autour d'une meilleure propagation. Il va même jusqu'à recréer un morceau qui est parti et les stocker sur un nouveau bon disque dur.
Ce peut-être une explication simple; mais je pense qu'il pourrait vous aider à mieux comprendre. Je crois stockage de fichiers peut faire la même chose avec les métadonnées; mais le fichier de stockage de stockage que vous pouvez organiser comme un homme (dossiers, de la hiérarchie et tel) alors que l'objet de stockage a pas de hiérarchie, pas de dossiers, juste un plat conteneur de stockage.
La plupart des entreprises avec l'objet de solutions à base d'un mélange de bloc/fichier/de stockage des objets choisis sur la base de la performance/coût reqs.
À partir d'un cas d'utilisation de la perspective:
En fin de compte de l'objet de stockage a été créée pour traiter les données non structurées qui explose, beaucoup plus rapidement que les données structurées.
Par exemple, si une base de données structurées, non structurées serait un doc word ou PDF.
Comment pensez-vous de la recherche 1 milliard de fichiers Pdf dans un système de fichiers? (si il pourrait même magasin que de nombreux en premier lieu).
Comment rapidement pourrait vous recherchez seulement les métadonnées de 1 milliard de fichiers?
Objet de stockage est actuellement utilisé plus pour le long terme ou d'archivage, à bas prix et de stockage profond, qui assure le suivi de plus de détails de ce que sont les données. Ces métadonnées devient très puissant lors de la recherche ou d'exploitation minière de très grands ensembles de données. Parfois, vous pouvez obtenir ce dont vous avez besoin à partir des métadonnées sans même accéder à des données lui-même. L'objet de solutions de stockage peut généralement se répliquer automatiquement avec les données géographiques de basculement intégré.
Le problème est que la demande devra être ré-écrit pour l'utilisation de l'objet de méthodes d'accès plutôt que la hiérarchie des fichiers (ce qui est plus simple à partir d'une app dev point de vue). C'est vraiment un changement dans la philosophie de stockage de données, et de stocker plus d'informations exploitables concernant les données à partir d'un point de vue de la gestion ainsi que de l'utilisation.
Rapide exemple pourrait être une IRM de l'image. Sur le système de fichiers, vous avez le propriétaire/date de création, mais pas beaucoup d'autre. Si elle était un objet, toutes les informations relatives à l'IRM pourrait être stockée dans les métadonnées, comme le nom du patient, l'IRM emplacement du centre, le requérant, M., la compagnie d'assurance, etc.
Bloc/fichier sont plus bien adapté pour l'accès local ou OTLP où la performance est plus importante que la rétention et de coût.
Par exemple, vous ne voulez pas attendre quelques minutes pour qu'un doc Word pour ouvrir, mais vous devrez attendre quelques minutes pour une exploration de données/business intelligence processus.
Un autre exemple serait une recherche juridique où vous avez à la recherche de tout à partir de 5 ans à présent. Avec les politiques de conservation en place pour diminuer l'actif de l'ensemble de données et de coût, comment voulez-vous même le faire sans restauration à partir de la bande?
Objet de stockage est une solution idéale pour le remplacement à long terme des méthodes d'archivage comme du ruban adhésif.
La configuration de la réplication et de basculement pour le bloc et fichier peut devenir très cher à l'entreprise et nécessite généralement très coûteux de logiciels et de services.
Remarque: le niveau inférieur de l'objet de l'accès au stockage passe par l'API RESTful qui est plus comme un site web demande que l'accès à un fichier à la fin d'un chemin d'accès.
En fait, vous pouvez monter un seau/conteneur et accéder à des objets ou des sous-dossiers (et leurs objets) à partir de Linux. Par exemple, j'ai s3fs installé sur Ubuntu que j'ai mis un point de montage à l'un de mes S3 et en mesure de faire régulièrement des cp, ls et d'autres fonctions comme s'il s'agissait d'un autre système de fichiers. La clé est d'obtenir l'outil logiciel dont il y en a beaucoup qui vous permet de mapper un seau ou un conteneur et à le présenter comme point de montage. Il existe également des outils logiciels qui vous permettent d'accéder à S3 et autres seaux/conteneurs via iSCSI en outre NAS.
Ce lien explique les différences entre les deux:
http://www.dell.com/downloads/global/products/pvaul/en/object-storage-overview.pdf
Je pense que le livre blanc explique l'idée de l'objet de stockage assez bien. Je ne suis pas au courant de toute manière standard d'utilisation de l'objet de dispositifs de stockage (dans le sens d'un SCSI OSD) à partir d'une application utilisateur.
Objet de stockage est en cours d'utilisation dans certains grande échelle de stockage des produits comme les appareils de stockage de Panasas. Cependant, ces appareils puis exporter un système de fichiers à l'utilisateur final. C'est à mon humble avis juste de dire que le T10 OSD idée n'a jamais vraiment pris de l'élan.
D'idées reliées à l'OSD standard peuvent être trouvés dans les systèmes de stockage cloud comme S3 et ORAD.
Voici un bon article intéressant à lire:
https://cloudian.com/blog/object-storage-vs-file-storage/
cité de la section: