API REST - fichier (c'est à dire des images) traitement - les meilleures pratiques

Nous développons serveur avec l'API REST, qui accepte et réponses avec JSON. Le problème est, si vous avez besoin de télécharger des images à partir du serveur vers le client.

Remarque aussi que je parle de cas d'utilisation, où l'entité (utilisateur) peut avoir des fichiers (carPhoto, licensePhoto) et ont aussi d'autres propriétés (nom, prénom, email...), mais lorsque vous créez un nouvel utilisateur, vous n'avez pas envoyer ces images, elles sont ajoutés après le processus d'enregistrement.

Les solutions je suis au courant, mais chacun d'entre eux ont quelques défauts

1. Utilisation multipart/form-data au lieu de JSON

bonne : requêtes POST et PUT sont aussi Reposant que possible, ils peuvent contenir du texte des entrées en collaboration avec le fichier.

contre : Il n'est pas du JSON en plus, ce qui est beaucoup plus facile à tester, déboguer etc. comparer à multipart/form-data

2. Permettre de mettre à jour des fichiers séparés

Requête POST pour la création d'un nouvel utilisateur ne permet pas d'ajouter des images (ce qui est normal dans notre cas d'utilisation comment je l'ai dit au début), en téléchargeant des images se fait par requête PUT que multipart/form-data par exemple /users/4/carPhoto

bonne : Tout (sauf le téléchargement du fichier lui-même) reste en JSON, il est facile de tester et de déboguer (vous pouvez vous connecter remplir JSON demandes sans avoir peur de leur longueur)

contre : Il n'est pas intuitif, vous ne pouvez pas POSTER ou METTRE toutes les variables de l'entité à la fois et aussi cette adresse /users/4/carPhoto peut être considéré comme une collection (de série de cas d'utilisation de l'API REST ressemble à ceci /users/4/shipments). Habituellement, vous ne pouvez pas (et ne veux pas) GET/PUT chaque variable de l'entité, par exemple les utilisateurs/4/nom . Vous pouvez obtenir le nom avec les OBTENIR et de les modifier à METTRE dans utilisateurs/4. Si il y a quelque chose après la id, il est généralement une autre collection, comme les utilisateurs/4/examens

3. Utilisation Base64

L'envoyer en JSON mais encoder les fichiers avec Base64.

bonne : la Même que pour la première solution, il est plus Reposant de service possible.

contre : une Fois de plus, les tests et le débogage est bien pire (le corps peut avoir des méga-octets de données), il y a augmentation de la taille et aussi en temps de traitement à la fois client et serveur

Je tiens vraiment à utiliser la solution pas. 2, mais elle a ses inconvénients... quelqu'un peut me donner une meilleure idée de "quelle est la meilleure solution?

Mon but est d'avoir des services RESTful avec autant de normes que possible, alors que je veux le garder aussi simple que possible.

  • Vous pouvez également trouver cela utile: stackoverflow.com/questions/4083702/...
  • Je sais que ce sujet est vieux, mais nous avons dû faire face à ce problème récemment. La meilleure approche que nous avons obtenu est semblable à la vôtre numéro 2. Nous télécharger des fichiers directement à l'API et fixez ensuite ces fichiers dans le modèle. Avec ce scénario, vous pouvez créer des images de téléchargement avant, après ou à la même page que le formulaire n'a pas vraiment d'importance. Bonne discussion!
  • oui, exactement, je l'ai décrit dans l'une réponse qui j'ai récemment accepté
  • Merci pour cette question.
  • "aussi cette adresse /utilisateurs/4/carPhoto peut être considéré comme une collection" – non, il ne ressemble pas à une collection et ne serait pas nécessairement être considérés comme un seul. C'est très bien d'avoir une relation à une ressource qui n'est pas une collection, mais seule ressource.
  • Pour l'option 1 et 3 il y a un autre "con": Si vous envoyez plus d'une image dans un formulaire, le transfert de données peut être très large et dépasse fichier des restrictions de téléchargement sur votre serveur. La meilleure option est de 2
  • bon point

InformationsquelleAutor libik | 2015-10-22
  1. 121

    OP ici (je suis de répondre à cette question après deux ans, le post de Daniel Cerecedo n'était pas mauvais à la fois, mais les services web sont un développement très rapide)

    Après trois ans de développement de logiciels (avec l'accent également sur l'architecture logicielle, gestion de projet et microservice architecture) j'ai certainement choisir la deuxième voie (mais avec un point de terminaison) comme le meilleur.

    Si vous avez un spécial de point de terminaison pour les images, il vous donne beaucoup plus de pouvoir sur le traitement de ces images.

    Nous avons la même API REST (Node.js) pour les deux - applications mobiles (iOS/android) et frontend (à l'aide de Réagir). C'est 2017, par conséquent, vous ne voulez pas stocker les images localement, vous voulez les télécharger à certaines de stockage en nuage (cloud Google, s3, cloudinary, ...), par conséquent, vous voulez de la gestion générale sur eux.

    Notre flux typique est, que dès que vous sélectionnez une image, il commence à télécharger sur le fond (généralement de POST sur /images endpoint), vous retourner l'ID après le téléchargement. C'est vraiment convivial, que l'utilisateur de choisir une image et puis généralement, procéder à d'autres domaines (ex: adresse, nom, ...), donc quand il frappe bouton "envoyer", l'image est généralement déjà téléchargé. Il ne fait pas attendre et de regarder l'écran en disant "téléchargement...".

    Il en va de même pour l'obtention des images. En particulier grâce à des téléphones mobiles et limitée de données mobiles, vous ne voulez pas envoyer des images d'origine, vous voulez envoyer des images redimensionnées, de sorte qu'ils ne prennent pas beaucoup de bande passante (et pour faire de votre mobile des applications plus rapides, souvent, vous ne voulez pas à la redimensionner à tous, vous voulez que l'image qui s'adapte parfaitement à votre vue). Pour cette raison, de bonnes applications sont en utilisant quelque chose comme cloudinary (ou nous avons notre propre serveur d'image pour la redimensionner).

    Aussi, si les données ne sont pas privées, puis que vous renvoyer à l'application/frontend juste l'URL et elle se télécharge à partir de stockage dans le cloud directement, ce qui est énorme économie de la bande passante et le temps de traitement de votre serveur. Dans nos grands apps il y a beaucoup de téra-octets téléchargés chaque mois, vous ne voulez pas manipuler directement sur chacun de vos API REST serveur, qui est axé sur l'opération CRUD. Vous souhaitez gérer qu'à un endroit (notre Imageserver, qui ont de la mise en cache, etc.) ou laissez-les services de cloud gérer tout cela.

    Inconvénients : Le seul "contre" qui vous devriez penser "n'est pas assigné à images". L'utilisateur de sélectionner les images et continuer à remplir les autres champs, puis, il dit "non" et de désactiver l'application ou de l'onglet, mais en attendant vous avez téléchargé l'image. Cela signifie que vous avez téléchargé une image qui n'est pas affecté n'importe où.

    Il y a plusieurs façons de gérer cela. Le plus simple, c'est "I don't care", qui est pertinente, si cela ne se produit pas très souvent ou vous même avez désir pour stocker chaque image utilisateur de vous envoyer (pour une raison quelconque) et vous ne voulez pas de suppression.

    Un autre est facile - vous avez CRON et c'est à dire chaque semaine et que vous supprimez tous les éléments non des images datant de plus d'une semaine.

    • Ce qui va se passer si [dès que vous sélectionnez une image, il commence à télécharger sur le fond (généralement de POST sur /images endpoint), vous retourner l'ID après avoir téléchargé] lorsque la demande a échoué en raison de la connexion internet? Allez-vous demander à l'utilisateur alors qu'ils procéder à d'autres domaines (ex: adresse, nom, ...)? Je parie que vous allez encore attendre jusqu'à ce que l'utilisateur appuie sur bouton "envoyer" et relancez votre demande de les faire attendre tout en regardant l'écran en disant "uploadiing...".
    • API RESTful est apatride, par conséquent, il ne fait rien (Serveur de ne pas le suivi de l'état de la consommation). Le consommateur de service (c'est à dire la page web ou le mobile) est responsable du traitement des demandes ayant échoué, par conséquent, le consommateur doit décider si elle appelle immédiatement la même demande après cette panne d'un ou de quoi faire (c'est à dire afficher l'Image "le téléchargement a échoué - voulez-vous essayer de nouveau")
    • Très instructif et éclairant réponse. Merci de répondre.
    • Ce n'est pas vraiment résoudre le problème initial. Cela dit juste "utiliser un service en nuage"
    • il n', il choisit la deuxième option et vous indique comment vous devez l'utiliser et pourquoi. Si vous voulez dire "mais ce n'est pas parfaite option qui vous permet d'envoyer le tout en une seule demande et sans implication" - oui, il n'existe pas de solution malheureusement.
    • Avez-vous d'abord enregistrer les fichiers sur le disque local avant, ou tout simplement de les diffuser directement dans le compartiment s3? Est-il possible/recommandé de faire une image de validation puis envoyer l'image dans le compartiment s3 sans utiliser le serveur de système de fichiers?
    • Non à l'aide d'un disque local, il ne peut que causer des problèmes. Oui, de son mieux pour le diffuser directement au fournisseur de cloud, si vous utilisez Node.js et Multer, il suffit de consulter la documentation: github.com/expressjs/multer et de recherche pour MemoryStorage
    • bien à surmonter le seul con vous pouvez attendre jusqu'à l'utilisateur soumet, puis file d'attente, comme les hot shots sont en train de faire maintenant 🙂
    • Salut @libik. Je suis dans le même carrefour et j'aime beaucoup votre approche. Dans mon application, je veux que l'utilisateur soit en mesure de télécharger une image à la création. Selon votre approche, je dois attendre jusqu'à ce que le POST et je reçois le code dans le 201 créé pour être en mesure de faire un PUT, avec l'image d'un point de terminaison séparé. Que faire si je voulais de déchargement de l'image d'une tête de serveur et de se marier avec le POSTE demande une fois qu'elle est terminée (c'est à dire 1 appel en parallèle à 2 points de terminaison contre 1 appel - attendre la fin - un autre appel). Mon seul problème est de savoir comment les associer comme je n'ai pas d'identifiant commun.
    • si votre image-service vous permet de donner l'image d'un nom et d'tard, l'image de ce nom, alors vous pouvez simplement générer de la chaîne aléatoire (c'est à dire gguid) et en même temps commencer à envoyer de l'image avec ce nom (qui prendra plus de temps) et d'enregistrer le nom de la base de données. Cependant il peut y avoir des questions telles que l'utilisateur clique sur le bouton "ok", vous vous comportez comme il a terminé tout, donc il tue c'est à dire l'application ou du logiciel de navigation et le téléchargement de l'image n'est pas fini. Si vous "bloquer" avec un spinner, puis il va attendre jusqu'à ce que son fini. Mais peut-être qu'à force de fermeture se produit rarement.
    • Merci! Je pense que j'ai effectivement eu le arrangés. Mon plan est d'envoyer l'image et laissez le serveur répond avec une url et l'ID que je vais ensuite patch une fois que le message est terminé. Je suis à l'aide d'un SPA afin de ne pas se fier à l'utilisateur l'envoi d'un nom + guid sur :). J'ai un spinner en place, donc cela devrait fonctionner et si l'utilisateur quitte avant son fini, je vais avoir à utiliser une sorte de service périodiquement comme vous l'avez suggéré de supprimer les fichiers orphelins/images qui n'ont aucun rapport.

    InformationsquelleAutor libik
  2. 92

    Il y a plusieurs décisions à prendre:

    1. La première sur chemin d'accès aux ressources:

      • Modèle de l'image en tant que ressource sur son propre:

        • Imbriquée dans de l'utilisateur (/utilisateur/:id/image): la relation entre l'utilisateur et l'image est faite implicitement

        • Dans le chemin de la racine (/image):

          • Le client est tenu responsable pour l'établissement de la relation entre l'image et l'utilisateur, ou;

          • Si un contexte de sécurité est fournie avec la demande POST utilisée pour créer une image, le serveur peut implicitement d'établir une relation entre l'utilisateur authentifié et l'image.

      • Insérer l'image dans le cadre de l'utilisateur

    2. La deuxième décision est d'environ comment représenter l'image de la ressource:

      • Comme Base 64 encodé en JSON charge utile
      • Comme un multipart charge utile

    Ce serait ma décision piste:

    • J'ai l'habitude de faveur de conception sur les performances sauf si il y a un dossier. Il rend le système plus facile à gérer et peut être plus facilement comprise par les intégrateurs.
    • Donc, ma première pensée est d'aller pour un Base64 représentation de l'image de la ressource, car il vous permet de tout garder JSON. Si vous choisissez cette option, vous pouvez définir le chemin d'accès aux ressources que vous le souhaitez.
      • Si la relation entre l'utilisateur et l'image est de 1 à 1 que j'avais faveur du modèle de l'image comme un attribut spécialement si les deux ensembles de données sont mises à jour en même temps. Dans tous les autres cas, vous pouvez librement choisir le modèle de l'image, soit comme un attribut, la mise à jour de la par la METTRE ou le PATCH, ou comme une ressource distincte.
    • Si vous choisissez plusieurs parties de la charge utile, je me sentirais obligé de modèle de l'image en tant que ressource est propre, ainsi que d'autres ressources, dans notre cas, la ressource de l'utilisateur, n'est pas touché par la décision de l'utilisation d'une représentation binaire de l'image.

    Puis vient la question: Est-il un impact sur les performances sur le choix de la base64 vs multipart?. On pourrait penser que l'échange de données au format multipart devrait être plus efficace. Mais cet article montre comment peu faire les deux représentations diffèrent en termes de taille.

    Mon choix Base64:

    • À une conception cohérente de la décision
    • Négligeable l'impact sur les performances
    • Que les navigateurs de comprendre les données Uri (encodées en base64 images), il n'est pas nécessaire de transformer ces si le client est un navigateur
    • Je ne vais pas voter sur l'opportunité de l'avoir comme attribut ou de manière autonome des ressources, ça dépend du domaine du problème (qui, je ne sais pas) et de votre préférence personnelle.
    • Peut-on ne pas encoder les données en utilisant la sérialisation d'autres protocoles comme protobuf etc? Fondamentalement, je suis en train d'essayer de comprendre si il y a d'autres moyens plus simples d'aborder la taille & temps de traitement d'augmentation qui vient avec l'encodage base64.
    • Très engageant réponse. merci pour l'approche étape par étape. Il m'a fait comprendre vos points beaucoup mieux.
    InformationsquelleAutor Daniel Cerecedo
  3. 13

    Votre deuxième solution est probablement la plus correcte. Vous devez utiliser la spécification HTTP et types mime la façon dont ils sont destinés et de télécharger le fichier via multipart/form-data. Pour la gestion de la relation, je voudrais utiliser ce processus (en gardant à l'esprit je sais zéro au sujet de vos hypothèses ou de la conception du système):

    1. POST à /users pour créer l'entité utilisateur.
    2. POST l'image de /images, faire en sorte de faire revenir un Location en-tête à l'endroit où l'image peut être récupéré par la spécification HTTP.
    3. PATCH à /users/carPhoto et de l'attribuer l'ID de la photo donnée dans le Location en-tête de l'étape 2.
    • Je n'ai pas de contrôle direct de "comment le client va utiliser l'API"... Le problème c'est que la "mort" des images qui ne sont pas corrigés à certaines ressources...
    • Habituellement, lorsque vous choisissez la deuxième option, est préféré à télécharger d'abord l'élément multimédia et retour media identifiant du client, le client peut envoyer les données de l'entité, y compris les médias de l'identificateur de ces approche évite cassé entités o inadéquation info.
    InformationsquelleAutor mmcclannahan
  4. 2

    Il n'y a pas de solution facile. Chaque méthode présente des avantages et des inconvénients . Mais la manière canonique est d'utiliser la première option: multipart/form-data. Comme W3 guide de recommandation dit

    Le contenu de type "multipart/form-data" doit être utilisé pour l'envoi de formulaires qui contiennent des fichiers, des données non-ASCII, et des données binaires.

    Nous ne sommes pas de l'envoi des formulaires,vraiment, mais l'implicite principe s'applique toujours. En utilisant base64 comme une représentation binaire, est erronée parce que vous utilisez le mauvais outil pour atteindre votre objectif, en revanche, la deuxième option forces de votre API clients à faire plus de travail afin de consommer votre service API. Vous devez faire le travail dur dans le serveur dans le but de fournir un outil facile à utiliser l'API. La première option n'est pas facile à déboguer, mais quand vous le faites, il n'a probablement jamais les changements.

    À l'aide de multipart/form-data vous êtes collé avec le RESTE/http philosophie. Vous pouvez afficher une réponse à une question similaire ici.

    Une autre option, si le mélange des solutions de rechange, vous pouvez utiliser multipart/form-data mais au lieu d'envoyer chaque valeur distincte, vous pouvez envoyer une valeur nommée charge utile avec le json de la charge utile à l'intérieur. (J'ai essayé cette approche à l'aide de ASP.NET WebAPI 2 et fonctionne très bien).

    • Que W3 guide de recommandation est pas pertinente ici, car c'est dans le contexte de la spécification HTML 4.
    • Très vrai.... "non ASCII des données" nécessite plusieurs parties? Dans le vingt-et-unième siècle? En UTF-8? Bien sûr, cela est d'un ridicule recommandation pour aujourd'hui. Je suis même surpris qui existait dans le code HTML de 4 jours, mais parfois l'infrastructure de l'Internet mondial se déplace très lentement.
    InformationsquelleAutor Kellerman Rivero