Rapide et compact sérialisation d'un objet dans .NET

Je veux utiliser la sérialisation d'un objet de communiquer sur le réseau entre un Mono serveur et les clients de Silverlight.
Il est très important que la sérialisation est efficace de l'espace et assez vite, que le serveur va accueillir plusieurs temps réel jeux.

Quelle technique dois-je utiliser? Le BinaryFormatter ajoute beaucoup de frais généraux à sérialisé de cours (Version, la culture, le nom de la classe, les noms de propriété, etc.) ce n'est pas nécessaire à l'intérieur de cette application.

Que puis-je faire pour que ce soit plus efficace de l'espace?

  • Oh pinaise! Arrivé une heure trop tard ;-p
InformationsquelleAutor Dennis Kempin | 2009-02-14
  1. 68

    Vous pouvez utiliser Protocol Buffers. Je vais changer tout mon code de sérialisation de BinaryFormatter avec la compression de Protocole de Tampons et d'obtenir de très bons résultats. Il est plus efficace dans l'espace et le temps.

    Il y a deux .NET implémentations par Jon Skeet et Marc Gravel.

    Mise À Jour: Officiel .NET de la mise en œuvre peut être trouvé ici.

    • Merci. Ces implémentations semblent également travailler avec silverlight!
    • btw, avez-vous réalisé que protobuf-net peut se connecter directement BinaryFormatter si vous voulez réduire les changements? Vous pouvez mettre en œuvre ISerializable sur votre racine des objets, et il suffit d'appeler dans Sérialiseur.Sérialiser/Sérialiseur.Fusion
    • par curiosité, quel cadre avez-vous aller? Je ne serai pas offensé si la réponse est "Jon" - je suis seulement intéressé... je suis content que cela fonctionne pour vous, selon qu'il est.
    • Oui, je sais. Mes principaux changements sont la suppression de la compression, il a été l'ajout de trop de travail de traitement avec peu d'avantages. Merci pour votre travail!
    • Je suis en utilisant le vôtre. Il semble plus souple et mieux intégré à .NET framework.
    • Eh bien, sûrement Marc de version est le mieux adapté pour .NET développement, de Jon version générer un 1200 ligne de code de la classe de 3 ligne proto fichier utilisé dans le tutoriel, qui peut être écrite comme 3 de la ligne de classe C#. Pensé que j'étais incapable de Marc d'utilisation de la version en réel projet de vie en raison de unsopperted scénario pour mon modèle. stackoverflow.com/questions/7793527/...
    • Le Protocol Buffers lien sans l'identificateur de langue (à l'aide du nouveau format d'URL).
    • Est-il possible d'utiliser protobuf-net pour une collection arbitraire d'objets? Je suis en train de l'utiliser pour mettre en œuvre une session à l'état d'un fournisseur de magasins de SessionStateItemCollection dans couchbase. Il semblait à sérialiser bien, mais alors d'erreur lors de la tentative de désérialiser.
    • J'ai juste essayé ProtoBuf et trouve qu'il est plus de 30 x plus lent que le module de formatage binaire, mais devient beaucoup mieux de compression ... voici les résultats de chaque pour le même objet ... de Taille (protoBuf): 847 octets, temps: 101ms, de la Taille (binFormatter): 4981 octets, temps: 3ms ...

    InformationsquelleAutor Jorge Villuendas Zapatero
  2. 52

    J'ai quelques repères pour le leader .NET sérialiseurs basés sur les Comptoirs de dataset.

    Rapide et compact sérialisation d'un objet dans .NET

    @marcgravell binaire protobuf-net est le plus rapide implémentations étalonnés qui est sur le 7x plus rapide que Microsoft plus rapide sérialiseur disponible (le XML DataContractSerializer) dans la BCL.

    J'ai aussi de maintenir une certaine open-source de haute performance .NET texte sérialiseurs ainsi:

    • JSV TypeSerializer un compact, propre, JSON+CSV format de type de 3,1 x plus rapide que le DataContractSerializer
    • ainsi que d'un JsonSerializer que de 2,6 x plus rapide.
    • Demandais juste sur le fait que la taille du fichier de la Json serializer est beaucoup plus petite que la BinaryFormatter, comment ont-ils tester cela? J'ai écrit mes propres sérialiseur qui est très similaire à la BinaryFormatter et les résultats sont très différents. La plage est de 1:1 à 1:7.87 de la taille du fichier pour mon formateur. "Ne jamais faire confiance à des statistiques que vous ne l'avez pas vous-même falsifiées"
    • liés repères comprend déjà un avis et référence de la source de référence code utilisé pour générer les tests, c'est à dire voir: code.google.com/p/servicestack/source/browse/trunk/Common/...
    • Après avoir pris un coup d'oeil sur l'indice de référence code je ne pense pas que les résultats de la taille du fichier sont représentatifs de tous les cas, la BinaryFormatter la taille du fichier est beaucoup plus faible lors de l'utilisation d'objets complexes. La sérialisation d'un tas de petits objets pour le formateur n'a pas de sens( il soutient beaucoup d'informations lors de l'appel de Serialize pour chacun de ces objets ), lors de l'utilisation d'un tableau au lieu de la taille du fichier est beaucoup plus petite.
    • L'indice de référence dit ce qu'il fait sur l'étain, I. e. un db lignes dans chaque Table de la base de données Northwind X fois. Soumettre vos propres critères de référence + code source si vous voulez quelque chose de plus représentatif.
    • les "points de référence pour les principaux .NET sérialiseurs" lien semble mort.. avez-vous une mise à jour de l'url?
    • vous pouvez également inclure netserializer github.com/tomba/netserializer et de voir comment il les tarifs..

    InformationsquelleAutor mythz
  3. 28

    Comme l'auteur, je vous invite à essayer protobuf-net; il est livré avec les fichiers binaires pour les deux Mono 2.0 et Silverlight 2.0, et est rapide et efficace. Si vous avez quelque problème que ce soit, envoyez-moi un e-mail (voir mon Stack Dépassement de profil), le support est gratuit.

    De Jon version (voir ci-dessus, a accepté de répondre) est également très bon, mais l'OMI le protobuf-net version est plus idiomatique pour C# - Jon serait idéal si vous parliez, C#, Java, donc vous pourriez avoir une API similaire à ses deux extrémités.

    • Je suis déjà en train d'essayer avec protobuf-net, vraiment super travail, merci beaucoup!
    • Est l'ajout de la ProtoContract attribut à la classe et ProtoMember attribut pour les membres nécessaires pour l'utilisation de votre bibliothèque?
    • avec "v1" (l'actuel pré-compilé téléchargeable dll) "oui". Cependant, "v2" résout ce (voir la section marcgravell.blogspot.com/2010/02/protobuf-net-v2-on-iphone.html pour le plein "v2" détails). Il n'est pas complet encore (et de jouer avec elle, vous auriez à compiler à partir du tronc), mais la "v2" code fonctionne très bien pour une gamme de messages simples.
    • comme une note séparée; il n'a pas d' pour pour être ProtoContract - il fonctionnera également avec [XmlType]+[XmlElement(Order=n)] ou [DataContract]+[DataMember(Order=n)].
    • Comment gérez-vous WeakReference-objets? J'ai créé quelques sérialiseurs trop et j'ai récemment remarqué que je ne suis pas de la manipulation WeakReference encore, parce qu'il travaille avec le constructeur pour la désérialisation.
    • Je ne pense pas que j'ai ajouté un traitement spécifique pour cela, en partie parce que "l'objet" est un peu rare pour moi (je préfère correctement typées DTO modèles)
    • Vous pouvez obtenir ce à partir de NuGet (protobug-net-données). C'est fou rapide (2x plus rapide que ReadXML dans mes tests) et super facile à utiliser: rdingwall.github.io/protobuf-net-données
    • netserializer github.com/tomba/netserializer les réclamations pour être plus efficace que protobuf, toutes les pensées?
    • Je n'ai pas évalué

    InformationsquelleAutor Marc Gravell
  4. 8

    J'ai eu un problème similaire, même si je suis juste à l'aide .NET. J'ai voulu envoyer des données sur Internet aussi rapidement et facilement que possible. Je n'ai pas trouver quelque chose qui serait assez optimisé, j'ai donc fait mon propre sérialiseur, nommé NetSerializer.

    NetSerializer a ses limites, mais ils n'affectent pas mon cas d'utilisation. Et je n'ai pas fait de points de référence pour un certain temps, mais il était beaucoup beaucoup plus rapide que n'importe quoi d'autre, j'ai trouvé.

    Je n'ai pas essayé sur Mono ou Silverlight. Je serais prêt à parier qu'il fonctionne sur Mono, mais je ne suis pas sûr de ce que le niveau de soutien est pour DynamicMethods sur Silverlight.

    • Wow c'est vraiment génial. Je vous remercie. Il semble que ce est beaucoup plus rapide si vous pouvez traiter avec moins de choses (gestion des versions, etc). Dans ce cas, le moins est le mieux 🙂
    • +1, ce qui est la licence?Je ne pouvais pas le trouver.
    InformationsquelleAutor Tomba
  5. 5

    Vous pouvez essayer d'utiliser JSON. Ce n'est pas aussi efficaces que les Tampons de Protocole, mais il serait beaucoup plus facile de surveiller les messages avec des outils comme Wireshark, ce qui aide beaucoup quand le débogage des problèmes. .NET 3.5 est livré avec un sérialiseur JSON.

    InformationsquelleAutor Pablote
  6. 4

    Vous pouvez transmettre les données par le biais d'un DeflateStream ou GZipStream de le compresser avant la transmission. Ces classes vivre dans la Système.IO.La Compression espace de noms.

    • Merci! - Vous savez à quel point cela aura une incidence sur le de/de sérialisation de vitesse?
    • Dans mon expérience, ils ne sont pas idéal pour les énormes flux de données, mais pour la plupart des autres cas, l'impact serait mineur, mais vous aurez besoin de l'essayer et de mesurer le temps de conséquences. C'est seulement quelques lignes de code à ajouter à la sérialisation des appels, c'est facile d'essayer.
    InformationsquelleAutor Sean
  7. 3

    J'ai eu un problème similaire - sauvegarder un fichier. Mais la suite peut également être utilisé sur un réseau tel qu'il a été conçu pour l'accès distant.

    La solution est d'utiliser Simon Hewitt bibliothèque - voir L'optimisation de
    La sérialisation dans .NET - partie 2    .

    Partie 1 de l'article, les états (le gras est de mon accent):
    "... Si vous avez déjà utilisé .NET remoting pour de grandes quantités de
    les données, vous aurez constaté qu'il y a des problèmes avec
    l'évolutivité. Pour de petites quantités de données, il fonctionne bien
    assez, mais de plus grandes quantités de prendre beaucoup de CPU et de la mémoire,
    générer des quantités massives de données pour la transmission, et
    peut échouer avec De la Mémoire des exceptions. Il ya aussi une grande
    problème avec le temps nécessaire pour effectuer l'
    la sérialisation - de grandes quantités de données peut rendre impossible l'
    pour une utilisation dans les applications ...."

    J'ai obtenu un résultat similaire pour mon application particulière, 40
    les temps de sauvegarde plus rapide et 20 fois plus rapide chargement (à partir de
    minutes secondes). La taille des données a été sérialisé
    aussi beaucoup plus réduite. Je ne me souviens pas exactement, mais il
    a au moins 2-3 fois.

    Il est assez facile d'obtenir commencé. Néanmoins, il est un
    gotcha: utilisez uniquement .NET de la sérialisation pour le très haut
    niveau de discbased (pour faire de la sérialisation/deserialisation
    commencé) et ensuite appeler la sérialisation/deserialisation
    fonctions directement dans les champs plus haut niveau
    discbased. Sinon il n'y aura pas de speed-up...
    Par exemple, si une structure de données (dire
    Generic.List) n'est pas pris en charge par la bibliothèque .NET
    la sérialisation sera utilisé à la place et c'est un non-non. Au lieu de cela
    serialise la liste dans le code client (ou similaire). Pour un exemple
    voir de près "" C'est notre propre codage." dans la même fonction
    comme indiqué ci-dessous.

    Pour référence: le code de mon application - voir de près "Remarque: c'est le seul endroit où nous utilisons de l'intégré .NET ...".

    InformationsquelleAutor Peter Mortensen
  8. 2

    Vous pouvez essayer de BOIS qui se concentre sur les paniers de la taille des données et offre le meilleur de l'emballage jusqu'à présent. (Je n'ai pas vu une meilleure optimisation encore).

    https://github.com/salarcode/Bois

    • +1, mais MPL?pour de vrai? qui le fait?Je me retenais mon souffle pour le boost de vitesse et bahh.. C'était en ruine.
    • Quelle partie de MPL vous avez un problème avec? Il vous permet d'utiliser les composants à la fois open source et des logiciels commerciaux. Alors que conserve le droit pour les développeurs d'avoir accès à la version modifiée de la composante dans le logiciel (si il y en a un).
    • C'est bien alors. J'ai imaginé qu'il donne accès à tout.
    • Résumé d'infos sur MPL2: tldrlegal.com/l/MPL2
    • Très lent à désérialiser. Dataset avec 1 table, 50000 lignes, 50 colonnes, contenant généré par programmation de la chaîne de données (toutes les colonnes sont de type string). 2 secondes pour sérialiser dans un fichier, 15(!) secondes pour désérialiser. BinaryFormatter arrive à le terminer dans les 12 secondes au total, donc, le BOIS semble être plus lent, et donc d'aucune utilité.
    • Vous devez savoir que le jeu de données n'est disponible que pour les ordinateurs de bureau et pas d'autres plates-formes. C'est uniquement pour la compatibilité descendante. Aucune optimisation n'a été fait pour que, ne sera jamais. Vous devriez reconsidérer les données stratégie de stockage.
    • Oui, je suis en train de travailler avec les solutions de bureau pour Windows. Ce n'est pas susceptible de changer dans un avenir proche. reconsider you data storage strategy <-- savez-vous que certaines entreprises ont toujours besoin développeurs mainframe? Mon point est que, parfois, vous ne pouvez pas changer la façon dont l'héritage code est écrit sous le capot. C'est comme la vieille voiture vs new. Oui, l'achat d'une Maserati va résoudre votre problème, mais avez-vous des plus de 200K $, si tout ce qui est nécessaire est un moteur de reconstruction pour 3K $?

    InformationsquelleAutor Salar