Premiers pas avec Avro

Je veux commencer à utiliser Avro avec la Carte de Réduire. Quelqu'un peut-il suggérer un bon tutoriel /exemple pour commencer avec. Je ne pourrais pas trouver beaucoup par le biais de la recherche sur internet.

source d'informationauteur Sri

  1. 17

    Que j'ai fait récemment un projet qui a été fortement basée sur Avro données et de ne pas avoir utilisé ce format de données avant, j'ai dû commencer à partir de zéro. Vous avez raison en ce qu'il est plutôt difficile à obtenir beaucoup d'aide en ligne à partir de sources lors de la mise en route avec Avro. Le matériel que je recommande à vous est:

    • De loin, le plus utile de la source que j'ai trouvé l'Avro section (p103-p116) dans Tom White Hadoop: The Definitive Guide livre ainsi que son Page Github pour le code qu'il utilise dans le livre.
    • Pour plus d'exemples de code, j'ai regardé Ron Bodkin de la page Github avro-m.-échantillon.
    • Dans mon cas, j'ai utilisé Python pour la lecture et l'écriture Avro fichiers et pour cela j'ai utilisé ce tutoriel.
    • Même si c'est évident, je vais ajouter le lien vers le Avro liste de diffusion des Utilisateurs. Il ya une tonne de renseignements qui se trouvent là et après j'avais lu le matériel ci-dessus et mis en œuvre un tas de code, je me suis retrouvé à passer des heures en regardant à travers les archives.

    Enfin, ma dernière suggestion pour vous est d'utiliser Avro 1.4.1 avec Hadoop 0.20.2et SEULE la combinaison. J'ai eu quelques questions majeures de l'obtention de mon code à exécuter à l'aide de Hadoop 0,21 et plus récent Avro versions.

  2. 2

    Autres liens:

    Le principal problème que je vois avec de la documentation (peu qui n'existe pas), c'est qu'il se concentre sur de très laborieuse "générique" de l'approche qui me semble bizarre, car il combine les pires de deux monde, vous devez toujours fournir schéma complet pour les données, mais n'obtenez pas de prestations de types statiques ou tel.
    Le système automatique de génération de code est plus pratique, mais moins bien couverts.

  3. 2

    https://github.com/apache/avro/blob/trunk/lang/java/mapred avro code source n'en avons des exemples. par exemple, TestReflectJob m'aider à écrire réduire la carte de travail à l'aide de mon pré-défini des objets du domaine