Est-il possible de lire MongoDB données, les traiter avec Hadoop, et la sortie en RBDS (MySQL)?

TL;DR: Définir une sortie formateur qui écrit à un RDB dans votre travail Hadoop:

 job.setOutputFormatClass( DBOutputFormat.class );

Plusieurs choses à noter:

1. L'exportation de données à partir de MongoDB pour Hadoop à l'aide d'Sqoop n'est pas possible. C'est parce que Sqoop utilise JDBC qui fournit un niveau d'appel API pour SQL de la base de données, mais MongoDB n'est pas une base SQL base de données. Vous pouvez regarder le «MongoDB Connecteur pour Hadoop» pour faire ce travail. Le connecteur est disponible sur GitHub. (Edit: comme vous le soulignez dans votre mise à jour.)

2. Sqoop les exportations ne sont pas dans une seule transaction par défaut. Au lieu de cela, selon le Sqoop docs:

   Depuis Sqoop décompose le processus d'exportation dans de multiples transactions, il est possible qu'un échec de l'exportation de l'emploi peut entraîner des données partielles étant attaché à la base de données. Cela peut en outre conduire à d'autres travaux échec dû à insérer les collisions dans certains cas, ou conduire à des données dupliquées dans d'autres. Vous pouvez résoudre ce problème en spécifiant une table de transit via le --staging-table option qui agit comme un auxiliaire de table qui est utilisé pour transférer les données exportées. La mise en scène des données est finalement déplacé à la table de destination en une seule transaction.

3. La «MongoDB Connecteur pour Hadoop», ne semble pas pour forcer le flux de travail que vous décrivez. Selon les docs:

   Cette connectivité prend la forme d'permettant à la fois de la lecture MongoDB données dans Hadoop (pour une utilisation dans les tâches MapReduce ainsi que d'autres composants de l'écosystème Hadoop), ainsi que l'écriture des résultats de Hadoop emplois à MongoDB.

4. En effet, aussi loin que je comprends de la «MongoDB Connecteur pour Hadoop»: exemples, il serait possible de spécifier un org.apache.hadoop.mapred.lib.db.DBOutputFormat dans votre emploi Hadoop MapReduce pour écrire la sortie dans une base de données MySQL. Suivant l'exemple de l'connecteur référentiel:

   job.setMapperClass( TokenizerMapper.class );
   job.setCombinerClass( IntSumReducer.class );
   job.setReducerClass( IntSumReducer.class );
   job.setOutputKeyClass( Text.class );
   job.setOutputValueClass( IntWritable.class );
   job.setInputFormatClass( MongoInputFormat.class );
   /* Instead of:
    * job.setOutputFormatClass( MongoOutputFormat.class );
    * we use an OutputFormatClass that writes the job results 
    * to a MySQL database. Beware that the following OutputFormat 
    * will only write the *key* to the database, but the principle
    * remains the same for all output formatters
    */
   job.setOutputFormatClass( DBOutputFormat.class );

OriginalL'auteur brice

Utilisation MongoHadoop connecteur à lire des données dans MongoDB et de les traiter à l'aide d'Hadoop.

Lien:
https://github.com/mongodb/mongo-hadoop/blob/master/hive/README.md

L'aide de ce connecteur, vous pouvez utiliser Pig et Hive pour lire les données à partir de Mongo db et de les traiter à l'aide d'Hadoop.

Exemple de Mongo tableau de la Ruche:

  CREATE EXTERNAL TABLE TestMongoHiveTable
    ( 
    id STRING,
    Name STRING
    )
    STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
    WITH SERDEPROPERTIES('mongo.columns.mapping'='{"id":"_id","Name":"Name"}')
    LOCATION '/tmp/test/TestMongoHiveTable/' 
    TBLPROPERTIES('mongo.uri'='mongodb://{MONGO_DB_IP}/userDetails.json');

Une fois qu'il est exporté vers la table de la ruche, vous pouvez utiliser Sqoop ou de Porc pour exporter les données vers mysql.

Ici est un flux.

Mongo DB -> Processus de données à l'aide de Mongo DB connecteur hadoop (Pig) -> Entreposer à la table de la ruche/HDFS -> Exporter des données vers mysql à l'aide de sqoop.

OriginalL'auteur Chetan Shirke