Sqoop: impossible de charger le pilote mysql exception

J'ai Installé Sqoop dans ma machine locale. Suivantes sont les informations de configuration.

Bash.bashrc:

export HADOOP_HOME=/home/hduser/hadoop
export HBASE_HOME=/home/hduser/hbase
export HIVE_HOME=/home/hduser/hive
export HCAT_HOME=/home/hduser/hive/hcatalog
export SQOOP_HOME=/home/hduser/sqoop

export PATH=$PATH:$HIVE_HOME/bin
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HBASE_HOME/bin
export PATH=$PATH:$SQOOP_HOME/bin
export PATH=$PATH:$HCAT_HOME/bin

Hadoop:

Version: Hadoop 1.0.3

De la ruche:

Version: hive 0.11.0

Mysql Connector pilote

version: mysql-connector-java-5.1.29

"The driver is copied to the lib folder of sqoop"

Sqoop :

version: sqoop 1.4.4

Après l'installation, j'ai créer une table dans mysql nommée practice_1, Mais quand je lance la commande load pour charger les données de mysql vers hdfs la commande déclenche une exception:

ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not     load db driver class: com.mysql.jdbc.Driver

Petit plus ponctuellement quelqu'un s'il vous plaît guide-moi ce que peut être le problème.

Pouvez vous s'il vous plaît fournir le sqoop de commande qui vous êtes en cours d'exécution. ?
Ici, vous allez : la boule de commande que je fournis est ::: /home/hduser/sqoop/bin/sqoop import-connect "jdbc:mysql://localhost:3306/test' --nom d'utilisateur root --password root --table ‘practice_1’ --m 1;

OriginalL'auteur Sam | 2014-03-30

13

Vous avez besoin de pilote de base de données dans 'SQOOP' classpath vérifier cette
Elle a de magnifiques explication à propos de la "SQOOP'

SQOOP a d'autres options comme les

Ex: --pilote com.microsoft.jdbc.sqlserver.SQLServerDriver -libjars=".*jar"

de ici

Vous pouvez utiliser Sqoop avec toute autre JDBC base de données compatible. Tout d'abord, télécharger le bon pilote JDBC pour le type de base de données que vous souhaitez importer, puis installez le .fichier jar dans le $SQOOP_HOME le répertoire/lib sur votre ordinateur client. (Ce sera /usr/lib/sqoop/lib si vous avez installé à partir d'un package RPM ou Debian.) Chaque pilote .fichier jar dispose également d'un pilote spécifique de la classe qui définit le point d'entrée pour le pilote. Par exemple, MySQL Connector/J de la bibliothèque dispose d'une classe pilote de com.mysql.jdbc.Le pilote. Reportez-vous à votre fournisseur de base de données de la documentation spécifique pour déterminer le principal moteur de la classe. Cette classe doit être fournie comme argument de Sqoop --pilote.

Vous pouvez être intéressé par la compréhension de la différence entre le connecteur et le pilote ici est l'article

OriginalL'auteur malatesh
6

Une autre solution qui évite d'utiliser une bibliothèque partagée est ajout du pilote jar au classpath de sqoop en utilisant HADOOP_CLASSPATH. Je n'ai pas l'-libjars option fonctionne. Cette solution fonctionne aussi sur un sécuritaire de cluster à l'aide de kerberos.
```
HADOOP_CLASSPATH=/use.case/lib/postgresql-9.2-1003-jdbc4.jar
sqoop export --connect jdbc:postgresql://db:5432/user \
  --driver org.postgresql.Driver \
  --connection-manager org.apache.sqoop.manager.GenericJdbcManager \
  --username user \
  -P \
  --export-dir /user/hive/warehouse/db1/table1 \
  --table table2
```
Celui-ci fonctionne au moins avec sqoop 1.4.3-cdh4.4.0

+1 je dirais que c'est beaucoup plus propre que la copie de votre jdbc pot à toute répertoire lib et pourrait bien être la seule option si vous n'avez pas accès en écriture à ces lib.

OriginalL'auteur selle
2

Vous devez ajouter le MySql connector /usr/lib/sqoop/lib.
Pilote JDBC MySQL par défaut n'est pas présent dans Sqoop de distribution afin de s'assurer que la valeur par défaut de la distribution est entièrement Apache licence conforme.
Espérons que cela aide...!!!

OriginalL'auteur Mukesh S
0

Si vous avez copié pilote mysql pour la sqoop dossier lib. Il va travailler pour vous. Assurez-vous de sqoop commande est correcte
```
/home/hduser/sqoop/bin/sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password root -–table practice_1 -m 1
```
Où puis-je trouver le pilote mysql dans hadoop?? J'utilise ubuntu 16.04

OriginalL'auteur Kumar
0

copie 'mysql-connector-java-5.1.41-bin.jar" dans sqoop/lib dossier et exécuter sqoop déclarations d'importation

OriginalL'auteur y durga prasad

C'est un Oozie ShareLib problème. Le script ci-dessous fonctionne pour mon:

Au Shell

sudo -u hdfs hadoop fs -chown cloudera:cloudera /user/oozie/share/lib/lib_20170719053712/sqoop
hdfs dfs -put /var/lib/sqoop/mysql-connector-java.jar /user/oozie/share/lib/lib_20170719053712/sqoop
sudo -u hdfs hadoop fs -chown oozie:oozie /user/oozie/share/lib/lib_20170719053712/sqoop

oozie admin -oozie http://localhost:11000/oozie -sharelibupdate
oozie admin -oozie http://localhost:11000/oozie -shareliblist sqoop

À La Teinte Sqoop Client

sqoop list-tables --connect jdbc:mysql://localhost/retail_db --username root --password cloudera

Plus de détails:

https://blog.cloudera.com/blog/2014/05/how-to-use-the-sharelib-in-apache-oozie-cdh-5/

OriginalL'auteur Henrique Dias

-3

Vous devez accorder priveleges les tableaux ci-dessous:

accorder tous les privilèges sur marksheet.* à 'root'@'192.168.168.1'
identifié par 'root123';

flush privileges;

Voici un exemple de commande que j'ai réalisé avec succès:

sqoop importation --verbose --champs-terminée-par ',' --se connecter
jdbc:mysql://192.168.168.1/test --nom d'utilisateur root --password root123
- tableau de l'étudiant --ruche d'importation --create-ruche-table --la ruche à la maison /maison/la formation/la ruche --entrepôt-dir /utilisateur/ruche/entrepôt
--champs-terminée-par ',' --ruche-table studentmysql

OriginalL'auteur Chalpat

Vous devez vous connecter pour publier un commentaire.