MySQL workbench table assistant importation de données extermely lent
j'ai besoin de l'importer dans une base de données d'un fichier csv avec 20 millions de lignes et 2 colonnes, mais quand j'essaie de le faire avec l'assistant importation de données de mysql workbench est extrêmement lent, probablement va prendre 1 mois pour en finir, en regardant la barre de progression.
Il doit y avoir un moyen plus rapide pour ce faire, j'espère.
Merci beaucoup
J'ai écrit Cette Réponse pour un mec. Pris sa de 8 hr à l'importation jusqu'à une minute ou deux. Semble extrême, mais qu'est ce qu'il a dit.
OriginalL'auteur BlueStarry | 2015-10-23
Vous devez vous connecter pour publier un commentaire.
Toujours utiliser
Load Data Infile
comme une première tentative pour de grands ensembles de données.Manuel Mysql page sur Load Data Infile.
A écrit plusieurs réponses à cette question, mais pour une comparaison avec ses pairs, de voir ce type de question et mon Réponse et son temps comparaisons de Workbench vs Load Data Infile.
Merci @raider33 pour le partage
Attention, cette solution va expirer dans les 30 secondes. Beaucoup de gens parler de "wait_timeout" mais au 28800 secondes on pourrait penser qu'il allait durer plus de 30 secondes.
OriginalL'auteur Drew
C'est une alternative.
Exporter vos données au format CSV, sql script, vous avez besoin d'écrire un peu de code pour cela.
Fondamentalement, vos données au format csv, seront converties en similaire à ci-dessous les commandes
INSERT INTO TABLE_NAME values(1,2),(1,3),....;
maintenant utiliser MySQL shell script et utiliser
SOURCE
de commandemysql> source C:/Users/Desktop/sql scripts/script.sql
vos données seront importés plus rapide par rapport à l'importation directe d'un fichier CSV pour des millions de record.
OriginalL'auteur Gaurav Lad
Si vous ne voulez pas écrire de code, je vous propose d'essayer un autre client GUI comme HeidiSQL. L'importation d'un fichier CSV/texte des fichiers beaucoup plus rapide que MySQL Workbench.
OriginalL'auteur malnosna
J'ai eu un problème similaire avec MySQL workbench.
L'alternative que j'ai trouvé est de Toad pour MySQL (https://www.toadworld.com/m/freeware/1469)
Qu'il me faudrait 40 min par admin MySQL, la connexion à MySQL distant sever. Sur le serveur MySQL lui-même le téléchargement ne prend que quelques minutes. Avec crapaud, je suis en mesure de se connecter au serveur distant et télécharger en quelques minutes. Je l'ai fait essayer HeidiSQL, mais n'a pas trouvé plus amicale à l'importation.
OriginalL'auteur Dilan JIvanji
Préfère toujours load data infile pour l'importation d'ensembles de données, l'inconvénient c'est => vous devez créer la structure d'une table, avant de les importer. Assistant d'importation permet de créer à la volée une nouvelle table directement à partir d'un fichier csv ou json.
Je pense que la raison de cette slowlyness est : workbench utilise python pour l'assistant d'importation. Vous pouvez voir que dans le journal de l'assistant d'importation lorsqu'une erreur se produit, c'est python journal de la console.
Si vous n'avez pas wan pas pour créer la structure pour une raison quelconque, vous pouvez commencer le processus, il va créer la table de la csv, puis de tuer le processus. Ensuite, supprimer tout le contenu de votre table et de load data infile. C'est une sorte de vilain "hack", mais il a travaillé pour moi.
OriginalL'auteur adnls