le remplissage des données à partir de fichier xml dans une base de données sqlite à l'aide de python

J'ai une question par rapport à certaines lignes directrices pour résoudre un problème. J'ai avec moi un fichier xml, j'ai placer dans un système de base de données (que ce soit, il pourrait être sqlite, mysql) à l'aide de langage de script: Python.

Quelqu'un a une idée sur comment procéder?

Technologies j'ai besoin de lire plus loin?
Dont les environnements que je dois installer?
Tout les tutoriels sur le même sujet?

J'ai déjà essayé d'analyser le xml en utilisant à la fois par des arbres et sax méthode dans d'autres langues, mais pour commencer avec Python, je ne sais pas par où commencer. Je sais déjà comment la conception de la base de données dont j'ai besoin.

Une autre question, est-Python seul possible de l'exécution de la base de données les requêtes ddl?

OriginalL'auteur fx. | 2010-01-18

10

Je vous recommande d'étude sur ElementTree pour l'analyse de votre fichier XML en mémoire (analyser tout ça, puis émet tout de SQL DB, est probablement plus facile, mais l'élément de l'arbre permet également à des activités marginales si votre fichier est énorme) -- c'est une partie de la bibliothèque standard de Python en tant que module xml.programme etree.

Je recommande sqlite3 (également dans la bibliothèque standard de Python) que le relationnel de choix (si vous avez le choix), parce que c'est très pratique et facile -- le sous-jacent SQLite intégré relationnel est également bien documenté à l' de son propre site. Si vous avez besoin d'un général tutoriel sur la façon Python aime interface relationnelle DBs (la "DB-API"), il y a une belle ici.

Une fois que vous comprenez pleinement du programme etree et sqlite3 -- et vous n'avez pas nécessairement besoin d'installer toutchose, soit (ce qui est une partie de leurs charmes;-) -- vous êtes fondamentalement, tous ensemble. (Bien sûr, une installation de SQLite lui-même (en ligne de commande et/ou outils d'interface graphique), de sorte que vous pouvez regarder vos fichiers base de données et de les modifier peut-être belle, que peut-graphique des éditeurs XML comme oxygène ou XMLmindà regarder et/ou de modifier votre fichier XML, mais ni le genre d'outil est à tous les nécessaire, pas du tout liées à l'utilisation de Python plutôt que d'autres langues pour l'analyse XML et SQLite écrit;-).

Et oui, vous pouvez parfaitement faire CREATE TABLE et autres requêtes DDL partir de sqlite3 (et tous les autres DB-API compatible module Python, si vous choisissez d'utiliser d'autres relationnel DBs;-).

+1 pour m'indiquer ElementTree. p.s. a été "DLL requêtes" une faute de frappe et censés être les "requêtes DDL" comme dans le Langage de Définition de Données ?
yep, a été faute de frappe pour DDL, la fixation de maintenant, merci.

OriginalL'auteur Alex Martelli

Vous pouvez tout faire à la main avec sqlite3 et xmlstarlet.

convertir xml en csv
importation csv db.

(C'est peut-être pas votre voulez. mais c'est très pratique)

# content of xml file
$ cat artist.xml
<results><artist><id>Ae2300d8b0232c06c</id><name>莎拉 布莱曼(Sarah Brightman)</name><hotSongs><!--freemusic/song/result/Sa3f6b810d7f98646--><song><id>Sa3f6b810d7f98646</id><name>Gloomy Sunday</name><artist>莎拉 布莱曼(Sarah Brightman)</artist><artistId>Ae2300d8b0232c06c</artistId><album>月光女神</album><duration>227.0</duration><canBeDownloaded>true</canBeDownloaded><hasFullLyrics>true</hasFullLyrics><canBeStreamed>true</canBeStreamed><albumId>Bfef909d41922984a</albumId><hasSimilarSongs>true</hasSimilarSongs><hasRecommendation>false</hasRecommendation></song><!--freemusic/song/result/Sbb94fa21258a8b51--><song><id>Sbb94fa21258a8b51</id><name>我和你(2008年奥运会主题曲)(You And Me)</name><artist>刘欢</artist><artist>莎拉 布莱曼(Sarah Brightman)</artist><artistId>A6682d46bd4bdfc84</artistId><artistId>Ae2300d8b0232c06c</artistId><album>我和你 2008北京奥运会主题歌</album><duration>256.0</duration><canBeDownloaded>true</canBeDownloaded><hasFullLyrics>true</hasFullLyrics><canBeStreamed>true</canBeStreamed><albumId>Babf3ab3b7ef0e3ed</albumId><hasSimilarSongs>true</hasSimilarSongs><hasRecommendation>false</hasRecommendation></song><!--freemusic/song/result/S6a47788bef57ff87--><song><id>S6a47788bef57ff87</id><name>Scarborough Fair</name><artist>莎拉 布莱曼(Sarah Brightman)</artist><artistId>Ae2300d8b0232c06c</artistId><album>月光女神</album><duration>251.0</duration><canBeDownloaded>true</canBeDownloaded><hasFullLyrics>true</hasFullLyrics><canBeStreamed>true</canBeStreamed><albumId>Bfef909d41922984a</albumId><hasSimilarSongs>true</hasSimilarSongs><hasRecommendation>false</hasRecommendation></song><!--freemusic/song/result/Sde1aa68da126ddfe--><song><id>Sde1aa68da126ddfe</id><name>Time To Say Goodbye</name><artist>莎拉 布莱曼(Sarah Brightman)</artist><artistId>Ae2300d8b0232c06c</artistId><album>Symphony: Live In Vienna</album><duration>275.0</duration><canBeDownloaded>true</canBeDownloaded><hasFullLyrics>true</hasFullLyrics><canBeStreamed>true</canBeStreamed><albumId>B0187937a07b940f7</albumId><hasSimilarSongs>true</hasSimilarSongs><hasRecommendation>false</hasRecommendation></song><!--freemusic/song/result/S7483cc8c44e06bbb--><song><id>S7483cc8c44e06bbb</id><name>Amazing Grace</name><artist>莎拉 布莱曼(Sarah Brightman)</artist><artistId>Ae2300d8b0232c06c</artistId><album>真爱永恒 - 冬之歌</album><duration>186.0</duration><canBeDownloaded>true</canBeDownloaded><hasFullLyrics>true</hasFullLyrics><canBeStreamed>true</canBeStreamed><albumId>B38e85a3056c0381c</albumId><hasSimilarSongs>true</hasSimilarSongs><hasRecommendation>false</hasRecommendation></song><!--freemusic/song/result/S2d9683c7230e18de--><song><id>S2d9683c7230e18de</id><name>This Love</name><artist>莎拉 布莱曼(Sarah Brightman)</artist><artistId>Ae2300d8b0232c06c</artistId><album>月光女神</album><duration>371.0</duration><canBeDownloaded>true</canBeDownloaded><hasFullLyrics>true</hasFullLyrics><canBeStreamed>true</canBeStreamed><albumId>Bfef909d41922984a</albumId><hasSimilarSongs>true</hasSimilarSongs><hasRecommendation>false</hasRecommendation></song><!--freemusic/song/result/Scfb4989195b44e57--><song><id>Scfb4989195b44e57</id><name>Here With Me</name><artist>莎拉 布莱曼(Sarah Brightman)</artist><artistId>Ae2300d8b0232c06c</artistId><album>月光女神</album><duration>324.0</duration><canBeDownloaded>true</canBeDownloaded><hasFullLyrics>true</hasFullLyrics><canBeStreamed>true</canBeStreamed><albumId>Bfef909d41922984a</albumId><hasSimilarSongs>true</hasSimilarSongs><hasRecommendation>false</hasRecommendation></song><!--freemusic/song/result/S7bafc588178b932c--><song><id>S7bafc588178b932c</id><name>La Lune</name><artist>莎拉 布莱曼(Sarah Brightman)</artist><artistId>Ae2300d8b0232c06c</artistId><album>月光女神</album><duration>173.0</duration><canBeDownloaded>true</canBeDownloaded><hasFullLyrics>false</hasFullLyrics><canBeStreamed>true</canBeStreamed><albumId>Bfef909d41922984a</albumId><hasSimilarSongs>true</hasSimilarSongs><hasRecommendation>false</hasRecommendation></song></hotSongs></artist></results>
# convert xml to csv file using xmlstarlet
$ xml sel -t -m '//song' -v 'concat(id, ",", name, ",", duration)' -n artist.xml | sed '$d' >artist.csv
# content of csv file
$ cat artist.csv
Sa3f6b810d7f98646,Gloomy Sunday,227.0
Sbb94fa21258a8b51,我和你(2008年奥运会主题曲)(You And Me),256.0
S6a47788bef57ff87,Scarborough Fair,251.0
Sde1aa68da126ddfe,Time To Say Goodbye,275.0
S7483cc8c44e06bbb,Amazing Grace,186.0
S2d9683c7230e18de,This Love,371.0
Scfb4989195b44e57,Here With Me,324.0
S7bafc588178b932c,La Lune,173.0
# create sqlite database
$ sqlite3 song.db
sqlite> CREATE TABLE song(id, name, duration);
# enter csv mode to import csv file
sqlite> .mode csv
sqlite> .import artist.csv song
# check everything is ok
sqlite> .mode column
sqlite> .header on
sqlite> select * from song;
id                 name           duration
-----------------  -------------  ----------
Sa3f6b810d7f98646  Gloomy Sunday  227.0
Sbb94fa21258a8b51  我和你(200  256.0
S6a47788bef57ff87  Scarborough F  251.0
Sde1aa68da126ddfe  Time To Say G  275.0
S7483cc8c44e06bbb  Amazing Grace  186.0
S2d9683c7230e18de  This Love      371.0
Scfb4989195b44e57  Here With Me   324.0
S7bafc588178b932c  La Lune        173.0

OriginalL'auteur kev

1

Si vous êtes habitué à DOM (arbre) l'accès aux données xml à partir d'autres langues, vous pouvez trouver utile de ces modules de la bibliothèque standard (et leurs docs):
- xml.dom
- xml.dom.minidom
Pour enregistrer tha de données pour la base de données, vous pouvez utiliser le module sqlite3 ou regarder pour la liaison à mysql. Ou vous pouvez utiliser quelque chose de plus abstrait, comme SQLAlchemy ou l'ORM de Django.

OriginalL'auteur Krab

Vous devez vous connecter pour publier un commentaire.