XML Diviser un Grand fichier

Je pense que vous aurez à diviser manuellement, sauf si vous êtes intéressés à le faire par programmation. Voici un échantillon qui fait que, bien qu'il ne mentionne pas la taille max de traités des fichiers XML. Quand le faire manuellement, le premier problème qui se pose est de savoir comment ouvrir le fichier lui-même.

Je vous recommande un très simple éditeur de texte - quelque chose comme Vim. Lors de la manipulation de ces fichiers volumineux, il est toujours utile de désactiver toutes les formes de coloration de syntaxe et/ou de pliage.

D'autres options à considérer:

1. EditPadPro - Je n'ai jamais essayé avec quelque chose de cette taille, mais si c'est rien comme les autres JGSoft produits, il devrait fonctionner comme une brise. N'oubliez pas de désactiver la coloration syntaxique.

2. VEdit - J'ai utilisé cela avec des fichiers: 1 go taille, fonctionne comme si de rien n'était.

3. EmEditor

OriginalL'auteur Cerebrus

Ici est une faible empreinte mémoire script pour le faire dans le gratuit firstobject éditeur XML (foxe) à l'aide de CMarkup mode de fichier. Je ne suis pas sûr de ce que tu veux dire par pas interdépendants noeuds, ou d'une étiquette de vérification, mais en supposant que sous l'élément racine vous avez des millions d'éléments de niveau supérieur contenant les propriétés de l'objet ou de lignes que chacun doit rester ensemble comme une unité, et vous avez voulu dire 1 million de dollars par fichier de sortie, vous pourriez faire ceci:

split_xml_15GB() 
{ 
int nObjectCount = 0, nFileCount = 0; 
CMarkup xmlInput, xmlOutput; 
xmlInput.Open( "15GB.xml", MDF_READFILE ); 
xmlInput.FindElem(); //racine 
str sRootTag = xmlInput.GetTagName(); 
xmlInput.IntoElem(); 
while ( xmlInput.FindElem() ) 
{ 
si ( nObjectCount == 0 ) 
{ 
++nFileCount; 
xmlOutput.Open( "morceau" + nFileCount + ".xml", MDF_WRITEFILE ); 
xmlOutput.AddElem( sRootTag ); 
xmlOutput.IntoElem(); 
} 
xmlOutput.AddSubDoc( xmlInput.GetSubDoc() ); 
++nObjectCount; 
si ( nObjectCount == 1000000 ) 
{ 
xmlOutput.Close(); 
nObjectCount = 0; 
} 
} 
si ( nObjectCount ) 
xmlOutput.Close(); 
xmlInput.Close(); 
retour nFileCount; 
}

J'ai posté une vidéo sur youtube et l'article à ce sujet ici:

http://www.firstobject.com/xml-splitter-script-video.htm

OriginalL'auteur Ben Bryant

De quelle manière avez-vous besoin de le diviser? Il est assez facile d'écrire du code à l'aide de XmlReader.ReadSubTree. Il sera de retour une nouvelle xmlReader instance à l'encontre de l'élément courant et tous ses éléments enfants. Donc, passer à la première enfant de la racine, appel ReadSubtree, écrire tous ces nœuds, appelez la fonction Read() en utilisant le lecteur d'origine, et en boucle jusqu'à ce que fait.

OriginalL'auteur John Saunders

Used this for splitting Yahoo Q&A dataset

    count = 0
    file_count = 1
    with open('filepath') as f:

    current_file = ""

    for line in f:
        current_file = current_file + line

        if "</your tag to split>" in line:
            count = count + 1

        if count==50000:
            current_file = current_file + "</endTag>"
            with open('filepath/Split/file_' +str(file_count)+'.xml' , 'w') as split:
                split.write(current_file)
            file_count = file_count + 1
            current_file = "<?xml version='1.0' encoding='UTF-8'?>\n<endTag>"
            count = 0

current_file = current_file + "</endTag>"
with open('filepath/Split/file_' +str(file_count)+'.xml' , 'w') as split:
    split.write(current_file)

OriginalL'auteur Shivendra

Pas un outil Xml mais Ultraedit pourrait probablement aider, je l'ai utilisé avec 2G de fichiers et il n'a pas l'esprit à tous, assurez-vous de désactiver l'auto-fonction de sauvegarde.

OriginalL'auteur MrTelly