Modifier la très grande sql dump/fichier texte (sur linux)

J'ai importer une grande dump mysql (jusqu'à 10G). Cependant le dump sql déjà prédéfinis avec une structure de base de données avec la définition de l'index. Je veux accélérer le db insérer par la suppression de l'index et de la table de définition.

Cela signifie que je dois supprimer/modifier les premières lignes d'un 10G fichier texte. Quel est le moyen le plus efficace pour ce faire sur linux?

Des programmes qui nécessitent le chargement de la totalité du fichier dans la RAM va être trop pour moi.

OriginalL'auteur geo | 2009-03-31

  1. 31

    Plutôt que retrait les premières lignes, essayez de modifier leur sera les espaces.

    La hexedit programme peut le faire-- il lit les fichiers en morceaux, donc l'ouverture d'un fichier de 10 go n'est pas différent de l'ouverture d'un fichier de 100KO.

    $ hexedit largefile.sql.dump
tab (switch to ASCII side)
space (repeat as needed until your header is gone)
F2 (save)/Ctrl-X (save and exit)/Ctrl-C (exit without saving)
    merci! il fonctionne parfaitement! Aussi votre solution détail m'a beaucoup aidé! merci!
    Pour les personnes sans accès à un référentiel, vous pouvez obtenir le code source pour hexedit: rigaux.org/hexedit.html
    hexedit, sed ou script personnalisé: muras.l'ue/2017/03/05/l'édition de big mysqldump-fichiers

    OriginalL'auteur

  2. 3

    joe est un éditeur qui fonctionne bien avec de gros fichiers. J'ai simplement utilisé pour modifier un ~5G SQL fichier de vidage. Il a fallu environ une minute pour ouvrir le fichier et à quelques minutes de l'enregistrer, avec très peu d'utilisation de swap (sur un système avec la 4G de RAM).

    Je l'ai utilisé pour un 130GB fichier et Joe marchait très bien avec une petite empreinte mémoire
    J'ai simplement utilisé pour un 30 go de fichiers...a pris comme 5min à charge de 16 go de mémoire de la machine avec 8 GO de swap...

    OriginalL'auteur

  3. 2
    sed 's/OLD_TEXT/NEW_TEXT/g' < oldfile > newfile

    ou

    cat file | sed 's/OLD_TEXT/NEW_TEXT/g' > newfile

    OriginalL'auteur

  4. -1

    Perl peut lire le fichier ligne par ligne:

    perl -pi.bak -e 's/^create index/--create index/'

    Cela nécessitera un autre 10 GO d'espace libre, et tout le temps qu'il faut pour diffuser l'ensemble de l'image d'un fichier dans un nouveau fichier.

    OriginalL'auteur