Le Moyen le plus rapide pour Supprimer une Ligne de Gros Fichier en Python

Vous pouvez avoir deux objets de fichier pour le même fichier en même temps (l'un pour la lecture, l'une pour l'écriture):

def removeLine(filename, lineno):
    fro = open(filename, "rb")

    current_line = 0
    while current_line < lineno:
        fro.readline()
        current_line += 1

    seekpoint = fro.tell()
    frw = open(filename, "r+b")
    frw.seek(seekpoint, 0)

    # read the line we want to discard
    fro.readline()

    # now move the rest of the lines in the file 
    # one line back 
    chars = fro.readline()
    while chars:
        frw.writelines(chars)
        chars = fro.readline()

    fro.close()
    frw.truncate()
    frw.close()

Autant que je sache, vous ne pouvez pas ouvrir un fichier txt avec python et supprimer une ligne. Vous devez faire un nouveau fichier et le déplacer tout, mais que la ligne à. Si vous connaissez le ligne, alors vous devez faire quelque chose comme ceci:

f = open('in.txt')
fo = open('out.txt','w')

ind = 1
for line in f:
    if ind != linenumtoremove:
        fo.write(line)
    ind += 1

f.close()
fo.close()

Vous pouvez bien sûr consulter le contenu de la ligne au lieu de déterminer si vous voulez le garder ou pas. Je vous recommande également que si vous avez toute une liste de lignes supprimées/modifiées pour faire toutes ces modifications dans un seul passage dans le fichier.

Mise à jour: la solution à l'aide de sed comme demandé par poster en commentaire.

Pour supprimer par exemple la deuxième ligne du fichier:

sed '2d' input.txt

Utiliser le -i basculer à modifier en place. Avertissement: ceci est une opération destructrice. Lire l'aide de cette commande pour plus d'informations sur la façon de faire la sauvegarde automatiquement.

Je pense qu'il y avait un peu le même si pas exactement le même type de question posée ici. La lecture (et l'écriture) ligne par ligne est lent, mais vous pouvez lire un gros morceau dans la mémoire à la fois, passer par cette ligne par ligne, de sauter des lignes, vous ne voulez pas, alors à écrire ce que d'un seul morceau dans un nouveau fichier. Répétez jusqu'à ce que fait. Enfin remplacer le fichier d'origine avec le nouveau fichier.

La chose à regarder dehors pour est lorsque vous lisez un morceau, vous devez traiter avec la dernière, potentiellement partielle de la ligne de vous lire, et d'ajouter que dans la partie suivante vous lire.

Je vais donner deux solutions basées sur la recherche de facteur (numéro de ligne ou une chaîne de recherche):

Numéro de ligne

def removeLine2(filename, lineNumber):
    with open(filename, 'r+') as outputFile:
        with open(filename, 'r') as inputFile:

            currentLineNumber = 0 
            while currentLineNumber < lineNumber:
                inputFile.readline()
                currentLineNumber += 1

            seekPosition = inputFile.tell()
            outputFile.seek(seekPosition, 0)

            inputFile.readline()

            currentLine = inputFile.readline()
            while currentLine:
                outputFile.writelines(currentLine)
                currentLine = inputFile.readline()

        outputFile.truncate()

Chaîne

def removeLine(filename, key):
    with open(filename, 'r+') as outputFile:
        with open(filename, 'r') as inputFile:
            seekPosition = 0 
            currentLine = inputFile.readline()
            while not currentLine.strip().startswith('"%s"' % key):
                seekPosition = inputFile.tell()
                currentLine = inputFile.readline()

            outputFile.seek(seekPosition, 0)

            currentLine = inputFile.readline()
            while currentLine:
                outputFile.writelines(currentLine)
                currentLine = inputFile.readline()

        outputFile.truncate()