Comment lire un gros fichier ligne par ligne?

Je veux lire un fichier ligne par ligne, mais sans complètement le chargement en mémoire.

Mon fichier est trop volumineux pour être ouvert dans la mémoire, et si vous essayez de le faire j'ai toujours des erreurs de mémoire insuffisante.

La taille du fichier est de 1 GO.

voir ma réponse à cette link
Vous devez utiliser fgets() sans $length paramètre.
Vous souhaitez marquer comme réponse sur l'un des suivants?

InformationsquelleAutor adnan masood | 2012-11-06

php

639

Vous pouvez utiliser le fgets() fonction pour lire le fichier ligne par ligne:
```
$handle = fopen("inputfile.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        //process the line read.
    }

    fclose($handle);
} else {
    //error opening the file.
} 
```
- Comment fonctionne ce compte pour les too large to open in memory partie?
- Vous n'êtes pas la lecture de tout le fichier en mémoire. Le max de mémoire nécessaire à l'exécution de la présente dépend de la ligne la plus longue dans l'entrée.
- Bien sûr, en se souvenant de fclose($handle); trop 😉
- Un moyen de lire les fichiers pendant le téléchargement, essayez de répondre à Comment fait-on télécharger un .fichier txt en PHP et de le faire lire ligne par ligne sur une autre page?
- Moot - Dans ces situations, la question suivante, qui consiste à lire un fichier ligne PAR LIGNE, n'ont pas un résultat défini.
- Ensuite, définir ce qui doit arriver. Si vous le souhaitez, vous pouvez simplement imprimer le message "trop long de Ligne; abandonner." et c'est bien définie de résultat trop.
- Peut une ligne contient une valeur booléenne faux? Si oui, alors cette méthode s'arrêter sans atteindre la fin du fichier. L'Exemple #1 sur cette URL php.net/manual/en/function.fgets.php suggère que fgets parfois peut retourner une valeur booléenne false, même si la fin du fichier n'a pas été encore atteint. Dans la section des commentaires sur cette page les gens signalent que fgets() n'est pas toujours le retour des valeurs correctes, de sorte qu'il est plus sûr d'utiliser feof que la boucle conditionnelle.
- il suffit de ne pas définir de tampon et on va lire ligne par ligne
InformationsquelleAutor codaddict
120
```
if ($file = fopen("file.txt", "r")) {
    while(!feof($file)) {
        $line = fgets($file);
        # do same stuff with the $line
    }
    fclose($file);
}
```
- Comme @Cuse70 a dit dans sa réponse, ce qui va conduire à une boucle infinie si le fichier n'existe pas ou ne peut pas être ouvert. Test pour if($file) avant la boucle while
- Je sais que c'est vieux, mais: en utilisant while(!feof($fichier)) n'est pas recommandée. jetez un oeil ici.
- BTW: "Si il n'y a plus de données à lire dans le pointeur de fichier, puis FALSE est retourné." php.net/manual/en/function.fgets.php Juste au cas où ...
- feof() n'existe plus?
InformationsquelleAutor Syuaa SE
76

Vous pouvez utiliser une interface orientée objet classe pour un fichier - SplFileObject http://php.net/manual/en/splfileobject.fgets.php (PHP 5 >= 5.1.0)
```
<?php

$file = new SplFileObject("file.txt");

//Loop until we reach the end of the file.
while (!$file->eof()) {
    //Echo one line from the file.
    echo $file->fgets();
}

//Unset the file to call __destruct(), closing the file handle.
$file = null;
```
- beaucoup plus propre solution. merci 😉 n'ont pas utilisé cette classe encore, il y a des fonctions plus intéressantes à explorer ici: php.net/manual/en/class.splfileobject.php
- Merci. Oui, par exemple, vous pouvez ajouter cette ligne avant alors que $fichier->setFlags(SplFileObject::DROP_NEW_LINE); afin de déposer des retours à la ligne à la fin d'une ligne.
- Aussi loin que je peux voir il n'y a pas de eof() fonction dans SplFileObject ?
- Elle est ici: php.net/manual/en/splfileobject.eof.php
- Merci! Aussi, l'utilisation rtrim($file->fgets()) à la bande de fuite des retours à la ligne pour chaque ligne de chaîne à le lire si vous ne voulez pas.
InformationsquelleAutor elshnkhll
47

Si vous êtes à l'ouverture d'un fichier de grande taille, vous voudrez probablement utiliser les Générateurs à côté de fgets() pour éviter de charger tout le fichier en mémoire:
```
/**
 * @return Generator
 */
$fileData = function() {
    $file = fopen(__DIR__ . '/file.txt', 'r');

    if (!$file)
        die('file does not exist or cannot be opened');

    while (($line = fgets($file)) !== false) {
        yield $line;
    }

    fclose($file);
};
```
L'utiliser comme ceci:
```
foreach ($fileData() as $line) {
    //$line contains current line
}
```
De cette façon, vous pouvez traiter chaque fichier de lignes à l'intérieur de la boucle foreach().

Remarque: les Générateurs nécessitent >= PHP 5.5
- Cela devrait être accepté de répondre à la place. Ses cent fois plus rapide avec des générateurs.
- Et waaay plus efficace de la mémoire.
InformationsquelleAutor Nino Škopac
28

Utiliser des techniques de mise en mémoire tampon pour lire le fichier.
```
$filename = "test.txt";
$source_file = fopen( $filename, "r" ) or die("Couldn't open $filename");
while (!feof($source_file)) {
    $buffer = fread($source_file, 4096);  //use a buffer of 4KB
    $buffer = str_replace($old,$new,$buffer);
    ///
}
```
- cela mérite plus d'amour, comme il travaillera avec de gros fichiers, même les fichiers qui n'ont pas de retour chariot ou excessivement long des lignes de...
- Je ne serais pas surpris si l'OP n'a pas vraiment de soins concernant le nombre réel de lignes et je voulais juste par exemple servir d'un téléchargement. Dans ce cas, cette réponse est tout simplement parfait (et que la plupart des programmeurs PHP se fait de toute façon).
InformationsquelleAutor Starx
26

Il y a un file() fonction qui retourne un tableau de lignes contenues dans le fichier.
```
foreach(file('myfile.txt') as $line) {
   echo $line. "\n";
}
```
- Le GO le fichier de tous les lire dans la mémoire et converti plus d'un GO de tableau... bonne chance.
- Ce n'est pas la réponse à la question posée, mais il n'réponse la plus commune de la question que beaucoup de gens ont quand regarde ici, alors qu'il était encore utile, merci.
- fichier() est très pratique pour travailler avec des fichiers de petite taille. Surtout quand vous voulez un array() comme le résultat final.
- c'est une mauvaise idée avec des fichiers plus gros que tout le fichier est en cours de lecture d'un tableau à la fois
- Cela rompt mal sur les gros fichiers, ce qui est exactement la méthode qui ne fonctionne pas.
InformationsquelleAutor NoImaginationGuy

foreach (new SplFileObject(__FILE__) as $line) {
    echo $line;
}

Vous allez aimer les oneliners

InformationsquelleAutor Quolonel Questions

6

Être prudent avec le " while(!feof ... fgets()' trucs, fgets pouvez obtenir un message d'erreur (returnfing faux), et en boucle, sans jamais atteindre la fin du fichier. codaddict était le plus proche d'être correcte mais quand votre "alors que fgets' la boucle se termine, vérifiez feof; si pas vrai, alors vous feriez une erreur.

InformationsquelleAutor Cuse70
6

La réponse la plus évidente n'était pas là, à toutes les réponses.
PHP est un pur streaming délimiteur analyseur de disponible faite pour exactement cet effet.
```
$fp=fopen("/path/to/the/file", "r+");
while ($line = stream_get_line($fp, 1024 * 1024, "\n"))
{
echo $line;
}
fclose($fp);
```
- fopen nécessite 2 paramètres.
- Comment sur la terre, ne serait-ce pas "approprié" dans ce cas ? C'est fait pour cette affaire, et le remplacement moderne pour fgets. Ce serait génial d'avoir une explication sur la façon ce n'est pas "adapté"
- J'avais juste apprécier si vous ne polluent pas les réponses, par des déclarations fausses.
InformationsquelleAutor John

L'une des solutions populaires à cette question aura des problèmes avec le caractère de nouvelle ligne. Il peut être fixé assez facile avec un simple str_replace.

$handle = fopen("some_file.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        $line = str_replace("\n", "", $line);
    }
    fclose($handle);
}

InformationsquelleAutor Tegan Snyder

Ce dont je gère avec de très gros fichier (testé jusqu'à 100G). Et il est plus rapide que fgets()

$block =1024*1024;//1MB or counld be any higher than HDD block_size*2
if ($fh = fopen("file.txt", "r")) { 
    $left='';
    while (!feof($fh)) {//read the file
       $temp = fread($fh, $block);  
       $fgetslines = explode("\n",$temp);
       $fgetslines[0]=$left.$fgetslines[0];
       if(!feof($fh) )$left = array_pop($lines);           
       foreach ($fgetslines as $k => $line) {
           //do smth with $line
        }
     }
}
fclose($fh);

comment vous assurez-vous que 1024*1024 bloc n'a pas de rupture dans le milieu de la ligne?
facile!! le comte... 1.2.3.4
était-ce une tentative de blague ou quoi?

InformationsquelleAutor Metodi Darzev

SplFileObject est utile quand il s'agit de traiter de gros fichiers.

function parse_file($filename)
{
    try {
        $file = new SplFileObject($filename);
    } catch (LogicException $exception) {
        die('SplFileObject : '.$exception->getMessage());
    }
    while ($file->valid()) {
        $line = $file->fgets();
        //do something with $line
    }

    //don't forget to free the file handle.
    $file = null;
}

InformationsquelleAutor xanadev

<?php
echo '<meta charset="utf-8">';

$k= 1;
$f= 1;
$fp = fopen("texttranslate.txt", "r");
while(!feof($fp)) {
    $contents = '';
    for($i=1;$i<=1500;$i++){
        echo $k.' -- '. fgets($fp) .'<br>';$k++;
        $contents .= fgets($fp);
    }
    echo '<hr>';
    file_put_contents('Split/new_file_'.$f.'.txt', $contents);$f++;
}
?>

InformationsquelleAutor Nguyễn Văn Cường

-7

Fonction à Lire avec le tableau de retour

function read_file($filename = ''){
    $buffer = array();
    $source_file = fopen( $filename, "r" ) or die("Couldn't open $filename");
    while (!feof($source_file)) {
        $buffer[] = fread($source_file, 4096);  //use a buffer of 4KB
    }
    return $buffer;
}

Cela permettrait de créer un tableau unique de plus d'un GO de mémoire (bonne chance avec elle), divisé en même pas des lignes mais dans l'arbitraire 4096 caractères morceaux. Pourquoi sur terre serait vous voulez le faire?

InformationsquelleAutor sixvel.com

Vous devez vous connecter pour publier un commentaire.