Combinant les 2 fichiers CSV

J'essaie de combiner deux fichiers CSV en PHP. Je suis à la recherche de méthode parfaite. Voici mon code pour l'instant:

$one = fopen('data5.csv', 'r');
$two = fopen('userdata.csv', 'r');

$final = fopen('final_data.csv', 'a');

$temp1 = fread($one, filesize("data5.csv"));
$temp2 = fread($two, filesize("userdata.csv"));

fwrite($final, $temp1); 
fwrite($final, $temp2);
Ou,si vous n'avez plus besoin des données d'origine, vous pourriez lire ligne par ligne le deuxième csv et l'ajouter à la première. Lorsque vous avez terminé,retirez le deuxième csv et renommer le premier..

OriginalL'auteur no_freedom | 2011-03-24

  1. 22

    Je vais vous donner une solution à utiliser si vous avez de grandes CVSs et vous ne voulez pas utiliser beaucoup de votre machine de la mémoire RAM (imaginez chaque CSV est de 1 go, par exemple).

    <?php
function joinFiles(array $files, $result) {
    if(!is_array($files)) {
        throw new Exception('`$files` must be an array');
    }

    $wH = fopen($result, "w+");

    foreach($files as $file) {
        $fh = fopen($file, "r");
        while(!feof($fh)) {
            fwrite($wH, fgets($fh));
        }
        fclose($fh);
        unset($fh);
        fwrite($wH, "\n"); //usually last line doesn't have a newline
    }
    fclose($wH);
    unset($wH);
}

    Utilisation:

    <?php
joinFiles(array('join1.csv', 'join2.csv'), 'join3.csv');

    Fait amusant:

    J'ai juste utilisé ce concat 2 fichiers CSV de ~de 500 000 lignes chacune. Il a fallu environ 5seconds et utilisé 512 ko de mémoire.

    Logique:

    Ouvrir chaque fichier, lire une ligne et puis les écrire dans le fichier de sortie. Oui, il peut être plus lent écrit chaque ligne plutôt que d'écrire un ensemble de tampon, mais cela permet l'utilisation de lourds fichiers, tout en étant doux pour la mémoire de la machine.
    À tout moment, vous êtes en sécurité parce que le script ne lit que sur une ligne à la fois et puis l'écrit.

    Profitez-en!

    Comment peut-on joindre plusieurs fichiers lors de l'exécution d'une boucle sur le joinFiles tableau. Quelque chose comme ceci: "for ($f = 1; $f <= 98; $f++) { joinFiles(array()); } '

    OriginalL'auteur Bogdan Constantinescu

  2. 2

    Comment sur...

    file_put_contents('final_data.csv',
    file_get_contents('data5.csv') .
    file_get_contents('userdata.csv')
);

    Noter que cette charge l'ensemble des fichiers dans la mémoire de PHP. Donc, si ils sont gros, vous pouvez obtenir memory_limit questions.

    OriginalL'auteur Sander Marechal

  3. 0

    Si vous voulez simplement concaténer les deux fichiers, vous pouvez le faire facilement avec de l'exécution d'un script shell en supposant que vous êtes sous unix comme système d'exploitation: 

    exec("cat data5.csv > final_data.csv && cat userdata.csv >> final_data.csv");

    OriginalL'auteur Nick Weaver

  4. 0
    ob_start();  
$dir1 = "csv/2014-01/";  
$dir = $_REQUEST['folder_name'];  
$totalfiles =  count(glob($dir."/*",GLOB_BRACE));  
echo "Total files in folder = ".$totalfiles;  
if ($opend = opendir($dir)){  
$i =0;  $final_array_export= array();  
$fil_csv =end(explode('/',$dir));  
$file_name = 'download/'.$fil_csv.'.csv';
$file_cre = fopen($file_name,"w");
$headers = array("header1","header2");
fputcsv($file_cre,$headers);
while (($file = readdir($opend)) !== false){
$filename = $dir.'/'.$file;
$files = fopen($filename,"r");
if($files){
$fullarray = fgetcsv($files);
$head=array();
if(count($fullarray) >0){    
foreach($fullarray as $headers){    
$head[] = $headers;  
}
}
while($data =  fgetcsv($files,0,",")){
if(count($data) >0 && count($head) >0){
$array_combine = array_combine($head,$data);
}
fputcsv($file_cre,$array_combine);  
}
}
}
fclose($file_cre);
header("Content-Type: application/force-download");
header("Content-type: application/csv");
header('Content-Description: File Download');
header('Content-Disposition: attachment; filename=' . $file_name);
header('Content-Transfer-Encoding: binary');
header('Expires: 0');
header('Cache-Control: must-revalidate, post-check=0, pre-check=0');
header('Pragma: public');
header('Content-length: ' . filesize($file_name));
ob_clean();
flush();
readfile($file_name);
}
    Merci pour cet extrait de code, ce qui pourrait fournir quelques limitée à court terme. Une explication correcte améliorerait grandement sa valeur à long terme en montrant pourquoi c'est une bonne solution au problème, et de le rendre plus utile pour les futurs lecteurs avec d'autres, des questions similaires. Veuillez modifier votre réponse à ajouter quelques explications, y compris les hypothèses que vous avez faites.

    OriginalL'auteur Sandeep Yadav