Fractionner les grands Excel/Csv fichier à plusieurs fichiers PHP ou Javascript

J'ai excel(file.xls)/csv(fichier.csv fichier qui contient/contiennent des centaines de milliers d'entrée, voire des millions, je crois. Est-il possible de scinder ce de un à plusieurs fichier? Comme file.xls pour file1.xls, file2.xls, file3.xls et ainsi de suite.

Sont là les bibliothèques à utiliser? Est-ce possible sur PHP? ou comment à propos de javascript?
Où je peux spécifier le nombre de lignes à inclure sur chaque fichier?

Grâce

  • Tu parles d'une xls (BIFF) fichier? ou à propos d'un fichier csv? ou un fichier csv avec une extension .xls? Excel xls fichiers et les fichiers CSV deux sont très différents... et un xls (BIFF) fichier est limité à 65535 lignes, de sorte que si vos données est répartie sur plusieurs feuilles de calcul, il est impossible d'avoir des millions d'entrées
  • deux d'entre eux. Possible une croix compatibilité de code qui permettra de travailler à la fois au format csv ou excel. est-ce même possible?
  • C'est possible, mais vous êtes potentiellement allez avoir des problèmes de mémoire et de ralentissement des performances lorsque l'on parle de ces grands volumes de données en un xls. Mon PHPExcel bibliothèque peuvent le faire, mais je vous conseille de coller des droites CSV qui peut être facilement transformé une ligne à la fois
  • PHPExcel, de sorte que vous n'écrit que de la bibliothèque. Excellent! Pour l'instant max entrées de CSV est de 100 000 pour un test. Peut-être que je rôdent autour avec elle si vous présenter comment faire? merci
InformationsquelleAutor Kenneth Palaganas | 2013-05-24
  1. 22

    Façon rapide et sale de fractionnement d'un fichier CSV dans plusieurs fichiers CSV

    $inputFile = 'input.csv';
$outputFile = 'output';

$splitSize = 10000;

$in = fopen($inputFile, 'r');

$rowCount = 0;
$fileCount = 1;
while (!feof($in)) {
    if (($rowCount % $splitSize) == 0) {
        if ($rowCount > 0) {
            fclose($out);
        }
        $out = fopen($outputFile . $fileCount++ . '.csv', 'w');
    }
    $data = fgetcsv($in);
    if ($data)
        fputcsv($out, $data);
    $rowCount++;
}

fclose($out);
    • Marque - ce qui fonctionne bien, mais compte tenu de l'OP question sur le partage de gros fichiers, l'exemple comme l'écrit serait de créer 500 fichiers chaque avec 2 rangées de données csv. Je suis sûr que ce n'est pas agréable pour lui. Je recommanderais faire monter splitSize ci-dessus pour quelque chose de plus raisonnable - dire 10k au moins.
    InformationsquelleAutor Mark Baker
  2. 3

    Oui, il est possible de le faire en PHP et avec les fichiers CSV. En gros, vous itérer sur les gros fichier et bloc toutes les X lignes, le transfert de ces lignes à un autre fichier.

    De trouver l'information, comment ouvrir le grand fichier CSV comme un itérateur dans cette réponse ici:

    Alors vous avez besoin de segmenter l'itérateur chaque X lignes de pièces. Qui peut être fait en ligne ici:

    Juste au lieu de la sortie en plusieurs <ul>...</ul> listes HTML, vous copier dans un nouveau fichier. Qui fonctionne essentiellement comme décrit dans:

    Mais cette fois, vous voulez utiliser le SplFileObject::fputcsv méthode. Prenez soin de vous d'utiliser la dernière version stable de PHP pour cela, sinon vous avez besoin de faire différentes, voir fputcsv().

    Si la première ligne du fichier d'origine contient la colonne d'en-têtes, vous risquez d'être aussi intéressé par ce qui suit:

    Il montre juste quelques façons d'étendre cette incomming fichier. Vous ne pourriez pas besoin de l'abstraction complète qui s'y fait, en gardant juste la première ligne autour de peut le faire déjà.

    InformationsquelleAutor hakre
  3. 0

    Je pense que Vous pouvez également utiliser "divisé par la taille du fichier":

    $part = 1;

$maxSize = 50;//50 Mb

$fopen = fopen('filename.csv','r') or die ('ERROR');

while (($line = fgetcsv($fopen, 10000, ";")) !== FALSE) {

    $ftowrite = fopen("Part_$part.csv",'a');

    fputcsv($ftowrite,$line);

    clearstatcache();

    $size = filesize ( "review_p$part.csv" ) / 1000000;

    if ($size  > $maxSize) {

        fclose($ftowrite);

        $part++;

    }
}
    InformationsquelleAutor Артур Димерчан