Programme pour travailler avec de grands Fichiers CSV

Y a de bons programmes pour traiter avec la lecture de gros fichiers CSV? Certains des fichiers de données, j'ai traiter avec dans le de 1 GO. Ils ont trop de lignes pour Excel à même de traiter. À l'aide de l'Accès peut être un peu lent, comme vous l'avez fait à les importer dans une base de données de travailler directement avec eux. Est-il un programme qui permet d'ouvrir de gros fichiers CSV et vous donner une simple feuille de calcul disposition pour vous aider à facilement et rapidement analyser les données?

Oui, il est. Vous pouvez utiliser [OpenRefine][1] (ou Google Affiner). OpenRefine est comme une feuille de calcul sur les stéroïdes. La taille du fichier que vous pouvez manipuler dépendent de la mémoire de votre ordinateur. [1]: openrefine.org

OriginalL'auteur Kibbee | 2008-09-04

  1. 8

    MySQL pouvez importer les fichiers CSV très vite sur les tables à l'aide de la LOAD DATA INFILE de commande. Il peut également lire des fichiers CSV directement, sans passer par toutes les procédures d'importation, à l'aide de la CSV moteur de stockage.

    De l'importer sur native tables avec LOAD DATA INFILE a un frais de démarrage, mais après cela, vous pouvez INSERT/UPDATE beaucoup plus vite, ainsi que les champs d'index. À l'aide de la CSV moteur de stockage est presque instantanée au premier abord, mais seulement balayage séquentiel sera rapide.

    Mise à jour: Cet article (faites défiler jusqu'à la section intitulée Instant Chargements de Données) parle à l'aide de deux approches pour le chargement des données au format CSV sur MySQL, et donne des exemples.

    j'ai fait le travail avec l'Immobilier MLS jeux de données qui se composait de 15-30 MO fichier CSV. Sans MySQL LOAD INFILE, chaque flux aurait pris une heure ou plus pour traiter de.... mais l'utilisation de MySQL et de matières tables j'ai coupé de traitement de 5 à 6 minutes, même pour les plus grands jeux de données.

    OriginalL'auteur Jordi Bunster

  2. 7

    J'ai trouvé reCSVeditor est un excellent programme pour l'édition de fichiers CSV. Il est idéal pour enlever les colonnes inutiles. Je l'ai utilisé pour les fichiers de 1 000 000 d'enregistrement des fichiers assez facilement.

    +1 reCSVeditor a fonctionné pour moi avec près de fichier de 2 go de >2 000 000 de lignes
    hey, j'ai téléchargé le zip, mais je ne peux pas comprendre comment l'utiliser, pouvez-vous svp me guider comment?
    Recsveditor décompressez le contenu, puis exécutez le programme d'installation

    OriginalL'auteur David Sealey

  3. 2

    vEdit est excellent pour cela. J'ai systématiquement ouvrir+ de 100 meg (je sais que vous avez dit jusqu'à un concert, je pense qu'ils annoncent sur leur site, il peut gérer deux fois plus élevé) des fichiers. Il a regex de soutien et d'autres charges de fonctionnalités. 70 dollars, c'est cher pour la quantité que vous pouvez faire avec lui.

    OriginalL'auteur kemiller2002

  4. 1

    GVim peut gérer des fichiers volumineux pour libre si vous n'êtes pas attachés à une véritable feuille de calcul statique de la taille du champ de vue.

    OriginalL'auteur EBGreen

  5. 0

    vEdit est grande, mais n'oubliez pas que vous pouvez toujours revenir aux "fondamentaux", découvrez Cygwin et commencer à greping.

    Serviable commandes

    • grep
    • tête
    • queue
    • de cours perl!

    OriginalL'auteur jason saldo

  6. 0

    Cela dépend de ce que vous voulez vraiment faire avec les données. Un gros fichier texte comme ça en général, vous voulez seulement un petit sous-ensemble des données à tout moment, afin de ne pas négliger les outils comme "grep" pour sortir les pièces que vous recherchez, et de travailler avec.

    OriginalL'auteur Andrew

  7. 0

    Si vous pouvez ajuster les données en mémoire et que vous aimez python alors je vous recommandons de vérifier la Unifiable partie de Auguste. (Avertissement: Auguste est open source (GPLv2) mais je travaille pour la société qui l'écrit.)

    Ce n'est pas très bien documenté, mais cela devrait vous aider à aller de l'avant.

    from augustus.kernel.unitable import *
a = UniTable().from_csv_file('filename')
b = a.subtbl(a['key'] == some_value) #creates a subtable

    Il ne sera pas directement de vous donner un excel comme interface, mais avec un petit peu de travail, vous pouvez obtenir de nombreuses statistiques rapidement.

    OriginalL'auteur David Locke