Rapide CSV analyse

opencsv

Prendre un coup d'oeil à opencsv.

Ce blog, opencsv est facile CSV analyseur, a exemple d'utilisation.

Le problème de votre code, c'est que c'est à l'aide de replaceAll et split, qui sont très coûteux en fonctionnement. Vous devriez certainement envisager d'utiliser un fichier csv analyseur/lecteur qui permettrait de faire un passage de l'analyse.

Il y a une référence sur github

https://github.com/uniVocity/csv-parsers-comparison

qui, malheureusement, est couru sous java 6. Le nombre sont légèrement différents sous java 7 et 8. Je vais essayer d'obtenir plus de détails de données pour différentes taille de fichier, mais c'est un travail en cours

voir https://github.com/arnaudroger/csv-parsers-comparison

Un peu de retard ici, il y a maintenant quelques projets de benchmarking pour CSV analyseurs. Votre choix dépendra de l'utilisation exacte des cas (c'est à dire les données brutes vs la liaison de données, etc).

• SimpleFlatMapper
• univocité
• sesseltjonna-csv (disclaimer: j'ai écrit cet analyseur)

Apache Commons CSV ➙ de 12 secondes pour les millions de lignes de

Est-il une bibliothèque existante qui pourrait m'aider à accélérer les choses?

Oui, le Apache Commons CSV projet fonctionne très bien dans mon expérience.

Voici un exemple d'application qui utilise Apache Commons CSV bibliothèque pour lire et écrire des lignes de 24 colonnes: Un entier numéro séquentiel, un Instantané, et le reste sont aléatoires UUID objets.

Pour 10 000 lignes, l'écriture et à la lecture de chacun prendre environ une demi-seconde. La lecture comprend la reconstitution de la Integer, Instant, et UUID objets.

Mon exemple de code vous permet d'activer ou de désactiver la reconstitution d'objets. J'ai couru à la fois avec un million de lignes. Cela crée un fichier de 850 mo. Je suis à l'aide de Java 12 sur un MacBook Pro (Retina, 15 pouces, Fin 2013), 2,3 GHz Intel Core i7, 16 GO 1600 MHz DDR3, Apple SSD.

Pour un million de lignes, dix secondes pour lire plus de deux secondes pour l'analyse:

• Écrit: PT25.994816S
• Lecture seulement: PT10.353912S
• Lecture & analyse: PT12.219364S

Code Source est une seule .java fichier. A une méthode d'écriture, et un read méthode. Les deux méthodes appelées à partir d'un main méthode.

J'ai ouvert un BufferedReader en appelant Fichiers.newBufferedReader.

package work.basil.example;
import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
import org.apache.commons.csv.CSVPrinter;
import org.apache.commons.csv.CSVRecord;
import java.io.*;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.time.Duration;
import java.time.Instant;
import java.util.UUID;
public class CsvReadingWritingDemo
{
public static void main ( String[] args )
{
CsvReadingWritingDemo app = new CsvReadingWritingDemo();
app.write();
app.read();
}
private void write ()
{
Instant start = Instant.now();
int limit = 1_000_000; //10_000  100_000  1_000_000
Path path = Paths.get( "/Users/basilbourque/IdeaProjects/Demo/csv.txt" );
try (
Writer writer = Files.newBufferedWriter( path, StandardCharsets.UTF_8 );
CSVPrinter printer = new CSVPrinter( writer , CSVFormat.RFC4180 );
)
{
printer.printRecord( "id" , "instant" , "uuid_01" , "uuid_02" , "uuid_03" , "uuid_04" , "uuid_05" , "uuid_06" , "uuid_07" , "uuid_08" , "uuid_09" , "uuid_10" , "uuid_11" , "uuid_12" , "uuid_13" , "uuid_14" , "uuid_15" , "uuid_16" , "uuid_17" , "uuid_18" , "uuid_19" , "uuid_20" , "uuid_21" , "uuid_22" );
for ( int i = 1 ; i <= limit ; i++ )
{
printer.printRecord( i , Instant.now() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() , UUID.randomUUID() );
}
} catch ( IOException ex )
{
ex.printStackTrace();
}
Instant stop = Instant.now();
Duration d = Duration.between( start , stop );
System.out.println( "Wrote CSV for limit: " + limit );
System.out.println( "Elapsed: " + d );
}
private void read ()
{
Instant start = Instant.now();
int count = 0;
Path path = Paths.get( "/Users/basilbourque/IdeaProjects/Demo/csv.txt" );
try (
Reader reader = Files.newBufferedReader( path , StandardCharsets.UTF_8) ;
)
{
CSVFormat format = CSVFormat.RFC4180.withFirstRecordAsHeader();
CSVParser parser = CSVParser.parse( reader , format );
for ( CSVRecord csvRecord : parser )
{
if ( true ) //Toggle parsing of the string data into objects. Turn off (`false`) to see strictly the time taken by Apache Commons CSV to read & parse the lines. Turn on (`true`) to get a feel for real-world load.
{
Integer id = Integer.valueOf( csvRecord.get( 0 ) ); //Annoying zero-based index counting.
Instant instant = Instant.parse( csvRecord.get( 1 ) );
for ( int i = 3 - 1 ; i <= 22 - 1 ; i++ ) //Subtract one for annoying zero-based index counting.
{
UUID uuid = UUID.fromString( csvRecord.get( i ) );
}
}
count++;
if ( count % 1_000 == 0 )  //Every so often, report progress.
{
//System.out.println( "# " + count );
}
}
} catch ( IOException e )
{
e.printStackTrace();
}
Instant stop = Instant.now();
Duration d = Duration.between( start , stop );
System.out.println( "Read CSV for count: " + count );
System.out.println( "Elapsed: " + d );
}
}