Apache POI Streaming (SXSSF) pour la Lecture

J'ai besoin de lire les gros fichiers excel et d'importer leurs données à ma demande.

Depuis PVE prend une grande quantité de mémoire de travail, souvent à jeter OutOfMemory erreurs, j'ai trouvé qu'il y est un Streaming API pour le traitement des données excel dans une série de mode (plutôt que de charger le fichier complètement en mémoire)

J'ai créé un xlsx classeur, avec une seule feuille de calcul, et tapé plusieurs valeurs dans les cellules et est venu avec le code suivant à la tentative de lecture:

public static void main(String[] args) throws Throwable {
    //keep 100 rows in memory, exceeding rows will be flushed to disk
    SXSSFWorkbook wb = new SXSSFWorkbook(new XSSFWorkbook(new FileInputStream("C:\\test\\tst.xlsx")));
    SXSSFSheet sheet = (SXSSFSheet) wb.getSheetAt(0);
    Row row = sheet.getRow(0);
    //row is always null
    while(row.iterator().hasNext()){ //-> NullPointerException
        System.out.println(row.getCell(0).getStringCellValue());
    }
}

Cependant, en dépit d'être en mesure d'obtenir ses feuilles de calcul correctement, il vient toujours avec vide (null) lignes.

J'ai fait des recherches et a trouvé plusieurs exemples de l'API en continu sur internet, mais aucun d'entre eux sont sur le lecture fichiers existants, ils sont tous sur la génération de fichiers excel.

Est-il réellement possible de lire les données existantes .xlsx fichiers dans un cours d'eau?

Êtes-vous à l'aide de l'IDE Eclipse pour cela?
Oui, j'y suis, pourquoi?
coz j'ai une solution si vous souhaitez augmenter l'espace du tas.
Comme indiqué dans d'autres stackoverflow question stackoverflow.com/questions/12513981/... , SXSSFWorkBook est en écriture seule, elle ne prend pas en charge la lecture de ce qui explique pourquoi vous obtenez la valeur null.
ah, oui, il y a une vm paramètre -Xmx pour augmenter heapspace, je l'ai déjà augmenté à 2 go, et PI ne pouvait pas lire un fichier de 20 mo, donc de ce fait pas possible. mais merci quand même!

OriginalL'auteur bruno_cw | 2015-11-18

  1. 23

    Après creusant un peu plus, j'ai trouvé cette bibliothèque:

    Si vous avez utilisé Apache POI dans le passé à lire dans les fichiers Excel, vous avez probablement remarqué qu'il n'est pas très efficace en terme de mémoire. Lecture dans un classeur entier va provoquer une forte utilisation de la mémoire de spike, qui peut faire des ravages sur un serveur.

    Il ya beaucoup de bonnes raisons pour que Apache a lire dans le classeur entier, mais la plupart d'entre eux ont à voir avec le fait que la bibliothèque vous permet de lire et d'écrire au hasard des adresses. Si (et seulement si) vous voulez juste de lire le contenu d'un fichier Excel dans un rapide et efficace de la mémoire manière, vous n'avez probablement pas besoin de cette capacité. Malheureusement, la seule chose dans la PI de la bibliothèque pour la lecture en continu classeur nécessite votre code pour utiliser un SAX-comme analyseur. L'ensemble de l'amicale des classes comme la Ligne et de la Cellule sont manquantes à partir de l'API.

    Cette bibliothèque sert comme un wrapper autour de que streaming API, tout en préservant la syntaxe de la norme PI API. Lisez la suite pour voir si c'est bon pour vous.

    InputStream is = new FileInputStream(new File("/path/to/workbook.xlsx"));
StreamingReader reader = StreamingReader.builder()
        .rowCacheSize(100)    //number of rows to keep in memory (defaults to 10)
        .bufferSize(4096)     //buffer size to use when reading InputStream to file (defaults to 1024)
        .sheetIndex(0)        //index of sheet to use (defaults to 0)
        .sheetName("sheet1")  //name of sheet to use (overrides sheetIndex)
        .read(is);            //InputStream or File for XLSX file (required)

    Il est également SAX Événement API, qui lit le document et d'analyser son contenu par le biais d'événements.

    Si l'empreinte mémoire est un problème, alors pour XSSF, vous pouvez obtenir à la sous-jacentes de données XML, et le processus vous-même. C'est prévu pour les développeurs qui sont prêts à apprendre un peu de bas niveau de la structure de .fichiers xlsx, et qui sont heureux de traitement XML en java. Son relativement simple, mais nécessite une compréhension de base de la structure du fichier. L'avantage est que vous pouvez lire un fichier XLSX avec un nombre relativement faible empreinte mémoire.

    Oui ,Même que je face le même problème et a utilisé cette bibliothèque et il fonctionne comme un charme
    mais cette bibliothèque fonctionne uniquement avec .fichiers xlsx, j'ai une exigence de l'entreprise à utiliser .les fichiers xls, et comme tu dit poi prendre beaucoup de mémoire pour les gros fichier excel lit.avez-vous des suggestion pour ce cas

    OriginalL'auteur bruno_cw