Erreur lors de la Lecture de Gros Fichiers Excel (xlsx) Via Apache POI

Vous n'avez pas de mentionner si vous avez besoin de modifier la feuille de calcul ou pas.

Ce qui peut être évident, mais si vous n'avez pas besoin de modifier la feuille de calcul, vous n'avez pas besoin de l'analyser et de l'écrire, vous pouvez simplement lire les octets du fichier, et d'écrire des octets, comme vous le feriez avec, disons, une image, ou tout autre format binaire.

Si vous avez besoin de modifier la feuille de calcul avant de l'envoyer à l'utilisateur, à ma connaissance, vous pourriez avoir à prendre une approche différente.

Chaque bibliothèque que je suis au courant pour la lecture des fichiers Excel en Java lit toute la feuille de calcul en mémoire, de sorte que vous devez avoir 50 mo d'espace mémoire disponible pour chaque feuille de calcul qui pourraient éventuellement être traitées simultanément. Cela implique, comme d'autres l'ont souligné, en ajustant le segment de mémoire disponible pour la VM.

Si vous avez besoin de traiter un grand nombre de feuilles de calcul simultanément, et il ne peut pas allouer assez de mémoire, pensez à utiliser un format qui peut être diffusé, au lieu de lire tout à la fois dans la mémoire. Le format CSV peut être ouvert par Excel, et j'ai eu de bons résultats dans le passé en paramètre le type de contenu application/vnd.ms-excel, réglage du nom de fichier de l'attachement à quelque chose se terminant en ".xls", mais en fait revenir CSV contenu. Je n'ai pas essayé ce dans une couple d'années, donc, YMMV.

OriginalL'auteur GreyBeardedGeek

Dans le bellwo exemple, je vais ajouter un code complet comment analyser complet d'un fichier excel (pour moi 60Mo) dans la liste des objets sans aucun problème de "de mémoire" et fonctionnent très bien:

import java.util.ArrayList;
import java.util.List;
class DistinctByProperty {
private static OPCPackage xlsxPackage = null;
private static PrintStream output= System.out;
private static List<MassUpdateMonitoringRow> resultMapping = new ArrayList<>();
public static void main(String[] args) throws IOException {
File file = new File("C:\\Users\\aberguig032018\\Downloads\\your_excel.xlsx");
double bytes = file.length();
double kilobytes = (bytes / 1024);
double megabytes = (kilobytes / 1024);
System.out.println("Size "+megabytes);
parseExcel(file);
}
public static void parseExcel(File file) throws IOException {
try {
xlsxPackage = OPCPackage.open(file.getAbsolutePath(), PackageAccess.READ);
ReadOnlySharedStringsTable strings = new ReadOnlySharedStringsTable(xlsxPackage);
XSSFReader xssfReader = new XSSFReader(xlsxPackage);
StylesTable styles = xssfReader.getStylesTable();
XSSFReader.SheetIterator iter = (XSSFReader.SheetIterator) xssfReader.getSheetsData();
int index = 0;
while (iter.hasNext()) {
try (InputStream stream = iter.next()) {
String sheetName = iter.getSheetName();
output.println();
output.println(sheetName + " [index=" + index + "]:");
processSheet(styles, strings, new MappingFromXml(resultMapping), stream);
}
++index;
}
} catch (InvalidFormatException e) {
e.printStackTrace();
} catch (OpenXML4JException e) {
e.printStackTrace();
} catch (SAXException e) {
e.printStackTrace();
}
}
private static void processSheet(StylesTable styles, ReadOnlySharedStringsTable strings, MappingFromXml mappingFromXml, InputStream sheetInputStream) throws IOException, SAXException {
DataFormatter formatter = new DataFormatter();
InputSource sheetSource = new InputSource(sheetInputStream);
try {
XMLReader sheetParser = SAXHelper.newXMLReader();
ContentHandler handler = new XSSFSheetXMLHandler(
styles, null, strings, mappingFromXml, formatter, false);
sheetParser.setContentHandler(handler);
sheetParser.parse(sheetSource);
System.out.println("Size of Array "+resultMapping.size());
} catch(ParserConfigurationException e) {
throw new RuntimeException("SAX parser appears to be broken - " + e.getMessage());
}
}
}

vous devez ajouter un calss qui implémente

SheetContentsHandler

import com.sun.org.apache.xpath.internal.operations.Bool;
import org.apache.poi.ss.util.CellAddress;
import org.apache.poi.ss.util.CellReference;
import org.apache.poi.xssf.eventusermodel.XSSFSheetXMLHandler.SheetContentsHandler;
import org.apache.poi.xssf.usermodel.XSSFComment;
import java.io.PrintStream;
import java.util.ArrayList;
import java.util.List;
public class MappingFromXml implements SheetContentsHandler {
private List<myObject> result = new ArrayList<>();
private myObject myObject = null;
private int lineNumber = 0;
/**
* Number of columns to read starting with leftmost
*/
private int minColumns = 25;
/**
* Destination for data
*/
private PrintStream output = System.out;
public MappingFromXml(List<myObject> list) {
this.result = list;
}
@Override
public void startRow(int i) {
output.println("iii " + i);
lineNumber = i;
myObject = new myObject();
}
@Override
public void endRow(int i) {
output.println("jjj " + i);
result.add(myObject);
myObject = null;
}
@Override
public void cell(String cellReference, String formattedValue, XSSFComment comment) {
int columnIndex = (new CellReference(cellReference)).getCol();
if(lineNumber > 0){
switch (columnIndex) {
case 0: {//Tech id
if (formattedValue != null && !formattedValue.isEmpty())
myObject.setId(Integer.parseInt(formattedValue));
}
break;
//TODO add other cell
}
}
}
@Override
public void headerFooter(String s, boolean b, String s1) {
}
}

Pour plus d'informations visitez cette lien

OriginalL'auteur BERGUIGA Mohamed Amine