Comment éviter l'erreur OOM (Out of memory) lors de la récupération de tous les enregistrements de la table énorme?

Je suis chargé d'une tâche de convertir un énorme tableau de fichier XML personnalisé. Je serai à l'aide de Java pour ce travail.

Si j'ai simplement émettre un "SELECT * from client", elle peut retourner énorme quantité de données qui a fini par causer OOM. Je me demande, est-il une manière que je peux processus de l'enregistrement dès qu'il devient disponible, et supprimer l'enregistrement de la mémoire après que, au cours de sql processus de récupération?

--- edité le 13 Juillet 2009

Permettez-moi de préciser ma question. J'ai 1 serveur de base de données et 1 serveur d'application.
Quand je l'émission d'une requête de sélection dans l'application, les données de serveur de base de données de serveur d'application.

Je crois (corrigez-moi si je me trompe) ResultSet devrez attendre jusqu'à la réception de tous les enregistrements de la requête. Même si on fetch size 4, pour un 1000-enregistrement de la table, nous finissons toujours pas 1000 enregistrements dans la mémoire du tas de serveur d'application, est-il correct? Taille de l'extraction seulement une incidence sur le nombre d'aller-retour de/vers serveur de base de données.

Ma question est, comment commencer le traitement sur que 4 (ou n'importe quel nombre) documents immédiatement après l'arrivée de l'app serveur, et de le disposer à libérer de la mémoire dans le serveur d'application?

source d'informationauteur janetsmith

  1. 4

    Je pense que vous pouvez utiliser la même solution que cette une. Un défilement jeu de résultats.

  2. 6

    Avec un peu plus d'informations que je peux obtenir une réponse utile.

    Si vous utilisez MySQL:

    stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,
       java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

    de http://www.oracle.com/technology/tech/java/sqlj_jdbc/htdocs/jdbc_faq.html:

    java.util.Properties info = new java.util.Properties();
info.put ("user", "scott");
info.put ("password","tiger");
info.put ("defaultRowPrefetch","15");
getConnection ("jdbc:oracle:oci:@",info);
  3. 4

    Si vous êtes à l'aide de JDBC, vous pouvez utiliser un jeu de résultats avec un curseur qui vous itérer à travers un enregistrement à la fois. Vous devez assure alors que vous écrivez votre XML pour un fichier d'un enregistrement à la fois plutôt que d'utiliser le DOM pour générer le XML.

  4. 4

    Une règle de base que j'ai appris de mon expérience, c'est que vous n'apportez JAMAIS TOUTES les données de la base de données de votre serveur d'applications. Une chose que vous pouvez faire est de mettre en œuvre une procédure de page à vos données.

    Vous pouvez apporter une page de données contenant environ 1000 à 5000 enregistrements, de les traiter, puis de nouveau de récupérer les données de la page suivante.

  5. 1

    Un concept pour l'exportation de la totalité de la table. (à Noter que pour les experts: je suis conscient de ses défauts.)

    import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.ResultSetMetaData;
public class FullTableExport {
public static String toXML(String s) {
if (s != null) {
StringBuilder b = new StringBuilder(s.length());
for (int i = 0, count = s.length(); i < count; i++) {
char c = s.charAt(i);
switch (c) {
case '<':
b.append("&lt;");
break;
case '>':
b.append("&gt;");
break;
case '\'':
b.append("&#39;");
break;
case '"':
b.append("&quot;");
break;
case '&':
b.append("&amp;");
break;
default:
b.append(c);
}
}
return b.toString();
}
return "";
}
public static void main(String[] args) throws Exception {
String table = "CUSTOMER";
int batch = 100;
Class.forName("oracle.jdbc.driver.OracleDriver");
Connection conn = DriverManager.getConnection(
"jdbc:oracle:thin:@server:orcl", "user", "pass");
PreparedStatement pstmt = conn.prepareStatement(
"SELECT /*+FIRST_ROWS(" + batch + ") */* FROM " + table);
ResultSet rs = pstmt.executeQuery();
rs.setFetchSize(batch);
ResultSetMetaData rsm = rs.getMetaData();
File output = new File("result.xml");
PrintWriter out = new PrintWriter(new BufferedWriter(
new OutputStreamWriter(
new FileOutputStream(output), "UTF-8")), false);
out.printf("<?xml version='1.0' encoding='UTF-8'?>%n");
out.printf("<table name='%s'>%n", toXML(table));
int j = 1;
while (rs.next()) {
out.printf("\t<row id='%d'>%n", j++);
for (int i = 1; i <= rsm.getColumnCount(); i++) {
out.printf("\t\t<col name='%s'>%s</col>%n", 
toXML(rsm.getColumnName(i)), 
toXML(rs.getString(i)));
}
out.printf("\t</row>%n");
}
out.printf("</table>%n", table);
out.flush();
}
}

    Modifier Les défauts (merci @J. S.):

    • Pas de bibliothèques externes utilisées au-delà de la ojdbc
    • Rien n'est fermé
    • Un générique Exception est levée
    • C'est une méthode
    • L'utilisation de l'impression, pour la génération XML
    • Oracle SQL spécifique
    • De texte en clair le mot de passe
    • Certaines colonnes de l'air maladroit dans la représentation de chaîne
    • UTF-8 est trop international
    • Structure XML empreinte est grande
  6. 0

    À quel stade en est le OOM erreur se produise, il est sur la récupération de données ou de traitement de données pour fichier XML?

    Si son extraction de données, d'obtenir les données par lots. Obtenir le nombre total de lignes de la première, de l'ordre de la sélectionne par la clé primaire et de restreindre le nombre de lignes sélectionnées à croquer tailles.

    Si sa à la création du fichier XML, envoyer le nœud XML de chaque client pour le Système..println, ne pas le retenir dans la mémoire. Lancer le programme via commad ligne et de rediriger toutes les sorties dans un fichier;

    java MyConverter > results.txt

    En boucle l'enregistrement de tous est enregistré dans le fichier.