comment puis-je charger de 100 millions de lignes à la mémoire

Une centaine de millions d'enregistrements signifie que chaque enregistrement peut prendre jusqu'à plus de 50 octets afin de s'adapter à l'intérieur de 6 GO + un peu d'espace supplémentaire pour d'autres affectations. En Java 50 octets n'est rien, un simple Object[] 32 octets par élément. Vous devez trouver un moyen d'utiliser immédiatement les résultats dans votre while (rs.next()) boucle et de ne pas conserver dans leur intégralité.

OriginalL'auteur Marko Topolnik

Vous pouvez appeler stmt.setFetchSize(50); et conn.setAutoCommitMode(false); pour éviter la lecture de l'ensemble du jeu de résultats en mémoire.

Voici ce que les docs dit:

Obtenir des résultats basés sur un curseur

Par défaut, le pilote de collecte tous les résultats de la requête à la fois. Cela peut être gênant pour les grands ensembles de données de sorte que le pilote JDBC fournit un moyen de fonder un jeu de résultats sur une base de données de curseur et seulement aller chercher un petit nombre de lignes.

Un petit nombre de lignes sont mises en cache sur le côté client de la connexion et quand épuisé le prochain bloc de lignes extraites par le repositionnement du curseur.

Remarque:

• Curseur en fonction des jeux de résultats ne peut pas être utilisé dans toutes les situations. Il y a un
  certain nombre de restrictions qui fera que le pilote silencieusement tomber en arrière
  pour l'extraction de l'ensemble du jeu de résultats à la fois.
• La connexion au serveur doit être à l'aide de la V3 protocole. C'est
  la valeur par défaut (et n'est pris en charge par le serveur de versions 7.4 et
  plus tard.-
• La Connexion ne doit pas être en mode autocommit. Le backend ferme
  les curseurs à la fin de la transaction, donc en mode autocommit, le backend
  aura fermé le curseur avant que quelque chose peut être récupérée à partir d'elle.-
• La Déclaration doit être créé avec un ResultSet type de
  ResultSet.TYPE_FORWARD_ONLY. C'est la valeur par défaut, donc pas de code
  besoin d'être réécrit pour tirer parti de cette situation, mais cela signifie aussi
  que vous ne pouvez pas faire défiler vers l'arrière ou autrement sauter partout dans la
  ResultSet.-
• La requête doit être une seule déclaration, pas de multiples déclarations
  enchaînés par des points-virgules.

Exemple : Réglage de chercher size à son tour les curseurs sur et en dehors.

Changeant le code de mode curseur est aussi simple que le réglage de la taille de l'extraction de la Déclaration à la taille appropriée. Réglage de la taille de l'extraction à 0, toutes les lignes de la mise en cache (le comportement par défaut).

Class.forName("com.mysql.jdbc.Driver");
Connection conn = DriverManager.getConnection("jdbc:mysql://localhost/test?useCursorFetch=true&user=root");
//make sure autocommit is off 
conn.setAutoCommit(false); 
Statement st = conn.createStatement();
//Turn use of the cursor on. 
st.setFetchSize(50);
ResultSet rs = st.executeQuery("SELECT * FROM mytable");
while (rs.next()) {
System.out.print("a row was returned.");
} 
rs.close();
//Turn the cursor off. 
st.setFetchSize(0);
rs = st.executeQuery("SELECT * FROM mytable");
while (rs.next()) {
System.out.print("many rows were returned.");
} 
rs.close();
//Close the statement. 
st.close();

OriginalL'auteur Vipin Jain