Comment la liste a de 2 millions de répertoire de fichiers en java sans avoir un “out of memory” exception

Tout d'abord, avez-vous de la possibilité d'utiliser Java 7? Là, vous avez une FileVisitor et la Files.walkFileTree, qui doit probablement travailler au sein de votre mémoire contraintes.

Sinon, la seule façon que je peux penser à est de l'utilisation File.listFiles(FileFilter filter) avec un filtre qui renvoie toujours false (veiller à ce que la gamme complète des fichiers n'est jamais gardé en mémoire), mais qui attire les fichiers à traiter, et peut-être les met dans une producteur/consommateur file d'attente ou écrit les noms de fichier sur le disque pour plus tard traversée.

Alternativement, si vous contrôlez les noms des fichiers, ou s'ils sont nommés dans certains de bien belle façon, vous pouvez traiter les fichiers en morceaux à l'aide d'un filtre qui accepte les noms de fichiers sur la forme file0000000-filefile0001000 puis file0001000-filefile0002000 et ainsi de suite.

Si les noms sont pas nommé dans une belle façon de ce genre, vous pouvez essayer de filtrage basé sur le hash-code de la nom de fichier, qui est censé être assez uniformément répartis sur l'ensemble des entiers.

---

Mise À Jour: Soupir. Probablement ne fonctionne pas. Juste eu un coup d'oeil à la listFiles mise en œuvre:

public File[] listFiles(FilenameFilter filter) {
    String ss[] = list();
    if (ss == null) return null;
    ArrayList v = new ArrayList();
    for (int i = 0 ; i < ss.length ; i++) {
        if ((filter == null) || filter.accept(this, ss[i])) {
            v.add(new File(ss[i], this));
        }
    }
    return (File[])(v.toArray(new File[v.size()]));
}

donc il va probablement échouer à la première ligne de toute façon... décevant. Je crois que votre meilleure option est de placer les fichiers dans des répertoires différents.

Btw, pourriez-vous nous donner un exemple d'un nom de fichier? Sont-ils "deviner"? Comme

for (int i = 0; i < 100000; i++)
    tryToOpen(String.format("file%05d", i))

Utilisation Fichier.liste() au lieu de File.listFiles() - le String objets qu'il retourne à consommer moins de mémoire que la File objets, et, plus important encore, en fonction de l'emplacement du répertoire) ils ne contiennent pas le nom de chemin complet.

Ensuite, construisez File objets nécessaires lors du traitement du résultat.

Toutefois, cela ne fonctionnera pas de manière arbitraire répertoires soit. C'est une meilleure idée d'organiser vos fichiers dans une hiérarchie de répertoires, de sorte que pas un seul répertoire a plus que quelques milliers d'entrées.

Vous pouvez le faire avec Apache FileUtils de la bibliothèque. Pas de problème de mémoire. Je n'ai vérifier avec visualvm.

  Iterator<File> it = FileUtils.iterateFiles(folder, null, true);
  while (it.hasNext())
  {
     File fileEntry = (File) it.next();
  }

Espère que ça aide.
bye

Pourquoi avez-vous stocker de 2 millions de fichiers dans le même répertoire de toute façon? Je peux imaginer qu'il ralentit l'accès terriblement sur le niveau de l'OS, déjà.

Que je voudrais vraiment les avoir divisés en sous-répertoires (par exemple par date/heure de création), déjà avant le traitement. Mais si il n'est pas possible pour une raison quelconque, pourrait-il être fait pendant le traitement? E. g. déplacer 1000 fichiers en file d'attente pour Process1 en Répertoire1, un autre de 1000 fichiers pour Process2 en Directory2 etc. Ensuite, chaque processus/thread ne voit que l' (nombre limité) des fichiers en portions pour elle.

Au poing, vous pouvez essayer d'augmenter la mémoire de votre JVM avec passant -Xmx1024m par exemple

Si les noms de fichier de suivre certaines règles, vous pouvez utiliser File.list(filter) au lieu de File.listFiles pour obtenir des portions gérables de la liste des fichiers.

Vous pouvez utiliser listFiles avec un spécial FilenameFilter. La première fois que le FilenameFilter est envoyé à listFiles il accepte les 1000 premiers fichiers et les enregistre ensuite visité.

La prochaine fois FilenameFilter est envoyé à listFiles, il ignore les 1000 premiers fichiers visités et retourne la prochaine 1000, et ainsi de suite jusqu'à la fin.

Essayer, ça fonctionne pour moi, mais je n'avais pas beaucoup de documents...

File dir = new File("directory");
String[] children = dir.list();
if (children == null) {
   //Either dir does not exist or is not a  directory
  System.out.print("Directory doesn't  exist\n");
}
else {
  for (int i=0; i<children.length; i++) {   
    //Get filename of file or directory   
    String filename = children[i];  
}