Comment obtenir une ligne aléatoire d'un fichier texte en Java?

Dire qu'il y a un fichier trop gros pour être mis à la mémoire. Comment puis-je obtenir une ligne aléatoire à partir d'elle? Merci.

Mise à jour:
Je veux les probabilités d'obtenir chaque ligne à l'égalité.

InformationsquelleAutor Fluffy | 2010-02-07
  1. 20

    Voici une solution. Jetez un oeil à les choisir() méthode qui fait la vraie chose (la méthode main() à plusieurs reprises des exercices de choisir(), afin de montrer que la distribution est en effet assez uniforme).

    L'idée est simple: lorsque vous avez lu la première ligne, il a 100% de chances d'être choisi comme le résultat. Quand vous lisez la 2ème ligne il y a 50% de chance de remplacer la première ligne du résultat. Quand vous lisez la 3e ligne, il a 33% de chance de devenir le résultat. La quatrième ligne est de 25%, et ainsi de suite....

    import java.io.*;
import java.util.*;

public class B {

  public static void main(String[] args) throws FileNotFoundException {
     Map<String,Integer> map = new HashMap<String,Integer>();
     for(int i = 0; i < 1000; ++i)
     {
        String s = choose(new File("g:/temp/a.txt"));
        if(!map.containsKey(s))
           map.put(s, 0);
        map.put(s, map.get(s) + 1);
     }

     System.out.println(map);
  }

  public static String choose(File f) throws FileNotFoundException
  {
     String result = null;
     Random rand = new Random();
     int n = 0;
     for(Scanner sc = new Scanner(f); sc.hasNext(); )
     {
        ++n;
        String line = sc.nextLine();
        if(rand.nextInt(n) == 0)
           result = line;         
     }

     return result;      
  }
}
    • Une mise en œuvre de réservoir d'échantillonnage
    • Incroyable. Jamais entendu parler de réservoir d'échantillonnage. Que dire si mon fichier est MBs? Existe-il des problèmes de performance? Si oui, existe-il des solutions pour éviter une complète analyse de fichier?
    • Suis-je en droit et en supposant que c'est pour un fixe n=1, où n est le nombre d 'échantillons'? Est-il un moyen d'obtenir de choisir de choisir plus d'une à la fois? comme il est vous "en boucle sur la bande" plus d'une fois, ou au moins tenter de qui semble inefficace.
    InformationsquelleAutor Itay Maman
  2. 23

    La lecture de l'ensemble du fichier si vous souhaitez une seule ligne semble un peu excessif. La suite devrait être plus efficace:

    1. Utilisation RandomAccessFile de chercher à aléatoires de la position d'octet dans le fichier.
    2. Chercher à gauche et à droite à la prochaine terminaison de ligne. Soit L la ligne entre eux.
    3. Avec la probabilité (MIN_LINE_LENGTH /L. longueur) retour L. Sinon, recommencer à l'étape 1.

    C'est une variante de rejet d'échantillonnage.

    Longueurs de ligne comprennent le terminateur de ligne de caractère(s), d'où MIN_LINE_LENGTH >= 1. (D'autant mieux si vous connaissez un resserrement lié à la longueur de la ligne).

    Il est intéressant de noter que l'exécution de cet algorithme ne dépend pas de la taille du fichier, seulement sur la longueur de la ligne, c'est à dire qu'il évolue beaucoup mieux que la lecture de la totalité du fichier.

    • Excellent! Si le fichier ne sera pas prélevé à plusieurs reprises, l'utilisation d'un seul passage pour recueillir un List<Integer> de compensations, qui peut ensuite être randomisés via Collections.shuffle().
    • Ce doit être la meilleure réponse.
    InformationsquelleAutor meriton - on strike
  3. 9

    Soit vous

    1. lire le fichier deux fois - une fois pour compter le nombre de lignes, la deuxième fois pour en extraire une ligne aléatoire, ou

    2. utilisation réservoir d'échantillonnage

    InformationsquelleAutor Will
  4. 6

    À la recherche de plus de Itay la réponse, il semble qu'il lit le fichier mille fois plus après le prélèvement d'une ligne de code, alors que la véritable réservoir d'échantillonnage ne devrait aller sur la 'bande' une fois. J'ai imaginé un peu de code pour aller sur le code une fois avec un réel réservoir d'échantillonnage, basé sur cette et les différentes descriptions sur le web.

    import java.io.FileNotFoundException;
import java.io.IOException;
import java.util.List;
public class reservoirSampling {
public static void main(String[] args) throws FileNotFoundException, IOException{
Sampler mySampler = new Sampler();
List<String> myList = mySampler.sampler(10);
for(int index = 0;index<myList.size();index++){
System.out.println(myList.get(index));
}
}
}
import java.io.File;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Random;
import java.util.Scanner;
public class Sampler {
public Sampler(){}
public List<String> sampler (int reservoirSize) throws FileNotFoundException, IOException
{
String currentLine=null;
//reservoirList is where our selected lines stored
List <String> reservoirList= new ArrayList<String>(reservoirSize); 
//we will use this counter to count the current line number while iterating
int count=0; 
Random ra = new Random();
int randomNumber = 0;
Scanner sc = new Scanner(new File("Open_source.html")).useDelimiter("\n");
while (sc.hasNext())
{
currentLine = sc.next();
count ++;
if (count<=reservoirSize)
{
reservoirList.add(currentLine);
}
else if ((randomNumber = (int) ra.nextInt(count))<reservoirSize)
{
reservoirList.set(randomNumber, currentLine);
}
}
return reservoirList;
}
}

    Le principe de base est que vous remplissez le réservoir, et puis revenir à lui, et de remplir les lignes au hasard avec un 1/ReservoirSize chance. J'espère que cela vous fournit un code plus efficace. S'il vous plaît laissez-moi savoir si cela ne fonctionne pas pour vous, comme je l'ai littéralement frappé dans une demi-heure.

    • Je l'ai mis en place pour revue.
    InformationsquelleAutor Pureferret
  5. 0

    Utilisation RandomAccessFile:

    1. Construire un RandomAccessFile, fichier
    2. Obtenir la longueur du fichier, filelen, en appelant fichier.longueur()
    3. Générer un nombre aléatoire, pos, entre 0 et filelen
    4. Appel fichier.seek(pos) de chercher à la position aléatoire
    5. Appel fichier.readLine() pour arriver à la fin de la ligne courante
    6. Lire la ligne suivante en appelant fichier.readLine() nouveau

    À l'aide de cette méthode, j'ai été d'échantillonnage lignes du Brown Corpus au hasard, et peut facilement récupérer une 1000 échantillons aléatoires de choisi de façon aléatoire des fichiers en quelques secondes. Si j'ai essayé de faire la même chose à la lecture par le biais de chaque fichier ligne par ligne, cela me prendrait beaucoup plus de temps.

    Le même principe peut être utilisé pour sélectionner des éléments aléatoires à partir d'une liste. Plutôt que de lire la liste et l'arrêt à un endroit aléatoire, si vous générer un nombre aléatoire entre 0 et la longueur de la liste, alors vous pouvez indexer directement dans la liste.

    InformationsquelleAutor NBCurrieLL
  6. -1

    Utiliser un BufferedReader et lire ligne sage. Utiliser le java.util.Objet aléatoire à s'arrêter au hasard 😉

    • Comment s'assurer que le fichier n'est pas plus lorsque je veux arrêter? I. e. comment puis-je savoir le nombre de lignes si un fichier?
    • Aussi, je veux la probalilities de l'obtention de chaque ligne unique à être égaux.
    • ainsi, si le fichier est plus petit que les autres, je vais prendre la dernière ligne trop souvent, si le fichier est plus grand que je vais le faire trop rarement
    • Alors vous devez lire le fichier deux fois, ou si toutes les lignes ont une longueur égale, vous pouvez calculer le nombre de lignes à partir de la taille du fichier
    InformationsquelleAutor ZeissS