L'utilisation d'Hadoop pour trouver les fichiers qui contiennent une chaîne de caractères

Il semble que vous êtes à la recherche pour un grep-comme programme, qui est facile à mettre en œuvre à l'aide de Hadoop Streaming (Hadoop API Java serait trop de travail):

Tout d'abord, écrire un mappeur qui affiche le nom du fichier à traiter, si la ligne en cours de traitement contient votre chaîne de recherche. J'ai utilisé Python, mais toute langue de travail:

#!/usr/bin/env python
import os
import sys

SEARCH_STRING = os.environ["SEARCH_STRING"]

for line in sys.stdin:
    if SEARCH_STRING in line.split():
        print os.environ["map_input_file"]

Ce code lit la chaîne de recherche à partir de la SEARCH_STRING variable d'environnement. Ici, j'ai divisé l'entrée de la ligne et de vérifier si la chaîne de recherche correspond à l'une des fissures; vous pouvez changer cette option pour effectuer une sous-chaîne de recherche ou utiliser des expressions régulières pour vérifier les correspondances.

Ensuite, exécutez un Hadoop streaming de travail à l'aide de cette mappeur et pas de réducteurs:

$ bin/hadoop jar contrib/streaming/hadoop-streaming-*.jar \
    -D mapred.reduce.tasks=0
    -input hdfs:///data \
    -mapper search.py \
    -file search.py \
    -output /search_results \
    -cmdenv SEARCH_STRING="Apache"

La sortie sera écrit en plusieurs parties; pour obtenir une liste des correspondances, vous pouvez simplement chat les fichiers (à condition qu'elles ne sont pas trop gros):

$ bin/hadoop fs -cat /search_results/part-*
hdfs://localhost/data/CHANGES.txt
hdfs://localhost/data/CHANGES.txt
hdfs://localhost/data/ivy.xml   
hdfs://localhost/data/README.txt
... 

OriginalL'auteur Josh Rosen

Vous pouvez essayer quelque chose comme cela, si je ne suis pas sûr si c'est un moyen efficace d'aller à ce sujet. Laissez-moi savoir si ça fonctionne, je n'ai pas testé ou quoi que ce soit.

Vous pouvez l'utiliser comme ceci: java SearchFiles /technologie/dps/real bonjour de s'assurer que vous exécutez à partir du répertoire de cours.

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Scanner;
public class SearchFiles {
public static void main(String[] args) throws IOException {
if (args.length < 2) {
System.err.println("Usage: [search-dir] [search-string]");
return;
}
File searchDir = new File(args[0]);
String searchString = args[1];
ArrayList<File> matches = checkFiles(searchDir.listFiles(), searchString, new ArrayList<File>());
System.out.println("These files contain '" + searchString + "':");
for (File file : matches) {
System.out.println(file.getPath());
}
}
private static ArrayList<File> checkFiles(File[] files, String search, ArrayList<File> acc) throws IOException {
for (File file : files) {
if (file.isDirectory()) {
checkFiles(file.listFiles(), search, acc);
} else {
if (fileContainsString(file, search)) {
acc.add(file);
}
}
}
return acc;
}
private static boolean fileContainsString(File file, String search) throws IOException {
BufferedReader in = new BufferedReader(new FileReader(file));
String line;
while ((line = in.readLine()) != null) {
if (line.contains(search)) {
in.close();
return true;
}
}
in.close();
return false;
}
}

OriginalL'auteur rtheunissen