Comparer deux fichiers CSV et rechercher des éléments similaires

Donc j'ai deux fichiers CSV que je suis en train de comparer et d'obtenir les résultats des éléments similaires.
Le premier fichier hosts.csv est indiqué ci-dessous:

Path    Filename    Size    Signature
C:\     a.txt       14kb    012345
D:\     b.txt       99kb    678910
C:\     c.txt       44kb    111213

Le deuxième fichier, masterlist.csv est indiqué ci-dessous:

Filename    Signature
b.txt       678910
x.txt       111213
b.txt       777777
c.txt       999999

Comme vous pouvez le voir les lignes ne correspondent pas et le masterlist.csv est toujours plus grande que les hôtes.fichier csv. La seule partie que je voudrais pour rechercher la Signature de la partie. Je sais que cela ressemblerait à quelque chose comme:

hosts[3] == masterlist[1]

Je suis à la recherche d'une solution qui va me donner quelque chose comme ce qui suit (en gros les hôtes.fichier csv avec les RÉSULTATS de la colonne):

Path    Filename    Size    Signature    RESULTS
C:\     a.txt       14kb    012345       NOT FOUND in masterlist
D:\     b.txt       99kb    678910       FOUND in masterlist (row 1)
C:\     c.txt       44kb    111213       FOUND in masterlist (row 2)

J'ai cherché les postes et trouvé quelque chose de semblable à ce ici mais je n'ai pas tout à fait comprendre que je suis encore à apprendre python.

Modifier À L'Aide De Python 2.6

source d'informationauteur serk | 2011-03-11

Edit: Alors que ma solution fonctionne correctement, découvrez Martijn la réponse ci-dessous pour une solution plus efficace.

Vous pouvez trouver de la documentation pour le python CSV module ici.

Ce que vous recherchez est quelque chose comme ceci:

import csv

f1 = file('hosts.csv', 'r')
f2 = file('masterlist.csv', 'r')
f3 = file('results.csv', 'w')

c1 = csv.reader(f1)
c2 = csv.reader(f2)
c3 = csv.writer(f3)

masterlist = list(c2)

for hosts_row in c1:
    row = 1
    found = False
    for master_row in masterlist:
        results_row = hosts_row
        if hosts_row[3] == master_row[1]:
            results_row.append('FOUND in master list (row ' + str(row) + ')')
            found = True
            break
        row = row + 1
    if not found:
        results_row.append('NOT FOUND in master list')
    c3.writerow(results_row)

f1.close()
f2.close()
f3.close()

La réponse par srgerg est terriblement inefficace, car il opère dans quadratique du temps; c'est un temps linéaire de la solution au lieu de cela, à l'aide de la version 2.6 de Python avec une syntaxe compatible avec:

import csv

with open('masterlist.csv', 'rb') as master:
    master_indices = dict((r[1], i) for i, r in enumerate(csv.reader(master)))

with open('hosts.csv', 'rb') as hosts:
    with open('results.csv', 'wb') as results:    
        reader = csv.reader(hosts)
        writer = csv.writer(results)

        writer.writerow(next(reader, []) + ['RESULTS'])

        for row in reader:
            index = master_indices.get(row[3])
            if index is not None:
                message = 'FOUND in master list (row {})'.format(index)
            else:
                message = 'NOT FOUND in master list'
            writer.writerow(row + [message])

Cela produit un dictionnaire, de la cartographie des signatures de masterlist.csv à un numéro de ligne de la première. Des recherches dans un dictionnaire de prendre à temps constant, en faisant le deuxième boucle sur hosts.csv lignes indépendant du nombre de lignes dans masterlist.csv. Pour ne pas mentionner le code est beaucoup plus simple.

Python CSV et collections module, spécifiquement OrderedDictsont vraiment utiles ici. Vous souhaitez utiliser OrderedDict pour préserver l'ordre des clés, etc. Vous n'avez pas à, mais il est utile!

import csv
from collections import OrderedDict


signature_row_map = OrderedDict()


with open('hosts.csv') as file_object:
    for line in csv.DictReader(file_object, delimiter='\t'):
        signature_row_map[line['Signature']] = {'line': line, 'found_at': None}


with open('masterlist.csv') as file_object:
    for i, line in enumerate(csv.DictReader(file_object, delimiter='\t'), 1):
        if line['Signature'] in signature_row_map:
            signature_row_map[line['Signature']]['found_at'] = i


with open('newhosts.csv', 'w') as file_object:
    fieldnames = ['Path', 'Filename', 'Size', 'Signature', 'RESULTS']
    writer = csv.DictWriter(file_object, fieldnames, delimiter='\t')
    writer.writer.writerow(fieldnames)
    for signature_info in signature_row_map.itervalues():
        result = '{0} FOUND in masterlist {1}'
        # explicit check for sentinel
        if signature_info['found_at'] is not None:
            result = result.format('', '(row %s)' % signature_info['found_at'])
        else:
            result = result.format('NOT', '')
        payload = signature_info['line']
        payload['RESULTS'] = result

        writer.writerow(payload)

Voici la sortie à l'aide de votre test de fichiers CSV:

Path    Filename        Size    Signature       RESULTS
C:\     a.txt   14kb    012345  NOT FOUND in masterlist 
D:\     b.txt   99kb    678910   FOUND in masterlist (row 1)
C:\     c.txt   44kb    111213   FOUND in masterlist (row 2)

S'il vous plaît excusez le mauvais alignement, ils sont séparés par des tabulations 🙂

La csv module est très utile dans l'analyse des fichiers csv. Mais juste pour le fun, je suis simplement le fractionnement de l'entrée sur espace pour obtenir les données.

Juste analyser les données, construire un dict pour les données de masterlist.csv avec la signature de la clé et le numéro de ligne de la valeur. Maintenant, pour chaque ligne d'hôtes.csv, il suffit d'interroger le dict et de savoir si ou non une entrée correspondante existe dans masterlist.csv et si oui à quelle ligne.

#! /usr/bin/env python

def read_data(filename):
        input_source=open(filename,'r')
        input_source.readline()
        return [line.split() for line in input_source]

if __name__=='__main__':
        hosts=read_data('hosts.csv')
        masterlist=read_data('masterlist.csv')
        master=dict()
        for index,data in enumerate(masterlist):
                master[data[-1]]=index+1
        for row in hosts:
                try:
                        found="FOUND in masterlist (row %s)"%master[row[-1]]
                except KeyError:
                        found="NOT FOUND in masterlist"
                line=row+[found]
                print "%s    %s    %s    %s    %s"%tuple(line)

Vous devez vous connecter pour publier un commentaire.