L'analyse du ppce de fichiers avec dpkt (Python)

Je suis en train d'analyser préalablement trace capturée pour les en-têtes HTTP en utilisant la dpkt module: 

import dpkt
import sys

f=file(sys.argv[1],"rb")
pcap=dpkt.pcap.Reader(f)


for ts, buf in pcap:
  eth=dpkt.ethernet.Ethernet(buf)
  ip=eth.data
  tcp=ip.data

if tcp.dport==80 and len(tcp.data)>0:
    try:
        http=dpkt.http.Request(tcp.data)
        print http.uri
    except:
        print 'issue'
        continue


  f.close()

Bien qu'il semble effectivement analyser la plupart des paquets, je reçois un NeedData("fin prématurée de les en-têtes") exception sur certains. Ils semblent être valide paquets dans WireShark, donc je suis un peu confus quant à pourquoi les exceptions sont lancés.

Certaines de sortie: 

/ec/fd/ls/GlinkPing.aspx?IG=4a06eefebcc1495f8f4de7cb41f0ce5c&CID=2265e1228f3451ff8011dcbe5e0cdff7&ID=API.YAds%2C5037.1&1307036510547
issue
issue #misses one packet here, two exceptions
/?ld=4vyO5h1FkjCNjBpThUTGnzF50sB7QUGL0Ok8YefDTWNmO6RXghgDqHXtcp1OqeXATbCAHliIkglLj95-VEwG6ZJN3fblgd3Lh5NvTp4mZPcBGXUyKqXn9FViBAsmt1T96oumpCL5gm7gZ3qlZqSdLNUWjpML_9I8FvB2TLKPSYcJmb_VwwvJhiHpiUIvrjRdzqdVVnuQZVjQmZIIlfaMq0LOmgew_plopjt7hYvOSzBi3VJl4bqOBVk3zdhIvgZK0SfJp3kEWTXAr2_UU_q9KHBpSTnvuhY2W1xo3K2BOHKGk1VAlMiWtWC_nUaJdZmhzzWfb6yRAmY3M9YkUzFGs9z10-70OszkkNpVMSS3-p7xsNXQnC3Zpaxks

Aide est très appréciée; peut-être une alternative bibliothèque recommandation est nécessaire.

  • Vous devriez comparer la "longueur capturé" par rapport à la "longueur d'origine." Par défaut ppce va tronquer long de paquets, de sorte que vous pouvez peut-être pas certains de l'origine des données, sauf si vous modifiez vos options lors de la capture.
  • Si la requête HTTP est divisé en deux ou plusieurs paquets, votre décodeur correctement le déchiffrer? Je pense que le code est en faisant l'hypothèse que la demande de tenir dans un seul paquet.
  • Ah, j'ai mis le snaplen à 0 lors de la capture à l'aide de tcpdump et qui a résolu mon problème. Merci.
InformationsquelleAutor Leif | 2011-06-14
  1. 1

    J'ai rencontré le même problème, tout en travaillant avec des Requêtes HTTP et dpkt.

    Le problème est que le dpkt en-têtes HTTP analyseur utilise fausse logique. Cette exception est levée lorsque le HTTP ne prend pas fin avec \r\n\r\n. (Et comme vous le dites, il y a beaucoup de bons paquets sans \r\n\r\n à la fin.)

    Ici est la rapport de bug à votre problème.

    InformationsquelleAutor Almog Cohen
  2. 1

    Dans votre code python, avant affectation ip=eth.les données vérifier que si l'Ethernet est de type IP ou non. Si le Ethernet type n'est pas ip ne rien faire pour le paquet. Et de vérifier si le protocole IP est le protocole TCP

     Pour Vérifier 
1. Paquet IP ou pas 
2. Protocole TCP ou pas

    modifié le code de votre programme 

     
............ 
eth=dpkt.ethernet.Ethernet(buf) 
ip=eth.données 
tcp=ip.données 
........

    comme 

     
............ 
eth=dpkt.ethernet.Ethernet(buf) 
si l'eth.type!=2048: #Pour ipv4, dpkt.ethernet.Ethernet(buf).type =2048 
continuer 
ip=eth.données 
si la propriété intellectuelle.p!=6: 
continuer 
tcp=ip.données 
....... 

    et voyez s'il est une erreur de numéro.

    en ce qui concerne

    Irengbam Tilokchan Singh

    InformationsquelleAutor Irengbam Tilokchan Singh
  3. 1

    J'ai ajouté un exemple de dpkt qui traite et affiche les en-Têtes HTTP. La documentation peut être trouvée ici: http://dpkt.readthedocs.io/en/latest/print_http_requests.html et le code de l'exemple peut être trouvé dans dpkt/examples/print_http_requests.py

    # For each packet in the pcap process the contents
for timestamp, buf in pcap:

    # Unpack the Ethernet frame (mac src/dst, ethertype)
    eth = dpkt.ethernet.Ethernet(buf)

    # Make sure the Ethernet data contains an IP packet
    if not isinstance(eth.data, dpkt.ip.IP):
        print 'Non IP Packet type not supported %s\n' % eth.data.__class__.__name__
        continue

    # Now grab the data within the Ethernet frame (the IP packet)
    ip = eth.data

    # Check for TCP in the transport layer
    if isinstance(ip.data, dpkt.tcp.TCP):

        # Set the TCP data
        tcp = ip.data

        # Now see if we can parse the contents as a HTTP request
        try:
            request = dpkt.http.Request(tcp.data)
        except (dpkt.dpkt.NeedData, dpkt.dpkt.UnpackError):
            continue

        # Pull out fragment information (flags and offset all packed into off field, so use bitmasks)
        do_not_fragment = bool(ip.off & dpkt.ip.IP_DF)
        more_fragments = bool(ip.off & dpkt.ip.IP_MF)
        fragment_offset = ip.off & dpkt.ip.IP_OFFMASK

        # Print out the info
        print 'Timestamp: ', str(datetime.datetime.utcfromtimestamp(timestamp))
        print 'Ethernet Frame: ', mac_addr(eth.src), mac_addr(eth.dst), eth.type
        print 'IP: %s -> %s   (len=%d ttl=%d DF=%d MF=%d offset=%d)' % \
              (inet_to_str(ip.src), inet_to_str(ip.dst), ip.len, ip.ttl, do_not_fragment, more_fragments, fragment_offset)
        print 'HTTP request: %s\n' % repr(request)

    Exemple De Sortie

    Timestamp:  2004-05-13 10:17:08.222534
Ethernet Frame:  00:00:01:00:00:00 fe:ff:20:00:01:00 2048
IP: 145.254.160.237 -> 65.208.228.223   (len=519 ttl=128 DF=1 MF=0 offset=0)
HTTP request: Request(body='', uri='/download.html', headers={'accept-language': 'en-us,en;q=0.5', 'accept-encoding': 'gzip,deflate', 'connection': 'keep-alive', 'keep-alive': '300', 'accept': 'text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,image/jpeg,image/gif;q=0.2,*/*;q=0.1', 'user-agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.6) Gecko/20040113', 'accept-charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.7', 'host': 'www.ethereal.com', 'referer': 'http://www.ethereal.com/development.html'}, version='1.1', data='', method='GET')
Timestamp:  2004-05-13 10:17:10.295515
Ethernet Frame:  00:00:01:00:00:00 fe:ff:20:00:01:00 2048
IP: 145.254.160.237 -> 216.239.59.99   (len=761 ttl=128 DF=1 MF=0 offset=0)
HTTP request: Request(body='', uri='/pagead/ads?client=ca-pub-2309191948673629&random=1084443430285&lmt=1082467020&format=468x60_as&output=html&url=http%3A%2F%2Fwww.ethereal.com%2Fdownload.html&color_bg=FFFFFF&color_text=333333&color_link=000000&color_url=666633&color_border=666633', headers={'accept-language': 'en-us,en;q=0.5', 'accept-encoding': 'gzip,deflate', 'connection': 'keep-alive', 'keep-alive': '300', 'accept': 'text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,image/jpeg,image/gif;q=0.2,*/*;q=0.1', 'user-agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.6) Gecko/20040113', 'accept-charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.7', 'host': 'pagead2.googlesyndication.com', 'referer': 'http://www.ethereal.com/download.html'}, version='1.1', data='', method='GET')
    InformationsquelleAutor Briford Wylie