La création d'une crue de la requête HTTP avec les sockets

Je voudrais être en mesure de construire une crue de la requête HTTP et de l'envoyer avec un socket. Évidemment, vous voulez me servir de quelque chose comme urllib et urllib2 mais je ne veux pas l'utiliser.

Il devrait ressembler à quelque chose comme ceci:

import socket

tcpsoc = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcpsoc.bind(('72.14.192.58', 80)) #bind to googles ip
tcpsoc.send('HTTP REQUEST')
response = tcpsoc.recv()

Évidemment, vous auriez également à la demande de la page/fichier et les paramètres get et post

Eh bien, en principe, il est tout à fait facile, vous envoyer 'OBTENIR someurl HTTP/1.1" suivi de "l'Hôte: theserversname", suivi par deux retours à la ligne. Ce qui le rend complexe est qu'il y a un million d'options et un million de réponses possibles que vous devez analyser (c'est pourquoi l'une serait useually dire "utiliser une bibliothèque").
vous avez besoin tcpsoc.se connecter à la place de bind. bind est pour les sockets d'écoute...
voici un exemple de connexion: docs.python.org/library/socket.html#example
parfois, nous aimons à réinventer la roue pour avoir une idée de comment le faire mieux.
Ou pour savoir comment la roue fonctionne

OriginalL'auteur Jacob Valenta | 2011-04-22

  1. 14

    La plupart de ce que vous devez savoir est dans le HTTP/1.1 spec, que vous devriez certainement étudier si vous souhaitez annuler votre propre implémentation de HTTP: http://www.w3.org/Protocols/rfc2616/rfc2616.html

    RFC règles ! (dans les deux sens du terme...)

    OriginalL'auteur Kristopher Johnson

  2. 25
    import socket
import urlparse
CONNECTION_TIMEOUT = 5
CHUNK_SIZE = 1024
HTTP_VERSION = 1.0
CRLF = "\r\n\r\n"
socket.setdefaulttimeout(CONNECTION_TIMEOUT)
def receive_all(sock, chunk_size=CHUNK_SIZE):
'''
Gather all the data from a request.
'''
chunks = []
while True:
chunk = sock.recv(int(chunk_size))
if chunk:
chunks.append(chunk)
else:
break
return ''.join(chunks)
def get(url, **kw):
kw.setdefault('timeout', CONNECTION_TIMEOUT)
kw.setdefault('chunk_size', CHUNK_SIZE)
kw.setdefault('http_version', HTTP_VERSION)
kw.setdefault('headers_only', False)
kw.setdefault('response_code_only', False)
kw.setdefault('body_only', False)
url = urlparse.urlparse(url)
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.settimeout(kw.get('timeout'))
sock.connect((url.netloc, url.port or 80))
msg = 'GET {0} HTTP/{1} {2}'
sock.sendall(msg.format(url.path or '/', kw.get('http_version'), CRLF))
data = receive_all(sock, chunk_size=kw.get('chunk_size'))
sock.shutdown(socket.SHUT_RDWR)
sock.close()
data = data.decode(errors='ignore')
headers = data.split(CRLF, 1)[0]
request_line = headers.split('\n')[0]
response_code = request_line.split()[1]
headers = headers.replace(request_line, '')
body = data.replace(headers, '').replace(request_line, '')
if kw['body_only']:
return body
if kw['headers_only']:
return headers
if kw['response_code_only']:
return response_code
else:
return data
print(get('http://www.google.com/'))
    J'ai besoin de révision.

    OriginalL'auteur Ricky Wilson

  3. 6

    Oui, fondamentalement, vous avez juste à écrire le texte, quelque chose comme :

    GET /pageyouwant.html HTTP/1.1[CRLF]
Host: google.com[CRLF]
Connection: close[CRLF]
User-Agent: MyAwesomeUserAgent/1.0.0[CRLF]
Accept-Encoding: gzip[CRLF]
Accept-Charset: ISO-8859-1,UTF-8;q=0.7,*;q=0.7[CRLF]
Cache-Control: no-cache[CRLF]
[CRLF]

    N'hésitez pas à retirer /ajouter des en-têtes.

    Salut! Quel est le nom du texte ci-dessus?Raw request,Raw message ou d'une autre?
    Si c'est toujours d'actualité, le texte complet est appelé en-tête HTTP. En option, il est suivi par le contenu réel, séparés par une ligne vide. C'est le cas, lorsque vous envoyez une réponse au client de télécharger les données vers le serveur.
    Merci pour votre réponse!
    CRLF est remplacée par un tel saut de ligne ou faut-il littéralement être inclus?

    OriginalL'auteur Hubert Applebaum

  4. 0

    Pour un exemple pour vous guider, vous voudrez peut-être jeter un oeil à libcurl, une bibliothèque écrite en langage C:

    1. fait ce que vous voulez et bien plus encore;

    2. est un jeu d'enfant à utiliser;

    3. est largement déployée; et

    4. est activement soutenue.

    C'est une belle chose et l'un des meilleurs exemples de ce que l'open source peut et doit être.

    OriginalL'auteur Pete Wilson