TÊTE de demande reçoit “403 forbidden” alors que GET “200 ok”?

après plusieurs mois d'avoir le site disparaître des résultats de recherche dans les principaux moteurs de recherche, j'ai enfin trouvé une raison possible.

J'ai utilisé WebBug pour étudier en-tête du serveur. Voir la différence, si la demande est à la TÊTE ou à OBTENIR.

TÊTE Envoyé des données:

HEAD /HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0

A Reçu des données:

HTTP/1.1 403 Forbidden
Date: Tue, 10 Aug 2010 23:01:00 GMT
Server: Apache/2.2
Connection: close
Content-Type: text/html; charset=iso-8859-1

OBTENIR des données Envoyées:

GET /HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0

OBTENIR des données Reçues:

HTTP/1.1 200 OK
Date: Tue, 10 Aug 2010 23:06:15 GMT
Server: Apache/2.2
Last-Modified: Fri, 08 Jan 2010 08:58:01 GMT
ETag: "671f91b-2d2-47ca362815840"
Accept-Ranges: bytes
Content-Length: 722
Connection: close
Content-Type: text/html

//HTML code here

Maintenant, les navigateurs par défaut envoie une requête GET (au moins c'est ce que firebug dit). Est-il possible que les robots d'envoyer une requête HEAD à la place? Si oui, pourquoi seulement ce serveur répond avec un 403, tandis que d'autres serveurs à partir d'autres sites je suis maintenir, ne pas?

Dans le cas où c'est important, la seule ligne de présents dans .htaccess est (à moins que mon client a changé, car ils ne veulent pas me donner accès à leur serveur)

AddType text/x-component .htc

Mise à JOUR

Merci @Ryk. FireBug et Violoniste à la fois d'envoyer des requêtes GET, get 200 (ou 300) des réponses. Comme prévu. Donc je suppose que c'est soit un serveur de mauvais réglage (même si c'est étrange que l'hébergement est à partir d'une grande entreprise avec des millions de clients) ou quelque chose qu'ils mettent dans les .htaccess. Ils ont à me regarder dans leur compte.

La deuxième partie de ma question était de savoir si cela pouvait être la cause du site web ne figurant pas dans un moteur de recherche (site:www.attu.il donne pas de résultats). Toute pensée?

Mise à JOUR 2

Après quelques bidouiller, il s'avère qu'il y a le phpMyAdmin de robots de blocage .htaccess dans le répertoire de racine, à l'origine de toute demande de robots à être envoyé avec un 403 Forbidden

OriginalL'auteur mjsarfatti | 2010-08-10