Comment bloquer les moteurs de recherche d'indexer toutes les url commençant par origin.domainname.com

J'ai www.domainname.com, origin.domainname.com pointant vers la même base de code. Est-il un moyen, je ne peux empêcher toutes les url de basename origin.domainname.com d'obtenir indexés.

Est-il une règle dans robot.txt de le faire. À la fois les url pointent vers le même dossier.
Aussi, j'ai essayé de rediriger origin.domainname.com pour www.domainname.com dans le fichier htaccess mais il ne semble pas fonctionner..

Si quelqu'un qui a eu un problème de nature similaire et peut aider, j'en serai reconnaissant.

Grâce

OriginalL'auteur Loveleen Kaur | 2010-10-05

12

Vous pouvez réécrire robots.txt à un autre fichier (le nom de cette "robots_no.txt" contenant:
```
User-Agent: *
Disallow: /
```
(source: http://www.robotstxt.org/robotstxt.html)

L' .fichier htaccess devrait ressembler à ceci:
```
RewriteEngine On
RewriteCond %{HTTP_HOST} !^www.example.com$
RewriteRule ^robots.txt$ robots_no.txt
```
Utiliser personnalisés robots.txt pour chaque (sous -) domaine:
```
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.example.com$ [OR]
RewriteCond %{HTTP_HOST} ^sub.example.com$ [OR]
RewriteCond %{HTTP_HOST} ^example.com$ [OR]
RewriteCond %{HTTP_HOST} ^www.example.org$ [OR]
RewriteCond %{HTTP_HOST} ^example.org$
# Rewrites the above (sub)domains <domain> to robots_<domain>.txt
# example.org -> robots_example.org.txt
RewriteRule ^robots.txt$ robots_${HTTP_HOST}.txt [L]
# in all other cases, use default 'robots.txt'
RewriteRule ^robots.txt$ - [L]
```
Au lieu de demander aux moteurs de recherche de bloquer toutes les pages pour les pages autres que la www.example.com, vous pouvez utiliser <link > trop.

Si http://example.com/page.html et http://example.org/~example/page.html à la fois du point de http://www.example.com/page.html, mettre la balise suivante dans le <head>:
```
<link  href="http://www.example.com/page.html">
```
Voir aussi Googles article sur

Lekensteyn, ça a l'air bon. Cependant, j'ai eu un petit doute. Est-il possible d'attribuer différents robot.txt fichiers basé sur l'url. N'ont pas été en mesure de localiser une telle règle. Si vous pouviez me pointer à ces tutoriaux, il serait utile..merci..
Qu'avez-vous dire par "basé sur l'url'? Si vous avez le sens de "domaine", regardez l'exemple ci-dessus. Guide de réécriture: httpd.apache.org/docs/current/rewrite/rewrite_intro.html. Un autre moyen d'obtenir différents robots.txt pour chaque nom de domaine est en utilisant un serverscript, PHP par exemple.
pièges.. thankees..!
C'est ok pour le domaine mais Comment empêcher un dossier à l'aide .htaccess (Sans robots.txt)?
Pourriez-vous reformuler et de créer une nouvelle question? On ne sait pas ce que vous demandez. Vouliez-vous dire "Comment empêcher les moteurs de recherche à partir de l'indexation des dossiers tels que /admin/?"

OriginalL'auteur Lekensteyn

Juste pour .htaccess:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/htmlremix\.com" [R=301,L]

OriginalL'auteur Max Tusken

Vous devez vous connecter pour publier un commentaire.