Le guide du référencement.

Le fichier robot.txt

L'utilisation d'un fichier robot.txt, permets d'éviter de certaines pages sensibles de votre site web soit indexer par les outils de recherche. Robot.txt permet donc d'éviter que les crawlers récupèrent la page en question.

Comme vous pouvez le contacter le fichier robot.txt et un fichier écrit avec le bloc note de Windows, il pèse moins de 1 Ko et contient toutes les informations utiles pour votre référencement et guider les robots d'indexation. L'emplacement de ce fichier doit être à la racine de votre site, sur le serveur, si vous avez plusieurs répertoires inutiles d'en placer un chaque dossier un seul suffit.

Le fichier robot.txt contient les informations suivantes :

Il vous faut rentrer quelques lignes de codes pour indiquer que les pages suivantes ne seront pas visitées par les crawlers des outils de recherche, la syntaxe est la suivante :

# robots.txt pour le site http://www.votresite.fr
User-agent: *
Disallow: /mondossier/
Disallow: /prive/

La commande "User-agent : *
indique que tous les moteurs sont concernés.

La commande "Disallow : /mondossier/
Interdit l'accès des outils de recherche à tout le répertoire mon dossier, toutes les pages sous celui-ci ne seront pas indexées par les différents robots d'indexation des outils de recherche.

Les règles de bases pour bien utiliser la fonction robot.txt

- Vous pouvez interdire l'accès à certaines pages de votre site.
- Vous pouvez interdire l'accès à tout le site.