Un fichier robots.txt est une sorte de guide qui sert à orienter les robots d’indexation sur une page web. Il permet de déterminer quelles parties du site peuvent être indexées ou non.
Définition d’un robots.txt
Un fichier robots.txt est un fichier texte qui se trouve à la racine du site web. Il constitue l’un des premiers fichiers analysés par les robots des moteurs de recherche.
Il s’agit d’un protocole d’exclusion des robots. Son rôle est de guider ou de donner des instructions aux robots sur les contenus des pages web. Il indique, entre autres, ce que les robots ne peuvent pas indexer sur le site web (comme certaines rubriques ou répertoires). L’objectif principal de cette action est d’éviter les surcharges de requêtes sur le site web. Mais cela permet également d’interdire l’indexation à certains robots malveillants ou espions.
Pourquoi utiliser un fichier robots. txt ?
Le fichier robots.txt peut être utilisé pour de nombreuses raisons dont quelques-unes :
- Pour interdire à une sélection de robots de ne pas indexer une page ou une partie de page web.
- Pour limiter la fréquence d’indexation ou pour refuser une indexation du site (pour ne pas épuiser les serveurs).
- Lors de la refonte du site web, pour empêcher l’indexation du site en plein développement.
Comment créer un fichier robots.txt ?
Pour créer un fichier robots.txt, il faut pouvoir aller à la racine du site web. Il est possible de créer le fichier robots.txt de façon manuelle sur un simple éditeur comme Notepad, ou de manière automatique, en le générant par défaut dans les CMS comme WordPress (lors de l’installation). Il est aussi possible de le créer en ligne grâce à des outils dédiés à cet usage.
Pour une création manuelle, il faut suivre une syntaxe et mettre en place les instructions selon une structure. Généralement, il faut mettre les instructions par ligne.
Les syntaxes et instructions sont les suivantes :
- User-agent définit les robots des moteurs de recherche à qui s’adresse le fichier (Googlebot, bingbot, etc.)
- Disallow : l’instruction pour interdire l’accès aux robots d’indexation
- Allow : l’instruction pour autoriser l’accès aux users agents
