Qu’est-ce qu’un fichier robots.txt ?

Un fichier robots.txt est une sorte de guide qui sert à orienter les robots d’indexation sur une page web. Il permet de déterminer quelles parties du site peuvent être indexées ou non.

Définition d’un robots.txt

Un fichier robots.txt est un fichier texte qui se trouve à la racine du site web. Il constitue l’un des premiers fichiers analysés par les robots des moteurs de recherche.

Il s’agit d’un protocole d’exclusion des robots. Son rôle est de guider ou de donner des instructions aux robots sur les contenus des pages web.  Il indique, entre autres, ce que les robots ne peuvent pas indexer sur le site web (comme certaines rubriques ou répertoires). L’objectif principal de cette action est d’éviter les surcharges de requêtes sur le site web. Mais cela permet également d’interdire l’indexation à certains robots malveillants ou espions.

Pourquoi utiliser un fichier robots. txt ?

Le fichier robots.txt peut être utilisé pour de nombreuses raisons dont quelques-unes :

  • Pour interdire à une sélection de robots de ne pas indexer une page ou une partie de page web.
  • Pour limiter la fréquence d’indexation ou pour refuser une indexation du site (pour ne pas épuiser les serveurs).
  • Lors de la refonte du site web, pour empêcher l’indexation du site en plein développement.

Comment créer un fichier robots.txt ?

Pour créer un fichier robots.txt, il faut pouvoir aller à la racine du site web. Il est possible de créer le fichier robots.txt de façon manuelle sur un simple éditeur comme Notepad, ou de manière automatique, en le générant par défaut dans les CMS comme WordPress (lors de l’installation). Il est aussi possible de le créer en ligne grâce à des outils dédiés à cet usage.

Pour une création manuelle, il faut suivre une syntaxe et mettre en place les instructions selon une structure. Généralement, il faut mettre les instructions par ligne.

Les syntaxes et instructions sont les suivantes :

  • User-agent définit les robots des moteurs de recherche à qui s’adresse le fichier (Googlebot, bingbot, etc.)
  • Disallow : l’instruction pour interdire l’accès aux robots d’indexation
  • Allow : l’instruction pour autoriser l’accès aux users agents

Allez plus loin

Formations

Je propose des formations, pour débuter ou se perfectionner, sur le référencement naturel, la publicité en ligne, Google Analytics et la productivité.

Mes derniers articles

Livres blancs

Développez vos compétences en marketing digital en téléchargeant gratuitement mes guides. Conseils et bonnes pratiques pour le SEO, SEA et SMO.

Besoin d'un freelance en marketing digital ?

Passionné par le marketing digital et plus particulièrement par l'acquisition de trafic, j'accompagne mes clients dans leur stratégie web. Je peux vous aider pour le référencement naturel et/ou payant de votre site ainsi que pour la gestion de vos campagnes publicitaires.