Générateur de Robots.txt

Saisissez l’origine de votre site si vous souhaitez utiliser la suggestion de sitemap.

Sélectionnez Tous les robots, Googlebot ou Bingbot.

Ajoutez des règles Allow et Disallow ou commencez avec un modèle.

Vérifiez les chemins et corrigez les éventuelles erreurs de validation.

Ajoutez éventuellement une URL de sitemap. Si le champ est vide, vérifiez l’URL suggérée à partir de l’origine de votre site.

Définissez éventuellement un Crawl-delay si nécessaire et pris en charge par le robot ciblé.

Prévisualisez le contenu généré du fichier robots.txt.

Copiez le texte ou téléchargez-le sous le nom robots.txt.

Vous pouvez également charger un exemple pour découvrir le fonctionnement des directives ou effacer le formulaire pour recommencer.

Créez un fichier robots.txt pour votre site web avec ce générateur en ligne gratuit. Choisissez les robots d’exploration concernés, ajoutez des chemins Allow et Disallow, indiquez l’URL de votre sitemap et définissez éventuellement un délai d’exploration. Prévisualisez les directives générées, copiez le texte ou téléchargez le fichier sous le nom robots.txt.

Un fichier robots.txt correctement configuré permet d’indiquer aux robots d’exploration quelles parties de votre site ils peuvent ou ne peuvent pas demander.

Un fichier robots.txt est un fichier texte brut qui fournit aux robots d’exploration des instructions sur les URL qu’ils sont invités à consulter ou à éviter sur un site web.

Il fait partie du protocole d’exclusion des robots (Robots Exclusion Protocol). Les moteurs de recherche et les autres robots peuvent consulter ce fichier avant d’explorer les pages d’un site.

Il doit être placé à la racine du nom d’hôte concerné. Par exemple :

https://example.com/robots.txt

Un fichier situé à l’adresse https://example.com/blog/robots.txt ne contrôle pas l’exploration de l’ensemble du site example.com. Les sous-domaines ont également besoin de leur propre fichier robots.txt.

Un fichier robots.txt utilise des directives pour définir les préférences d’exploration. Le générateur prend en charge les directives suivantes.

User-agent

La directive User-agent identifie le robot d’exploration auquel s’appliquent les règles suivantes.

Exemples courants :

User-agent: *

User-agent: Googlebot

User-agent: Bingbot

* s’applique à tous les robots qui respectent le protocole d’exclusion des robots.

Googlebot désigne le principal robot d’exploration web de Google.

Bingbot désigne le robot d’exploration de Microsoft Bing.

Les règles destinées à un robot spécifique peuvent différer des règles générales. Vérifiez le fichier généré pour confirmer à quel groupe chaque règle s’applique.

Disallow

La directive Disallow demande aux robots compatibles de ne pas accéder aux URL correspondant à un chemin donné.

Par exemple :

User-agent: *

Disallow: /prive/

Cette règle demande aux robots concernés de ne pas explorer les URL situées sous le chemin /prive/.

Une règle Disallow ne supprime pas automatiquement une page des résultats de recherche. Une URL peut toujours être indexée si d’autres pages y font référence ou si le moteur de recherche la découvre par un autre moyen.

Allow

La directive Allow indique un chemin que les robots peuvent explorer, même lorsqu’une règle Disallow plus générale s’applique.

Par exemple :

User-agent: *

Disallow: /prive/

Allow: /prive/guide-public/

Cette configuration demande aux robots d’éviter la section privée tout en autorisant le chemin du guide indiqué. La prise en charge de Allow et l’interprétation des règles qui se chevauchent peuvent varier selon les robots. Consultez la documentation des moteurs de recherche concernés.

Sitemap

La directive Sitemap indique l’URL absolue du sitemap XML de votre site.

Par exemple :

Sitemap: https://example.com/sitemap.xml

Un sitemap peut aider les moteurs de recherche à découvrir les URL de votre site. Il ne remplace pas les règles Disallow et ne garantit pas que toutes les URL répertoriées seront explorées ou indexées.

Si le champ du sitemap est vide et que vous avez saisi une origine de site valide, le générateur peut suggérer une URL de sitemap à partir de cette origine. Vérifiez que le chemin proposé correspond à l’emplacement réel de votre sitemap avant de publier le fichier.

Crawl-delay

La directive facultative Crawl-delay demande un délai entre les requêtes d’un robot d’exploration.

Par exemple :

User-agent: *

Crawl-delay: 10

Elle demande aux robots compatibles d’attendre 10 secondes entre les requêtes.

La prise en charge varie selon les robots. Googlebot ne prend pas en charge la directive Crawl-delay dans robots.txt. Ne supposez pas que son ajout ralentira tous les moteurs de recherche. Consultez la documentation de chaque robot avant d’utiliser cette option.

Le générateur propose trois choix de User-agent :

Tous les robots (*) : Crée des règles pour tous les robots qui respectent le protocole.

Googlebot : Crée un groupe de règles destiné au principal robot d’exploration web de Google.

Bingbot : Crée un groupe de règles destiné au robot d’exploration de Bing.

Le User-agent sélectionné détermine le groupe auquel s’appliquent les règles Allow et Disallow. Si vous avez besoin de règles différentes selon les robots, configurez chaque groupe avec attention et vérifiez le fichier généré.

Ajoutez autant de règles que nécessaire. Chaque règle indique si un chemin correspondant doit être autorisé ou interdit pour le robot sélectionné.

Exemples de chemins :

/admin/

/checkout/

/search/

/assets/

Utilisez des chemins relatifs à la racine du site, qui commencent généralement par /. Vérifiez chaque chemin avec attention : une règle trop large peut affecter davantage d’URL que prévu.

Le générateur valide les chemins ainsi que les URL facultatives du site et du sitemap. Les URL valides doivent utiliser http:// ou https://. Une directive Sitemap doit contenir une URL absolue et non un simple chemin relatif.

Utilisez un modèle comme point de départ, puis adaptez les règles à votre site web.

Autoriser tous les robots

Une configuration simple qui n’interdit aucun chemin :

User-agent: *

Disallow:

Cette configuration ne définit aucune restriction Disallow pour ce groupe. Elle ne garantit pas que les robots visiteront ou indexeront toutes les pages.

Bloquer tous les robots

Une configuration qui demande à tous les robots compatibles de ne consulter aucun chemin :

User-agent: *

Disallow: /

Utilisez-la avec précaution. Elle peut empêcher les moteurs de recherche d’explorer l’ensemble du site. Elle ne rend pas un site privé et ne supprime pas les URL déjà indexées.

Bloquer les sections privées courantes avec une exception

Ce modèle peut ajouter des règles Disallow pour les sections généralement restreintes et une règle Allow pour un chemin explicitement autorisé.

Par exemple :

User-agent: *

Disallow: /admin/

Disallow: /compte/

Disallow: /checkout/

Allow: /compte/aide/

Il s’agit uniquement d’une consigne d’exploration. Elle n’empêche pas les visiteurs ou les robots malveillants de demander ces URL.

Voici un exemple simple qui autorise l’exploration générale, bloque certaines sections et indique l’emplacement du sitemap :

User-agent: *

Disallow: /admin/

Disallow: /compte/

Disallow: /checkout/

Allow: /compte/aide/

Sitemap: https://example.com/sitemap.xml

Avant de publier le fichier, vérifiez que les chemins sont corrects, que l’exception est intentionnelle et que les pages et ressources importantes ne sont pas bloquées par erreur.

Un fichier robots.txt fournit des consignes publiques d’exploration. Ce n’est pas un mécanisme de sécurité.

Il ne peut pas :

Exiger un mot de passe ou authentifier les visiteurs.

Protéger des fichiers, des répertoires ou des informations privées.

Empêcher les visiteurs ou les robots malveillants de demander une URL.

Garantir qu’une URL bloquée disparaîtra des résultats de recherche.

Garantir que tous les robots respecteront ses instructions.

N’utilisez pas robots.txt pour cacher des informations confidentielles. Protégez les contenus privés avec une authentification, des autorisations et des contrôles d’accès côté serveur. Si vous devez supprimer une URL des résultats de recherche, utilisez les outils de suppression du moteur concerné et les contrôles d’indexation appropriés au lieu de vous fier uniquement à Disallow.