Une demande, pas un verrou
Les robots bien élevés respectent robots.txt, mais cela n’empêche personne d’ouvrir une page. Protégez plutôt vos pages privées par un mot de passe.
POUR LES DÉVELOPPEURS WEB
Le code reste sur votre appareil
Générateur de robots.txt
Créez un fichier robots.txt avec des chemins bloqués, un lien vers votre sitemap et des règles pour les robots IA comme GPTBot, ClaudeBot et CCBot.
1 Règles
Traité dans votre navigateur. Rien n’est envoyé.
TROIS PETITES ÉTAPES
Comment créer un fichier robots.txt
-
01
Définissez la règle par défaut
Autorisez les robots sur tout le site sauf certains chemins, ou bloquez le site entièrement, par exemple sur un serveur de préproduction.
-
02
Ajoutez les chemins et votre sitemap
Listez les dossiers à bloquer, un par ligne, ajoutez des exceptions et collez l’adresse complète de votre sitemap XML.
-
03
Choisissez les robots IA à bloquer
Cochez les robots IA que vous ne voulez pas voir collecter vos pages, puis copiez le fichier ou téléchargez robots.txt.
Bon à savoir
Une page bloquée peut être indexée
Une URL bloquée peut apparaître dans les résultats de recherche quand d’autres sites y renvoient. Pour tenir une page hors de Google, autorisez l’exploration et ajoutez une balise noindex.
Crawl-delay diversement respecté
Bing et quelques autres robots respectent Crawl-delay, mais Google l’ignore.
QUESTIONS
Questions fréquentes
Le fichier robots.txt garde-t-il une page privée hors des résultats de recherche ?
Pas de façon fiable. Le robots.txt contrôle l’exploration, pas l’accès à une page, et une URL bloquée peut tout de même être découverte par des liens. Protégez les contenus privés par une authentification. Pour les pages publiques qui ne doivent pas être indexées, utilisez une directive noindex adaptée plutôt que de traiter robots.txt comme un outil de confidentialité.
Bloquer Google-Extended retire-t-il mon site de Google Search ?
Non. Google-Extended détermine si votre contenu sert aux modèles Gemini. Google Search continue d’explorer votre site avec Googlebot.
Où placer le fichier robots.txt ?
À la racine de l’hôte, par exemple https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
Comment autoriser un seul fichier dans un dossier bloqué ?
Ajoutez le dossier aux chemins bloqués et le fichier aux chemins autorisés. Google et Bing appliquent la règle correspondante la plus spécifique.