Una petición, no un candado
Los rastreadores responsables respetan robots.txt, pero no impide que nadie abra una página. Protege las páginas privadas con contraseña.
PARA DESARROLLADORES WEB
El código se queda en tu dispositivo
Generador de robots.txt
Crea un archivo robots.txt con rutas bloqueadas, un enlace al sitemap y reglas para rastreadores de IA como GPTBot, ClaudeBot y CCBot.
1 Reglas
Procesado en tu navegador. No se sube nada.
TRES PASOS SENCILLOS
Cómo crear un archivo robots.txt
-
01
Define la regla general
Permite el rastreo de todo el sitio salvo las rutas elegidas, o bloquea el sitio entero, por ejemplo en un servidor de pruebas.
-
02
Añade rutas y tu sitemap
Lista las carpetas que bloquear, una por línea, añade excepciones y pega la dirección completa de tu sitemap XML.
-
03
Elige los rastreadores de IA que bloquear
Marca los rastreadores de IA que no quieres que recopilen tus páginas y copia el archivo o descarga robots.txt.
Conviene saber
Las páginas bloqueadas pueden indexarse
Una URL bloqueada puede aparecer en los resultados de búsqueda si otros sitios la enlazan. Para que una página no aparezca en Google, permite el rastreo y añade una etiqueta noindex.
El soporte de Crawl-delay varía
Bing y otros rastreadores respetan Crawl-delay, pero Google lo ignora.
PREGUNTAS
Preguntas frecuentes
¿Robots.txt evita que una página privada aparezca en los resultados de búsqueda?
No de forma fiable. Robots.txt controla el rastreo, no el acceso a una página, y una URL bloqueada puede descubrirse a través de enlaces. Protege el contenido privado con autenticación. Para páginas públicas que no deben indexarse, usa una directiva noindex adecuada en lugar de tratar robots.txt como un control de privacidad.
¿Bloquear Google-Extended quita mi sitio de la Búsqueda de Google?
No. Google-Extended controla si tu contenido se usa para los modelos Gemini. La Búsqueda de Google sigue rastreando tu sitio con Googlebot.
¿Dónde pongo el archivo robots.txt?
En la raíz del host, como https://example.com/robots.txt. Cada subdominio necesita su propio archivo.
¿Cómo permito un archivo dentro de una carpeta bloqueada?
Añade la carpeta a las rutas bloqueadas y el archivo a las rutas permitidas. Google y Bing aplican la regla coincidente más específica.