Blog GEO

Robots.txt para Crawlers de IA: Guía Completa de Configuración

“Bloquear GPTBot o ClaudeBot en robots.txt es pedirle a la IA que te recomiende sin dejarla leer tu sitio. El acceso de crawlers de IA pesa el 10% del Índice de Visibilidad Bello GEO.” — José Felipe Bello, fundador de Bello GEO

Tu archivo robots.txt es la primera puerta que los crawlers de IA encuentran cuando visitan tu sitio. Si los bloqueas — intencionalmente o por accidente — eres invisible para ChatGPT, Claude, Perplexity y Google AI. Si los permites correctamente, les das acceso a tu contenido para que te citen.

Un sitio puede bloquear un crawler de IA sin saberlo: basta una regla del robots.txt, del firewall o del proveedor de hosting. Cuando pasa, ese sitio es invisible para las respuestas de IA que dependen de ese crawler.

Los crawlers de IA que debes conocer

  • GPTBot: El crawler de OpenAI. Si lo bloqueas, ChatGPT no puede acceder a tu contenido para citarte en sus respuestas
  • ChatGPT-User: Se activa cuando un usuario de ChatGPT usa la función de búsqueda web. Diferente de GPTBot
  • ClaudeBot: El crawler de Anthropic (Claude). Indexa contenido para las respuestas de Claude
  • PerplexityBot: Indexa agresivamente para las respuestas de Perplexity.ai
  • Google-Extended: Controla el acceso de Gemini/Bard (separado de Googlebot)
  • Googlebot: Sigue siendo el más importante — alimenta Google Search Y Google AI Overviews

Configuración recomendada

Para máxima visibilidad en IA, tu robots.txt debe permitir explícitamente el acceso a todos los crawlers de IA con directivas Allow. También debe incluir la referencia a tu sitemap y llms.txt.

Errores comunes

  • Disallow global: Un "Disallow: /" para User-agent: * bloquea TODOS los crawlers, incluyendo los de IA
  • WordPress por defecto: Muchas instalaciones de WordPress bloquean /wp-admin/ y /wp-includes/ pero algunos temas también bloquean recursos que los crawlers necesitan
  • Firewall/CDN: Algunos firewalls y CDNs bloquean crawlers de IA a nivel de red, antes de que lleguen a tu robots.txt