Comparativas

llms.txt vs robots.txt

robots.txt indica a los rastreadores qué URL de un sitio pueden descargar, y los principales rastreadores de búsqueda y de IA lo respetan. llms.txt es un mapa opcional y legible que explica a los modelos de lenguaje qué es el sitio y qué páginas importan; no permite ni bloquea nada.

Los dos archivos están uno junto al otro en la raíz del sitio y es fácil confundirlos, pero responden a preguntas distintas. robots.txt responde a «¿puedes entrar?». Es una lista de reglas por rastreador, escrita con líneas User-agent, Allow y Disallow, y es un estándar del IETF desde 2022 (RFC 9309). Los rastreadores que lo siguen lo leen antes de descargar cualquier otra cosa.

llms.txt responde a «¿qué hay aquí y qué deberías leer primero?». Es un archivo en Markdown propuesto en llmstxt.org: un título, un resumen de una línea y listas de enlaces con una descripción corta cada uno. Ningún buscador ni empresa de IA ha dicho que sus sistemas lo lean, y nosotros no afirmamos que lo haga ninguno. Publicarlo es barato y tiene poco riesgo, y por eso lo publicamos.

Como hacen trabajos distintos, uno no sustituye al otro. Un sitio que bloquea un rastreador de IA en robots.txt no queda desbloqueado por tener un buen llms.txt, y un sitio sin llms.txt no pierde nada en el rastreo. El error habitual es el contrario: una regla de robots.txt escrita hace años, para otro rastreador, que hoy bloquea a los sistemas de IA por los que la empresa quiere ser citada.

robots.txt tampoco elimina una página de la búsqueda. Una URL bloqueada puede seguir indexándose a partir de enlaces externos, sin su contenido, porque el rastreador nunca leyó la página. Para dejar una página fuera del índice, tiene que poder rastrearse y llevar noindex.

Lado a lado

Aspectorobots.txtllms.txt
Qué hacePermite o bloquea el rastreo, por user agentDescribe el sitio y enumera las páginas que importan
EstadoEstándar del IETF, RFC 9309 (2022)Una propuesta publicada en llmstxt.org
FormatoReglas en texto plano: User-agent, Allow, Disallow, SitemapMarkdown: título, resumen, secciones de enlaces
Quién lo leeLos rastreadores de búsqueda y los de IA que publican su user agentNingún buscador ha confirmado que lo lea
Si no existeSe puede rastrear cualquier URLNo cambia nada en el rastreo ni en la indexación
Si está malUn Disallow de más puede dejar a los rastreadores fuera de todo el sitioUn mapa desactualizado describe páginas que ya no existen
¿Saca una página de la búsqueda?No: usa noindex en una página rastreableNo

Cuándo elegir robots.txt

  • Necesitas que los rastreadores no pierdan tiempo en URL inútiles, como resultados de búsqueda interna o combinaciones infinitas de filtros.
  • Quieres permitir o rechazar un rastreador de IA concreto, como GPTBot o ClaudeBot, por separado de los buscadores.
  • Quieres indicar a los rastreadores dónde está tu sitemap con una línea Sitemap.

Cuándo elegir llms.txt

  • Tu sitio es grande o su navegación es pesada, y un resumen breve en texto plano ayudaría a un modelo a encontrar las páginas que importan.
  • Puedes generar el archivo a partir de la misma lista de rutas que el sitemap, de modo que no pueda quedarse desactualizado.
  • Ya has revisado robots.txt, porque llms.txt no sirve de nada a un rastreador bloqueado.

Un ejemplo de nuestros propios sitios

En audacian.eu, robots.txt permite el acceso a todos los rastreadores y nombra de forma explícita a los que damos la bienvenida: Googlebot, Bingbot, GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot y Google-Extended. Un comentario al principio señala el sitemap, llms.txt y llms-full.txt. Los dos archivos llms se generan al compilar a partir de la misma lista de rutas que el sitemap, así que una página eliminada desaparece de los tres a la vez, y una página con noindex queda fuera de llms-full.txt. Nuestro comprobador gratuito de preparación para la búsqueda con IA lee los dos archivos de cualquier sitio que introduzcas: indica qué rastreadores de IA bloquea robots.txt y si existe llms.txt.

Preguntas

¿llms.txt sustituye a robots.txt?
No. robots.txt decide qué pueden descargar los rastreadores; llms.txt solo describe el sitio. Un rastreador bloqueado en robots.txt sigue bloqueado, diga lo que diga llms.txt.
¿Puede robots.txt dejar una página fuera de Google?
No de forma fiable. Una URL bloqueada puede indexarse a partir de enlaces, sin su contenido. Para dejar una página fuera del índice, deja que se rastree y ponle una etiqueta o cabecera noindex.
¿ChatGPT o Perplexity leen llms.txt?
Ninguna de las dos empresas lo ha dicho, y nosotros no afirmamos que lo hagan. Lo que sí publican son los user agents de sus rastreadores, que puedes permitir o bloquear en robots.txt.

Cuéntanos qué estás lanzando.

Reserva una llamada de 20 minutos o escríbenos unas líneas sobre lo que lanzas. Respondemos con un plan aproximado y un rango de precio, trabajemos juntos o no.