Los dos archivos están uno junto al otro en la raíz del sitio y es fácil confundirlos, pero responden a preguntas distintas. robots.txt responde a «¿puedes entrar?». Es una lista de reglas por rastreador, escrita con líneas User-agent, Allow y Disallow, y es un estándar del IETF desde 2022 (RFC 9309). Los rastreadores que lo siguen lo leen antes de descargar cualquier otra cosa.
llms.txt responde a «¿qué hay aquí y qué deberías leer primero?». Es un archivo en Markdown propuesto en llmstxt.org: un título, un resumen de una línea y listas de enlaces con una descripción corta cada uno. Ningún buscador ni empresa de IA ha dicho que sus sistemas lo lean, y nosotros no afirmamos que lo haga ninguno. Publicarlo es barato y tiene poco riesgo, y por eso lo publicamos.
Como hacen trabajos distintos, uno no sustituye al otro. Un sitio que bloquea un rastreador de IA en robots.txt no queda desbloqueado por tener un buen llms.txt, y un sitio sin llms.txt no pierde nada en el rastreo. El error habitual es el contrario: una regla de robots.txt escrita hace años, para otro rastreador, que hoy bloquea a los sistemas de IA por los que la empresa quiere ser citada.
robots.txt tampoco elimina una página de la búsqueda. Una URL bloqueada puede seguir indexándose a partir de enlaces externos, sin su contenido, porque el rastreador nunca leyó la página. Para dejar una página fuera del índice, tiene que poder rastrearse y llevar noindex.