El rastreador AudacianResearch

AudacianResearch/1.0 es el rastreador que Audacian usa para investigar si los sitios web están preparados para la búsqueda con IA. Hace como máximo 6 peticiones por sitio, respeta robots.txt y solo publicamos totales: nunca nombramos ningún sitio.

Qué es

Aplica las mismas ocho comprobaciones que nuestro comprobador gratuito de búsqueda con IA a la página de inicio de cada sitio de la muestra de un estudio: acceso de los rastreadores de IA en robots.txt, indexabilidad, etiqueta canónica, datos estructurados (JSON-LD), llms.txt, título y meta descripción, enlaces sameAs y hreflang.

Envía este user agent en cada petición:

AudacianResearch/1.0 (+https://audacian.eu/research/crawler; hello@audacian.eu)

Qué solicita exactamente

  • Primero /robots.txt. Si robots.txt prohíbe una ruta a AudacianResearch o a todos los rastreadores (User-agent: *), esa ruta no se solicita.
  • La página de inicio.
  • /llms.txt.
  • Solo si la página de inicio los indica, y solo en el mismo host: la URL canónica (una petición HEAD) y hasta tres versiones de idioma de hreflang.
  • Como máximo 6 peticiones por sitio y ejecución, contando cada redirección. Si se alcanza el límite, las comprobaciones que faltan quedan como no medidas.
  • Nunca solicita páginas de otros sitios, como los perfiles sociales de sameAs, y nunca envía formularios, inicia sesión, ejecuta JavaScript ni guarda cookies.

Con qué frecuencia y a qué ritmo

  • Un sitio cada vez, con al menos 10 segundos entre sitios.
  • Cada petición se corta a los 5 segundos o a los 2 MB.
  • Como máximo un reintento por sitio, y solo tras un error de red o un tiempo agotado.
  • Cada sitio se revisa una vez por ejecución del estudio. Antes de la ejecución completa, una prueba con unos 20 sitios comprueba nuestras reglas; esos sitios pueden recibir hasta tres visitas, y una persona puede abrirlos una vez para revisar los resultados a mano.

Qué publicamos

  • Solo totales y porcentajes, cada uno con el número de sitios en que se basa. Los grupos de menos de 10 sitios se agrupan o se omiten.
  • Ningún sitio aparece nombrado, enlazado, citado ni mostrado: ni en la página del estudio, ni en sus gráficos, ni en sus datos descargables.
  • Los resultados por sitio se quedan en nuestro equipo. No se publican y se borran 90 días después de publicar el estudio.

Cómo excluirse

Escribe a hello@audacian.eu con tu dominio. Lo añadimos a nuestra lista de exclusión, que se aplica antes de cada ejecución, y retiramos el sitio de la siguiente actualización de cualquier estudio en el que estuviera.

O bloquea el rastreador en robots.txt. Lee ese archivo antes que nada y se detiene si la página de inicio está prohibida:

User-agent: AudacianResearch Disallow: /