Cloudflare Disallow AI Training: mapa de migración de rastreadores para equipos de búsqueda

Qué ha cambiado: Disallow AI Training no es lo mismo que Block

Cloudflare Disallow AI Training publica las preferencias de entrenamiento y mantiene el acceso de los rastreadores de búsqueda de uso mixto con la designación Accountable. La opción Block de Training puede detener a esos mismos rastreadores. Esa es la diferencia práctica que introduce el lanzamiento de Cloudflare del 15 de septiembre de 2026. Mientras tanto, la compatibilidad de Bing con la exclusión del entrenamiento mediante robots.txt sigue prevista para principios de 2027.

Empieza por el resultado que buscas. Mantener las páginas disponibles para la búsqueda no resuelve si su contenido puede utilizarse para entrenar modelos, y ninguna de esas decisiones resuelve su inclusión en los resúmenes de IA. Cada una necesita un control compatible. Configurar el panel no basta para dar el trabajo por terminado. Comprueba si el rastreador previsto sigue pudiendo acceder a las páginas que importan.

El anuncio explica cómo funcionan los controles; no demuestra que los sitios perdieran posiciones cuando se lanzó la actualización.

Tres resultados que necesitan controles independientes

Con Disallow AI Training, Bot Preference Sync publica las preferencias de entrenamiento aplicables a través de robots.txt. Los rastreadores de uso mixto con la designación Accountable conservan el acceso para la búsqueda. Los demás rastreadores de entrenamiento quedan bloqueados, incluidas las vías dedicadas exclusivamente al entrenamiento de Amazon, Anthropic, Meta y OpenAI. Sus rastreadores de búsqueda independientes son objetivos distintos.

Google-Extended y Applebot-Extended son identificadores de control de uso, no nombres alternativos de Googlebot y Applebot. Rechazar el uso para entrenamiento no supone rechazar automáticamente todas las respuestas generadas. La guía de SEO, AEO y GEO ofrece un contexto más amplio; aquí nos centramos en las decisiones de migración y en las pruebas necesarias para justificarlas.

Revisa los ajustes actuales de Cloudflare antes de cambiar el acceso a la búsqueda

Ajustes y efectos: Allow, Disallow y Block

Registra los valores actuales de la zona antes de cambiar nada. Seleccionar Allow no anula otro ajuste ni una regla independiente del WAF. Las opciones Block y Block on pages with ads de Training incluyen ahora a Applebot, Bingbot y Googlebot, que son de uso mixto, por lo que una suposición sobre qué se considera tráfico de IA puede causar una denegación involuntaria del acceso a la búsqueda.

Los siguientes ajustes y resultados de migración están documentados en el anuncio de septiembre de Cloudflare.

La migración automática no es un ajuste predefinido para dominios nuevos

Cloudflare afirma que la mayoría de los ajustes existentes migran automáticamente. El nuevo significado de Block no implica que todos los sitios que ya estaban protegidos bloqueen de repente a Googlebot. Comprueba los valores resultantes de la migración antes de decidir si hace falta algún cambio.

Las recomendaciones para dominios nuevos son una cuestión aparte. Para los sitios financiados con publicidad, el ajuste predefinido propone Search en Allow, Training en Disallow AI Training y Agent en Block on pages with ads. Para los sitios que no se financian con publicidad, propone Allow en las tres categorías. Bot Preference Sync está activado en ambos casos, y los propietarios pueden modificar esas recomendaciones.

Los controles están disponibles en todos los planes y se aplican al dominio o a la zona. No existe una opción Disallow AI Training exclusiva para páginas con anuncios ni una opción Disallow para Agent. Probar rutas concretas no convierte estos controles en ajustes por ruta.

La documentación de Block AI Bots todavía mostraba, cuando se consultó, una redacción de julio sobre los valores predeterminados de septiembre. Cuando las descripciones difieren, este artículo atribuye el comportamiento de migración más reciente al anuncio de septiembre. Comprueba el panel antes de seguir una secuencia de clics supuesta.

Comprueba las capacidades de los proveedores, especialmente la carencia de Bing hasta principios de 2027

La designación Accountable abarca más que los mecanismos que ya están activos. Exige la posibilidad de excluirse del entrenamiento y de los resúmenes, transparencia a nivel de URL y garantías de que la exclusión del entrenamiento no afecta a la búsqueda tradicional, ya sea mediante funciones disponibles o mediante compromisos. Aun así, cada mecanismo necesita su propia comprobación.

Google: Google-Extended no es Googlebot

La documentación de rastreadores de Google describe Google-Extended como un identificador de producto sin una cadena de agente de usuario propia en las solicitudes HTTP. Controla determinados usos de entrenamiento y fundamentación de Gemini. Google afirma que no afecta a la inclusión ni a la posición en la búsqueda.

Para las vistas creadas con IA de Google y el Modo IA, las directrices de IA en la búsqueda señalan a Googlebot como el control de acceso de rastreo e indican nosnippet, data-nosnippet, max-snippet y noindex como formas de limitar la información que se muestra. Estos controles tienen consecuencias distintas. En particular, noindex no es una preferencia exclusiva de entrenamiento y no debe tratarse como tal.

Tras cambiar los controles de vista previa, utiliza la inspección de URLs de Search Console para ver el HTML que recibió Googlebot y deja tiempo para que se vuelva a rastrear y procesar. No busques un rastreador Google-Extended independiente en los registros de acceso como prueba de que la preferencia ha funcionado, porque la documentación no describe ninguno.

Cloudflare también describe un interruptor en un portal de búsqueda generativa. La documentación de Google consultada aquí no confirma de forma independiente la existencia de esa interfaz concreta para todos los usuarios. Por ello, este mapa no recomienda utilizarla ni considera que la transparencia de URL prometida ya esté disponible.

Apple: Applebot-Extended no bloquea al rastreador de búsqueda

Apple afirma que Applebot-Extended no rastrea páginas. Excluirlo controla el uso para entrenamiento del contenido recopilado por Applebot; las páginas pueden seguir apareciendo en las búsquedas.

Apple documenta por separado el uso de nosnippet para determinadas respuestas generativas, con efectos sobre las descripciones y las respuestas web. Revisa esos efectos de presentación antes de aplicar el cambio, porque afectan a cómo aparece el contenido y no solo a cómo se utiliza para entrenamiento. Cloudflare sitúa los trabajos de inspección de URL de Apple en el año siguiente, es decir, 2027, sin dar una fecha de lanzamiento.

Bing: una carencia en las preferencias no es una recomendación de retirada

Hasta que llegue la compatibilidad de Bing prevista para principios de 2027, Disallow AI Training no transmite automáticamente una preferencia de exclusión del entrenamiento a través de robots.txt. Registra claramente ese estado como pendiente de resolver, no como implementado.

El anuncio de Microsoft de septiembre de 2023 afirma que NOARCHIVE excluye el contenido de las respuestas de Bing Chat y del futuro entrenamiento de modelos fundacionales, pero mantiene la posibilidad de aparecer en los resultados de búsqueda. NOCACHE tiene prioridad cuando aparecen ambos. Ese es el comportamiento documentado históricamente, no una cobertura verificada de forma independiente para todos los servicios actuales de Microsoft.

Cloudflare menciona NOARCHIVE y las herramientas de retirada. No utilices la retirada como sustituto de una preferencia exclusiva de entrenamiento, porque sus consecuencias para la indexación deben verificarse por separado. Este artículo no recomienda procedimientos de retirada. El control unificado de Cloudflare sobre la cantidad de contenido en los resúmenes también es un objetivo para principios de 2027, no una función de septiembre.

Utiliza el mapa de migración según la finalidad del rastreo

Registra el estado inicial y los resultados deseados

El mapa de migración según la finalidad del rastreo es una plantilla de trabajo que se presenta en este artículo, no una función de Cloudflare ni una metodología que se afirme haber aplicado a clientes. Úsalo para relacionar el estado registrado de la zona con los resultados que buscas. Junto a cada control propuesto, conserva el estado de compatibilidad del proveedor y las pruebas necesarias para aceptar el cambio. Incluye el procedimiento de reversión.

Exporta los ajustes cuando sea posible o registra los valores exactos de Search, Training y Agent, el estado de Bot Preference Sync, la respuesta pública de robots.txt y las reglas pertinentes del WAF. Añade fecha y hora al registro. Oculta los detalles sensibles de las reglas antes de compartirlo fuera del equipo operativo.

Anota si el acceso a la búsqueda debe mantenerse abierto y especifica después la preferencia de entrenamiento. Decide por separado la política de resúmenes. Una preferencia no admitida sigue siendo una carencia aunque el panel parezca configurado; el ajuste por sí solo no demuestra ni la compatibilidad del proveedor ni el cumplimiento.

Elige rutas indexables representativas, incluidas páginas con y sin anuncios cuando corresponda. Recopila las observaciones disponibles de rastreo e indexación antes del cambio. Acuerda qué denegaciones inesperadas activarán la reversión y designa a la persona que pueda restaurar los ajustes. Registra cualquier protección independiente que deba mantenerse intacta.

Este registro ilustrativo no es un cuerpo de solicitud de la API de Cloudflare ni una observación en producción. Propone rechazar el entrenamiento y dejar sin decidir los resúmenes.

{
  "zone": "example.com",
  "observedAt": null,
  "desiredOutcomes": {"search": "allow", "training": "decline", "summaries": "undecided"},
  "currentControls": "not_checked",
  "proposedControls": {"Search": "Allow", "Training": "Disallow AI Training", "Agent": "retain_recorded_baseline"},
  "providerSupport": {"bingRobotsTraining": "target_early_2027_not_shipped"},
  "evidence": {"robotsTxt": "not_checked", "verifiedCrawlerAccess": "not_checked"},
  "rollback": "restore_recorded_baseline_after_unintended_search_denial"
}

Inspecciona robots.txt y el acceso de los rastreadores

Bot Preference Sync antepone contenido generado al contenido existente de robots.txt. Inspecciona la respuesta completa, no solo las líneas nuevas. Comprueba los grupos de agentes de usuario aplicables y la prioridad de las directivas según las reglas de cada operador de rastreo. El orden de las líneas no constituye una prueba de aceptación. Cloudflare también afirma que esta sincronización por categorías no lee directamente las reglas personalizadas individuales con lógica más compleja. No supongas que una excepción personalizada del WAF se ha trasladado a robots.txt.

Una cadena de agente de usuario copiada de Googlebot permite inspeccionar una respuesta, pero no demuestra que el Googlebot real tenga acceso. Utiliza la verificación de identidad documentada cuando esté disponible. La documentación de gestión de rastreadores de Cloudflare describe la identificación por agente de usuario en el plan gratuito y una detección más exhaustiva en los planes superiores. Indica el nivel de confianza en consecuencia.

La misma documentación advierte de que las solicitudes fallidas pueden deberse a otras reglas o a errores de respuesta. Identifica el control responsable antes de cambiar la política de entrenamiento. De lo contrario, un equipo puede debilitar la regla equivocada y dejar sin resolver el problema del rastreador.

Mide los resultados y conserva la posibilidad de revertir los cambios

El conjunto de herramientas para medir la búsqueda con IA ofrece un contexto de medición más amplio. Esta migración necesita un registro más acotado que relacione cada observación con el cambio concreto de ajuste.

Google incluye las vistas creadas con IA y el Modo IA en los informes generales de Web de Search Console. No atribuyas un cambio agregado a un efecto aislado de los resúmenes. Elige periodos de observación en función de las visitas reales de los rastreadores y del procesamiento, sin dar por supuesto que habrá un resultado inmediato.

Si se deniega por primera vez el acceso previsto para la búsqueda, restaura los ajustes registrados y vuelve a comprobar las rutas afectadas. La restauración no garantiza un nuevo rastreo ni la recuperación de la indexación de forma inmediata. La prueba de trazabilidad de evidencias de Cloudflare Radar aporta contexto sobre el tratamiento de pruebas en otro producto, no sobre este despliegue de controles.

Errores comunes al separar la búsqueda del entrenamiento

El error principal es seleccionar Block en Training y esperar que un rastreador de uso mixto siga realizando búsquedas. Inspecciona los valores resultantes de la migración en lugar de confiar en el antiguo significado de la etiqueta. Allow en Search no anula las restricciones independientes presentes en otras partes de la configuración.

Los ajustes de Agent no pueden suplir un mecanismo de entrenamiento inexistente. Una opción Disallow exclusiva para páginas con anuncios tampoco puede hacerlo, porque no se ofrece. La designación Accountable no resuelve la carencia de Bing, y una directiva de entrenamiento no equivale a excluirse de los resúmenes.

Presta atención a lo que realmente muestran las pruebas. Una cadena de agente de usuario copiada dice poco sobre la identidad del rastreador, mientras que robots.txt registra una preferencia publicada sin demostrar que el entrenamiento haya cesado. La estabilidad de las posiciones también puede dar una tranquilidad injustificada: no indica si todas las rutas importantes siguen siendo accesibles.

Evita las recetas universales de etiquetas. La interacción entre NOARCHIVE y NOCACHE de Microsoft muestra cómo las directivas combinadas pueden cambiar el resultado. Verifica el ámbito del producto antes de aplicar los cambios, especialmente antes de utilizar herramientas de retirada.

Limitaciones: qué no puede demostrar este mapa

Publicar una preferencia no demuestra su cumplimiento. Tampoco permite retirar contenido de modelos existentes ni determinar cómo se utilizaron las recopilaciones anteriores. Las pruebas sobre la aplicación de restricciones de rastreo no pueden, por sí solas, responder a preguntas sobre la identidad o el uso posterior de los datos.

Prevé el esfuerzo de implementación, los cambios en la documentación, las respuestas en caché, los plazos de nuevas visitas y los registros incompletos. Limita la conservación de las pruebas y el acceso a ellas cuando la privacidad lo exija.

Ningún ajuste garantiza posiciones, tráfico, citas ni conversiones. Este artículo se basa en la revisión de fuentes públicas, no en un cambio real de configuración de Cloudflare, un despliegue para un cliente ni un experimento SEO controlado. Mantén visibles los resultados no admitidos en lugar de dar la migración por terminada para todos los sitios.