A Cloudflare anunciou em 21 de agosto o Bot Preference Sync, recurso que sincroniza a configuração de bots de IA de um site com o arquivo robots.txt. A ideia é reduzir a distância entre o que o dono do site declara publicamente e o que ele aplica na borda da rede.
O recurso chega em um momento em que sites precisam decidir como lidar com três usos diferentes de conteúdo por sistemas de IA: busca, agentes e treinamento. Permitir indexação para aparecer em respostas e bloquear uso para treinar modelos são decisões distintas. Tratar tudo como "bot" já não descreve bem o problema.
Em termos práticos, Bot Preference Sync atualiza o robots.txt com base nas preferências já configuradas na Cloudflare para categorias de bots de IA. O recurso não obriga todo site a bloquear tudo. Ele tenta fazer a preferência escolhida aparecer de forma consistente em uma camada que crawlers cooperativos conseguem ler.
O que a Cloudflare anunciou sobre Bot Preference Sync
No post oficial, a Cloudflare diz que o Bot Preference Sync estará disponível para todos os clientes, do plano Free ao Enterprise. O recurso pode ser ligado ou desligado e reflete no robots.txt as escolhas feitas para Search, Agent e Training no painel da zona.
Se o site já tiver um robots.txt, o conteúdo gerado pelo recurso é colocado antes do material existente, preservando diretivas de Disallow já configuradas. A Cloudflare também afirma que usará bots acompanhados no BotBase para atualizar periodicamente a lista escrita no arquivo quando o dono do site escolher bloquear ou desautorizar uma categoria.
Para Training, a opção de Disallow escreve uma preferência de "não treinar" no robots.txt. A Cloudflare diferencia esse caso de busca: crawlers cooperativos de uso misto poderiam continuar acessando o conteúdo para indexação de busca, desde que respeitem a preferência de não usar o material para treinamento.
Robots.txt volta ao centro da conversa
Robots.txt sempre foi uma declaração de preferência, não uma barreira de segurança completa. Um crawler malicioso pode ignorá-lo. A diferença é que, para operadores grandes e verificáveis, o arquivo continua sendo uma forma simples de registrar intenção do site em um padrão conhecido.
O problema aparece quando a configuração pública e a configuração de borda dizem coisas diferentes. Um site pode declarar bloqueio no robots.txt, mas não aplicar nada no firewall. Ou pode bloquear na borda e esquecer de publicar preferência clara. A Cloudflare argumenta que essa divergência cria espaço para ambiguidade e tentativa de contorno.
O Bot Preference Sync não transforma robots.txt em autorização legal universal. Ele ajuda a reduzir inconsistência operacional. Para sites que dependem de busca, tráfego orgânico, publicidade ou assinatura, isso tem valor porque a política deixa de ficar espalhada entre arquivo estático, regra de segurança e configuração de produto. A pauta conversa com Adaptive Intelligence da Cloudflare contra ataques de bots, mas aqui o foco é preferência declarada de crawlers, não detecção de tráfego malicioso.
Busca, agente e treinamento não são a mesma coisa
A parte mais importante do anúncio é a separação de categorias. Search representa rastreadores voltados a indexação e descoberta. Agent representa acessos feitos por assistentes ou ferramentas automatizadas em nome de usuários. Training representa uso de conteúdo para treinar ou melhorar modelos.
Um e-commerce pode querer aparecer em respostas de compra e aceitar indexação ampla. Um veículo de conteúdo pode querer aparecer na busca e ao mesmo tempo recusar treinamento. Uma área privada pode bloquear tudo. O desenho correto depende do modelo de negócio e da expectativa de tráfego.
Essa decisão também afeta AEO. Se um site quer aparecer em mecanismos de resposta, precisa ser rastreável por sistemas de busca e referência. Se quer limitar treinamento, precisa declarar essa preferência sem destruir a própria descoberta. Separar categorias evita transformar proteção em invisibilidade.
Sites precisam alinhar declaração e aplicação
Para donos de site, o trabalho prático é inventariar a política atual. O robots.txt diz uma coisa? O WAF diz outra? O CDN aplica regras diferentes? Existe exceção contratual para algum crawler? O time de conteúdo sabe se a decisão privilegia busca, bloqueio de treinamento ou bloqueio total?
A Cloudflare diz que novos clientes terão escolhas diferentes conforme perfil. Publicadores com páginas monetizadas por anúncios podem iniciar com Training em Disallow, enquanto outros clientes começam sem bloqueios adicionados por padrão. Esse detalhe importa porque configuração padrão vira política real quando ninguém revisa.
Bot Preference Sync é uma ferramenta de consistência, não uma decisão editorial automática. Antes de ativar, o site precisa escolher sua política: ser encontrado, permitir agentes, recusar treinamento, bloquear categorias específicas ou manter regras manuais. Depois, precisa verificar se robots.txt, borda e estratégia de conteúdo dizem a mesma coisa.
