Cloudflare синхронизирует robots.txt с настройками блокировки ботов
Новая функция Bot Preference Sync автоматически обновляет robots.txt в соответствии с тем, что вы настроили для AI-ботов (Search, Agent, Training). Доступна всем тарифам, включая Free. Призвана устранить расхождения между заявленными правилами и реальной блокировкой.