Cloudflare推出AI审核功能：强化robots.txt策略执行

2024-12-12 · 阅读 1.7万 · 来自 Telegram 公开频道

Cloudflare推出AI审核功能：强化robots.txt策略执行
Cloudflare 近日推出AI审核功能，帮助网站管理员了解AI服务、爬虫如何访问其网站内容，并能够通过网络级防火墙（WAF）强制执行robots.txt政策，确保AI爬虫遵守网站内容访问限制
💡 功能说明
通过AI审核面板，用户可以轻松查看AI爬虫访问其网站的情况，包括访问请求次数和路径概述
用户可按AI搜索引擎或爬虫分类过滤数据，并检查哪些AI服务遵守了robots.txt文件中的规则
网站管理员可以在仪表盘中查看AI爬虫对robots.txt文件的遵守情况
如果发现恶意、滥用行为，管理员可以一键在网络级别配置相……

📢 用 soos 打开这条帖子

机器人会发你原帖链接，并推荐同类频道　·　直接打开：t.me/cloudflare_cn/213

这个频道的其他帖子

11.18 Cloudflare 全球网络故障阅读 1.9万 Cloudflare将于2024年8月5日弃用自动压缩阅读 1.8万 Cloudflare 管理面板以及API服务故障不可用阅读 1.6万部分CNAME接入Cloudflare的域名证书出错阅读 1.5万 Cloudflare 2025年12月5日宕机事件报告阅读 1.5万