📌 📄 内容摘要:
@josenlou 在 当卖盾的开始卖矛，Cloudflare推出爬虫工具 中发帖
Cloudflare 3 月 10 日推出 /crawl endpoint，一个 API 呼叫就能爬完一整个网站，自动发现子页面，回传 HTML、Markdown 或结构化 JSON。
[IMG_5961]
我就想问当初那个批评Google 用爬虫训练 AI 是滥用垄断，指控 Perplexity 无视 robots . txt的人设去哪里了？
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1739150/1
─────────────────────────────
📢 来源：LINUX DO
