📌 📄 内容摘要:
变色龙 (@bianselong) 在 字节跳动推出了新的网络爬虫，激进抓取网络数据 中发帖
字节跳动推出了新的网络爬虫，激进抓取网络数据
短视频应用 TikTok 的中国母公司字节跳动在4月份发布了自己的网络爬虫或抓取机器人，名为 Bytespider。尽管 TikTok 有可能在未来几个月内在美国被禁，但字节跳动仍在积极抓取用户数据。数据显示，在过去六周内，Bytespider 的抓取活动每周都会出现大幅增长，每日请求量已经达到 GPTbot 的25倍。
研究显示，字节跳动的机器人已迅速成为互联网上最激进的抓取工具。它抓取数据的速度是其他大公司的数倍，例如谷歌、Meta、亚马逊、OpenAI 和 Anthropic，这些公司使用自己的抓取机器人来帮助创建和改进大模型。研究显示，Bytespider 机器人并不尊重 robots.txt，虽然不具有任何法律约束力，但它表示抓取机器人不能获取该网站的数据。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/223631/1
─────────────────────────────
📢 来源：LINUX DO
