24 小时抓取百万次，Anthropic AI 公司被指过度抓取网站数据

金融时报（FT）发布博文，指出 AI 公司 Anthropic 虽然声称“要负责任地开发 AI”，但通过 ClaudeBot 机器人过度抓取网站数据，用于训练 Claude 大语言模型。
尽管使用网络爬虫抓取数据是人工智能行业普遍做法，但 Anthropic 因其激进程度而受到批评。
自由职业者网站 Freelancer 也表示，ClaudeBot 在四小时内访问了 350 万次，被迫对其进行屏蔽。批评者指出，Anthropic 无视网站的 robots.txt 协议，强行获取数据，与其宣称的“负责任的 AI”理念相悖。

维修团队 iFixit 首席执行官 Kyle Wiens 于 7 月 24 日发布推文，IT之家翻译如下：

@AnthropicAI，我知道你渴望获取数据，且 Claude 模型也非常聪明，但真的有必要 24 小时内访问我们的服务器 100 万次吗？

这些流量没有向我们付费，且占用了我们开发资源，这真的不太厚道。

我们的服务条款中已经明确禁止通过这种方式使用我们的内容，但你瞧瞧 @AnthropicAI 是怎么做的。

如果 @AnthropicAI 想要就我们内容的商业使用许可进行交流，我们愿意沟通。
评分完成：已经给 netcamel 加上 60 银元！