AI独角兽视共识于无物，互联网公地悲剧即将上演

热门资讯 2025年08月08日 12:22 1 admin

去年AI研究公司Epoch AI曾经做出预测，到2028年互联网上所有高质量的文本数据都将被使用完毕，AI业界将会撞上“数据墙”（data wall)。而急于获得更多数据来训练更强模型的AI厂商与待价而沽数据拥有者之间的博弈，更堪称是过去两年间互联网世界最有看点的斗争之一。

当斗争日趋激烈，互联网世界过去二十余年建立的一系列准则就被弃之如敝履，曾经大家熟悉的一切似乎都变成了过去式。日前，知名云服务提供商Cloudflare发布博客文章，指控AI搜索独角兽Perplexity在网站已明确标注禁止AI爬虫抓取的情况下仍进行抓取，并采用了多种不同的方式来绕过防火墙、以隐匿其抓取行为。

Cloudflare在博文中指出，相关网站已经在robots.txt中声明禁止Perplexity的爬虫抓取内容，但他们发现Perplexity并没有遵守这一规范。甚至在相关网站检测到Perplexity爬虫或其爬虫所属的ASN（自治系统号）时，选择返回HTTP 403，即服务器理解了本次请求、但拒绝执行该任务的方式来阻止Perplexity爬虫访问。

据悉，Perplexity的做法是更换用户代理（UA），而后者则代表用户进行网络活动的软件实体，它可以是任何能够发起网络请求的软件。用户代理的主要作用是向服务器发送请求，并接收、解析服务器返回的响应，可被视为是一张“网络身份证”。而Perplexity则会将自己的爬虫伪装成Chrome UA来躲避网站的拦截，即在网站面前冒充Chrome。

为了帮助自家客户免遭Perplexity爬虫的骚扰，Cloudflare宣布将后者从已验证的机器人列表中删除。对此，Perplexity公司发言人Jesse Dwyer直接否认了Cloudflare的说法，并宣称Cloudflare的行为就是在推销自己的服务，其博文中的截图显示没有内容被Perplexity爬虫访问，甚至提及的爬虫都不属于他们。

不得不说，Perplexity的公关水平相当在线。但作为一家知名的AI搜索独角兽，Perplexity在使用爬虫不合理抓取内容上，称得上是前科累累。早在去年春季，AWS就曾宣布对Perplexity展开调查，原因是后者被指控未经网站所有者同意，使用托管在AWS服务器上的爬虫程序抓取数据，且涉嫌违反robots.txt协议。

随后在今年6月，英国广播公司（BBC）也向Perplexity发出法律信件，以遏制Perplexity未经授权抓取其内容的行为。如果只是Cloudflare指责也就罢了，在云服务商AWS、新闻机构BBC都先后站出来的情况下，Perplexity的爬虫未经授权抓取内容几乎是板上钉钉的事情了。

面对这一不利局面，Perplexity的做法相当聪明，他们并没有选择澄清，而是攻击Cloudflare别有二心、并非急公好义。不久前Cloudflare宣布推出Pay Per Crawl平台，为内容创作者和AI厂商提供了一个数据交易的场所，同时他们还向用户提供阻止AI爬虫的机制。

不难看出，面对AI厂商无孔不入的爬虫，Cloudflare也想在这个乱局中分到一杯羹，来赚反AI爬虫的钱。作为一个向网站提供数据安全服务的公司，Cloudflare想要让更多网站使用他们的服务，如今还有什么是比渲染AI爬虫的威胁更有效呢？所以Perplexity就是抓住了这一点，使用了“共沉沦”的手段来减轻外界对自己的负面观感。