【環球網科技綜合報道】6月29日，據多家外媒消息，亞馬遜網絡服務（AWS）已正式對人工智能搜索初創公司Perplexity AI展開調查，起因是後者被指控未經網站所有者同意，使用託管在AWS服務器上的爬蟲程序抓取數據，且涉嫌違反robots.txt排除協議。

robots.txt協議作爲一種網絡標準，由網站管理員設置，旨在告知網絡爬蟲哪些頁面可以被訪問，哪些則禁止抓取。儘管遵守該協議是自願的，但長期以來，各大搜索引擎和知名公司的爬蟲程序普遍遵循這一標準。然而，近期有指控稱，Perplexity AI的爬蟲程序卻選擇了忽視。

根據《Wired》雜誌的報道，其調查團隊發現了一臺託管在AWS服務器上的虛擬機，該機器使用的IP地址爲44.221.181.252，在過去三個月內多次訪問並抓取了Condé Nast旗下資產的內容，包括《Wired》雜誌本身。此外，《衛報》、《福布斯》和《紐約時報》等媒體也報告了類似情況，指出該IP地址多次訪問其出版物內容。

爲驗證Perplexity AI是否確實在抓取內容，《Wired》雜誌將文章標題或簡短描述輸入Perplexity的聊天機器人進行測試。結果顯示，聊天機器人返回的內容與原文措辭高度相似，且引用極少，進一步加劇了對其違規行爲的質疑。

面對指控，Perplexity AI方面表示已回應亞馬遜的詢問，並否認其爬蟲程序故意繞過robots.txt協議。公司發言人Sara Platnick強調，PerplexityBot在AWS上運行時尊重robots.txt文件，並確認公司控制的服務不會違反AWS服務條款進行爬蟲活動。然而，她也承認，在特定情況下，即用戶輸入特定URL時，PerplexityBot會忽略robots.txt協議。

Perplexity AI首席執行官Aravind Srinivas則指出，公司確實使用了第三方網絡爬蟲程序，而Wired所識別的違規爬蟲可能正是其中之一。他否認公司“無視機器人排除協議並就此撒謊”，但承認公司在數據處理和引用來源方面存在改進空間。

值得注意的是，路透社最近的一份報告指出，Perplexity AI並非唯一一家繞過robots.txt文件收集內容以訓練大型語言模型的人工智能公司。然而，亞馬遜的調查目前似乎僅針對Perplexity AI展開。

亞馬遜發言人向《連線》雜誌表示，AWS服務條款明確禁止客戶使用其服務進行任何非法活動，且客戶有責任遵守條款和所有適用法律。此次調查旨在確認Perplexity AI是否存在違規行爲，並根據調查結果採取相應措施。