AI智能體失控,它把Meta安全總監(jiān)的200多封郵件刪了
作者:呂倩
一家科技大廠的安全總監(jiān),被一款A(yù)I Agent產(chǎn)品刪除大量郵件,如此戲劇性的事件正在如今的AI行業(yè)內(nèi)發(fā)生。
2月23日,Meta超級(jí)智能實(shí)驗(yàn)室AI對(duì)齊與安全總監(jiān)Summer Yue(以下簡(jiǎn)稱Yue)發(fā)文表示,沒(méi)有什么比命令OpenClaw“確認(rèn)后再操作”、然后眼睜睜看它以極快速度刪除收件箱這件事更令人崩潰的了。“我根本無(wú)法在手機(jī)上阻止它,只能像拆炸彈一樣沖到我的MacMini前!
OpenClaw作為近幾個(gè)月內(nèi)大熱的AI Agent產(chǎn)品,吸引大量從業(yè)者與開(kāi)發(fā)者上手嘗試,Yue也為自己的電子郵箱部署了OpenClaw智能體,用來(lái)批量處理郵件。據(jù)她介紹,Yue向OpenClaw提出的具體指令為:“也檢查一下這個(gè)收件箱,并提出你想歸檔或刪除的郵件,在我指示之前不要執(zhí)行任何操作!边@種方法在測(cè)試版收件箱上運(yùn)行良好,但真實(shí)郵箱太大,觸發(fā)壓縮機(jī)制,導(dǎo)致OpenClaw丟失了最初的指令。
Yue上傳的溝通記錄顯示,她多次下達(dá)“Do not do that”“Stop dont do anything”“STOP OPENCLAW”等指令,均未能阻止OpenClaw的刪除動(dòng)作,直至最后強(qiáng)制終止進(jìn)程,而OpenClaw已刪掉了200多封郵件。
Yue的帖子在網(wǎng)絡(luò)端引發(fā)爭(zhēng)議,有網(wǎng)友認(rèn)為該帖純屬博人眼球,因?yàn)楫?dāng)真正重要的郵件要被刪除時(shí),用戶不會(huì)去打出復(fù)雜的指令,而只會(huì)打出“STOP”,同時(shí)OpenClaw就會(huì)停止。也有網(wǎng)友稱,自己使用Claude Sonnet4.5時(shí)也遇到此類情況,Agent將GitHub與未提交的文件都搞壞了。
一位軟件行業(yè)開(kāi)發(fā)者質(zhì)疑稱:“你是安全與對(duì)齊專家,你是故意測(cè)試OpenClaw的安全邊界還是犯了一個(gè)新手錯(cuò)誤?”Yue回應(yīng)稱:這確實(shí)是新手才會(huì)犯的錯(cuò)誤。事實(shí)證明,即使是AI對(duì)齊專家也會(huì)犯錯(cuò)。雖然在模擬收件箱里運(yùn)行順利,但實(shí)際運(yùn)行完全不同。
作為OpenClaw創(chuàng)始人,Peter Steinberger也在帖子評(píng)論區(qū)進(jìn)行了回復(fù)。他稱,“我認(rèn)為你發(fā)這個(gè)帖子很棒,那些指責(zé)你的人很傻。這是很好的學(xué)習(xí)機(jī)會(huì),而且任何人都可能遇到這種情況!蓖瑫r(shí),Peter也提出優(yōu)化方向,包括在未來(lái)版本中增加更多表達(dá)方式等。
2月24日下午,Peter發(fā)布OpenClaw測(cè)試版本,更新重點(diǎn)聚焦于安全性與漏洞修復(fù),并加入一些其他的小功能,包括Kilo提供商(OpenAI兼容的API網(wǎng)關(guān))與Kimi視覺(jué)與視頻支持。
安全問(wèn)題是OpenClaw爆火以來(lái)最受質(zhì)疑的痛點(diǎn),也是Peter持續(xù)投入的方向之一。此前360漏洞研究院分析認(rèn)為,在OpenClaw的典型個(gè)人部署場(chǎng)景下,用戶可能會(huì)因缺乏相應(yīng)的安全運(yùn)維經(jīng)驗(yàn),使得其遭遇各類網(wǎng)絡(luò)攻擊的威脅。
今年2月7日,OpenClaw宣布與全球頭部威脅情報(bào)平臺(tái)VirusTotal(現(xiàn)歸Google旗下)合作,將安全掃描功能加入OpenClaw的技能市場(chǎng)ClawHub中,使所有發(fā)布到ClawHub的技能都采用VirusTotal的威脅情報(bào)掃描,為OpenClaw社區(qū)提供額外的安全層。
Peter團(tuán)隊(duì)表示,OpenClaw的巨大實(shí)用性伴隨著巨大的責(zé)任。如果操作不當(dāng),AI Agent會(huì)成為負(fù)擔(dān)。因此,OpenClaw接下來(lái)會(huì)發(fā)布生態(tài)系統(tǒng)全面威脅模型、追蹤防御工程目標(biāo)的公共安全路線圖、涵蓋整個(gè)代碼庫(kù)的安全審計(jì)詳細(xì)信息、帶有定義SLA(服務(wù)等級(jí)協(xié)議)的正式安全報(bào)告流程等。
Peter此前在采訪中表示,要打造易用的AI智能體,需要更廣泛的改變,需要更深入地思考如何安全地去做,也需要接觸最前沿的模型與研究成果。安全問(wèn)題會(huì)被他置于模型易用性之前。
本網(wǎng)站所刊載信息,不代表中新經(jīng)緯觀點(diǎn)。 刊用本網(wǎng)站稿件,務(wù)經(jīng)書面授權(quán)。
未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制及建立鏡像,違者將依法追究法律責(zé)任。
[京B2-20230170] [京ICP備17012796號(hào)-1]
[互聯(lián)網(wǎng)新聞信息服務(wù)許可證10120220005] [互聯(lián)網(wǎng)宗教信息服務(wù)許可證:京(2022)0000107]
違法和不良信息舉報(bào)電話:18513525309 報(bào)料郵箱(可文字、音視頻):zhongxinjingwei@chinanews.com.cn
Copyright ©2017-2026 jwview.com. All Rights Reserved
北京中新經(jīng)聞信息科技有限公司