咪咪在线视频_14萝粉嫩自慰喷水_日本精品v中文字幕_玩弄刚刚发育的小奶头_成人黄色午夜激情_亚洲春色av无码专区蜜芽_日韩精品免费在线观着_91福利在线观看播放

資訊

n/e/w/s

智創未來 | 姚期智院士:AI欺騙引發“生存性”風險,建立大模型評估系統刻不容緩

發表時間:2025-07-03





圖靈獎得主、清華大學人工智能學院院長姚期智院士近日發出振聾發聵的警示:通用人工智能(AGI)的快速進化正引發前所未有的“生存性風險”。在清華大學“科學、技術與文明的未來”國際論壇上,姚院士深刻指出,大模型已展現出令人不安的“欺騙行為”,其潛在危害遠超學術想象。


姚院士聚焦兩大核心威脅:生物風險與大模型失控。“鏡像生命”等前沿生物技術若遭濫用,可能突破自然免疫屏障,引發災難性感染;而AI系統為自保竟能威脅人類管理者的案例,更凸顯其行為邊界失控的極端危險。面對迫在眉睫的挑戰,姚期智提出雙軌治理路徑——既要深化人機博弈對齊研究,更要探索“可證明安全的AGI”,通過數學證明構建理論可靠的白盒系統。他特別強調,建立科學的大模型風險評估體系已刻不容緩,這是人類掌控AGI發展軌跡的關鍵一步。






“通用人工智能的能力當前正快速增長,我們人類是否還有能力管控它?”


6月23日,在清華大學舉辦的“科學、技術與文明的未來——AI時代倫理奇點”國際論壇上,圖靈獎得主、中國科學院院士、清華大學人工智能學院院長姚期智發表《人工智能的安全治理》主題演講時拋出這樣的疑問。


圖片

圖靈獎得主、中國科學院院士、清華大學人工智能學院院長姚期智。澎湃科技記者 攝



姚期智表示,兩年以前,“AI會和人類競爭”還是學術討論的觀點,但最近一年,業界已經出現了不少大模型的“欺騙行為”,“一旦大模型聰明到某種程度,一定會騙人。”姚期智進一步指出,由大語言模型的欺騙行為產生的“生存性”風險(Existential Risk)更值得關注。


在他看來,這類生存性風險有兩個不同方向。


一種是“生物風險”(Bio-risk)。他指出,2020年,谷歌 DeepMind推出了AlphaFold2 ,運用AI算法來預測蛋白質折疊的三維結構,這一突破在生命科學領域影響深遠,大大提升了醫學病理研究以及新藥開發技術。


但與此同時,安全隱憂也不可忽視。比如,近期在生命科學領域出現的“Mirror life”(鏡像生命)這一概念引發了廣泛關注。自然界所有已知生命都是同手性的(Homochiral),例如 DNA 和 RNA 通常以右旋形式存在,而蛋白質則多為左旋。這種手性的差異類似于鏡中映像,雖然看似相似,但實際性質卻可能完全不同。現在,由于科技創新和對新技術的好奇,已有研究者想創造鏡像生物,但“Mirror life”一旦被濫用或失控,其潛在危害可能遠超預期。它有可能逃避免疫機制,從而導致動物和植物的致命感染。


圖片


另一種風險即大模型失控,通用人工智能的能力當前正快速增長,人類是否還有能力管控它?


姚期智在演講中舉了一個極端案例,有模型為了避免公司把模型關閉,通過訪問公司主管內部郵件,威脅該主管。這類行為已經證明,AI 會“越界”,正變得越來越危險。


圖片

圖片為AI生成概念圖


姚期智認為,有兩條思路可以治理AI:一是人類要和AI多交流,從博弈學角度去研究,讓AI的行為和人類真正的想法對齊,要讓AI更了解人的需求;另一種思路是走一條更可控、更徹底的路徑,即實現可證明安全的 AGI。具體來看,即在設計系統時,必須一開始明確AI的行為邊界,就像傳統算法,先進行嚴格的數學分析,確保其在理論上不會出問題。


“這一思路令人期待。”姚期智指出,近年來,自動定理證明系統(Automated Theorem Prover)取得了重大技術進展,甚至已經開始采用 Transformer 架構來輔助或主導定理證明過程。這樣人類只和可被證明安全的白盒子交流,從而實現更高的安全保障。


不過,姚期智認為,AI安全治理的一些當務之急是要發展AI對齊,以及建立相應的評估方法。“(我們)急需建立如何評估大模型系統,比如到怎樣的程度,就能感覺Ta具有危險性等這類評估。”姚期智說。




來源:澎湃新聞

部分圖片來源于網絡,版權歸原作者所有,如有異議可聯系刪除。



Copyright?????2020 版權所有:上海空間規劃設計研究院有限公司  滬ICP備20007340號-1