周伯文：AI安全提升遠落后于性能 需探索人工智能45度平衡率

7月4日消息（趙婷婷）7月4日，2024世界人工智能大會暨人工智能全球治理高級別會議-全體會議在上海世博中心舉辦。會上，上海人工智能實驗室主任、首席科學家、清華大學惠妍講席教授周伯文發(fā)表主題演講，分享了關于人工智能技術發(fā)展和安全治理的見解。他提出一個技術主張——探索人工智能的45度平衡率。

當前，以大模型為代表的生成式人工智能快速發(fā)展，但是人力不斷提升，模型應用存在一系列潛在風險顧慮。去年5月份，數(shù)百名AI科學家共同簽署文件表達了對AI風險的擔憂，呼吁、防御人工智能風險應該與流行病、核戰(zhàn)爭與其他大規(guī)模風險一樣成為全球優(yōu)先議題。

周伯文指出，其根本原因是目前AI發(fā)展是失衡的。目前AI技術能力提升，Transformer帶來的模型基礎下，大數(shù)據(jù)、大參數(shù)量的定理呈指數(shù)級增長；而安全標識、安全賦能與評估測量等，呈現(xiàn)離散化、碎片化且后置的特性。

最近的一些技術兼顧了性能和安全性，人類反饋強化學習、超級對齊等，這些方法幫助將人類偏好傳遞給大模型，涌現(xiàn)出了ChatGPT、GPT4，以及上海書生大模型等。雖然瞄準安全提升，往往還是性能優(yōu)先。

所以，總體上AI模型安全的提升還遠遠落后于性能，這種失衡的背后是兩者投入上的巨大差異，安全度投入遠落后于AI投入，“目前世界上只有1%對齊或者安全優(yōu)先考量?！?/p>

“AI要確保安全可控，統(tǒng)籌發(fā)展以安全。所以毫無疑問，要避免現(xiàn)在這類AI發(fā)展，真正需要追求的是AGI（通用人工智能）。AGI需要兼顧安全與性能，所以需要找到AI安全優(yōu)先，但又能保證AI能力長期發(fā)展的技術體系，把這樣一種技術思想體系叫做‘AI45度平衡率’。”

“AI45度平衡率”是指長期來看，要大體上沿著45度安全與性能平衡發(fā)展。平衡是指短期內可以有波動，但不能長期低于45度，也不能長期高于45度，這樣會阻礙技術和產(chǎn)業(yè)應有發(fā)展。45度平衡的技術體系要求強技術驅動、全流程優(yōu)化、多主體參與，以及敏捷治理。

周伯文提到，實現(xiàn)“AI45度平衡率”，也許有很多技術路徑。而上海探索一條以因果為核心的路徑，并將其命名為“可信AGI‘因果之梯’”。其分為泛對齊、可干預、能反思三個遞進階段。

泛對齊主要包含當前最前沿人類偏好對齊技術，但需要注意的是。這些安全對齊技術目前僅依賴于其相關性，而不是真正的因果關系，可能導致錯誤的推理和潛在的危險；

可干預包含AI系統(tǒng)進行動態(tài)干預，探究其因果安全技術，包括人在回路，機器可解釋性和剛剛最近提出的對抗演練。可以通過提高可解釋性和泛化性來提升安全性，同時也提升AI的能力；

能反思要求AI系統(tǒng)不僅追求高效的執(zhí)行任務，還能夠審視自身行為的外在影響和潛在風險，從而確保性能同時保證安全和道德邊界不被突破，這階段技術包括基于價值的訓練、因果可解釋性、推理等。

周伯文指出，目前從全球來看，AI安全和性能技術發(fā)展主要停留在第一階段，部分在嘗試第二階段，真正實現(xiàn)AI安全與性能平衡必須完善第二階段，并勇于攀登第三階段。沿著“可信AGI‘因果之梯’”乘勢而上，希望能夠實現(xiàn)AI卓越與安全完美融合，并且深度理解AI內在機理和內在過程，從而有效開發(fā)革命性技術。

“我們堅信AI安全性也是全球性公共福祉，需要國際社會共同努力和合作。我們要與大家攜手推進‘AI45度發(fā)展’，共享AI安全技術，加強全球AI安全人才的交流與合作，平衡AI安全與能力的投入，共同構建開放、安全的通用人工智能創(chuàng)新生態(tài)和人才發(fā)展環(huán)境。”他最后說道。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。