百度王海峰披露飛槳生態開發者數量達800萬
近日,由深度學習技術及應用國家工程研究中心主辦的WAVE SUMMIT深度學習開發者大會2023在北京舉行。百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰做主題演講時表示,大語言模型具備了理解、生成、邏輯、記憶等人工智慧的核心基礎能力,為通用AI帶來曙光。
飛槳開發者數已達800萬 模型數超80萬
WAVE SUMMIT深度學習開發者大會始於2019年4月。王海峰在首屆大會上提出,深度學習具有很強的通用性,並具備標準化、自動化和模組化的工業大生產特徵,推動人工智慧進入工業大生產階段。四年來,深度學習技術和應用的發展充分驗證了這一觀點。深度學習技術的通用性越來越強,深度學習平臺的標準化、自動化和模組化特徵越來越顯著,而預訓練大模型的興起,使得人工智慧應用的深度和廣度進一步拓展。人工智慧已進入工業大生產階段。
標準化方面,框架和模型聯合優化,多硬體統一適配,應用模式簡潔高效,大幅降低人工智慧應用門檻;自動化方面,從訓練、適配,到推理部署,提升人工智慧研發全流程效率;模組化方面,豐富的產業級模型庫,支撐人工智慧在廣泛場景的便捷應用。
據瞭解,得益於飛槳產業級深度學習開源開放平臺和文心大模型的互相促進,飛槳生態愈加繁榮,已凝聚800萬開發者,服務22萬家企事業單位,基於飛槳創建了80萬個模型。王海峰闡釋了飛槳開發者社區AI Studio中文名「星河社區」的雋永含義,「文心加飛槳,翩然赴星河」。和所有的開發者一起,在飛槳和文心的加持下,共建星河社區,共赴通用人工智慧的星辰大海。
王海峰表示,人工智慧具有多種典型能力,理解、生成、邏輯、記憶是其中的核心基礎能力,這四項能力越強,越接近通用人工智慧,而大語言模型具備了這四項能力,為通用人工智慧帶來曙光。
具體而言,人工智慧的典型能力如創作、程式設計、解題、規劃等都依賴于理解、生成、邏輯、記憶等核心基礎能力,依賴程度有所不同。以解題為例,從讀懂題目、解答題目到最後寫出答案,需要理解、記憶、邏輯及生成能力的綜合運用。
如何獲得這些能力呢?以文心一言為例,首先從數萬億資料和數千億知識中融合學習得到預訓練大模型,在此基礎上採用有監督精調、人類回饋的強化學習和提示等技術,並具備知識增強、檢索增強和對話增強等技術優勢。
進一步地通過多種策略優化資料來源及資料分佈、基礎模型長文建模、多類型多階段有監督精調、多工自我調整有監督精調、多層次多細微性獎勵模型等技術創新,全面提升基礎通用能力。在檢索增強和知識增強的基礎上,通過知識點增強,提升對世界知識的掌握和運用;通過大規模邏輯資料構建、邏輯知識建模、多細微性語義知識組合以及符號神經網絡,提升邏輯能力;通過構建資料、內容、模型和系統安全的全面安全體系,保障大模型的安全性。
效率方面,通過飛槳端到端自我調整混合並行訓練技術以及壓縮、推理、服務部署的協同優化,文心大模型訓練速度達到原來的3倍,推理速度達到原來的30多倍。
應用方面,通過資料驅動、提示構建,以及外掛程式增強進行場景適配,協同優化。文心一言已上線百度搜索、覽卷文檔、E 言易圖、說圖解畫、一鏡流影五大外掛程式,使模型具備生成即時準確資訊、長文本摘要和問答、資料洞察和圖表製作、基於圖片的創作和問答、文生視頻等能力。外掛程式機制擴展了大模型能力邊界,更適應場景需要。王海峰表示,未來百度將與開發者共建外掛程式生態,共用技術創新成果。
以大語言模型為代表的人工智慧正在深入千行百業,加速產業升級和經濟增長。在這個進程中,技術創新和應用落地形成良性迴圈,理解、生成、邏輯、記憶等能力持續提升,產業應用的廣度和深度持續拓展,大語言模型為通用人工智慧帶來曙光。