新一代語言大模型百度文心一言 全棧AI加持

人類與AI的對話已經越來越完善。百度創始人、董事長兼首席執行官李彥宏近日在發布會上展示了新一代知識增強大語言模型文心一言在文學創作、商業文案創作、數理邏輯推算、中文理解、多模態生成五個使用場景中的綜合能力，百度首席技術官王海峰解讀了文心一言的技術特性及其背後的技術積累。

厚積薄發 長期技術積累構建全棧AI技術

在人工智能時代，IT技術棧可分為「芯片層、框架層、模型層、應用層」四層，百度自2010年起開始全面佈局人工智能，是全球為數不多、進行全棧佈局的人工智能公司。從崑崙芯片、飛槳深度學習平台、文心大模型到應用，百度在技術棧的各層都有領先業界的關鍵自研技術，實現了層與層反饋，端到端優化，大幅提升效率。

在框架層，飛槳是百度自主研發的中國首個開源開放的產業級深度學習平台，包括核心框架、產業級模型庫、開發套件、工具組件，以及學習和實訓社區，能夠標準化、自動化地支撐模型生產和應用。在模型層，文心大模型包括NLP、CV、跨模態等基礎大模型，對話、跨語言、搜索、信息抽取等任務大模型，生物計算領域大模型，行業大模型，以及支撐大模型應用的工具平台，形成了基礎-任務-行業三級大模型技術體系，具備知識增強和產業級兩大特色。

王海峰認為，文心一言是百度多年技術積累和產業實踐的水到渠成，尤其是飛槳深度學習平台和文心大模型的聯合優化，為文心一言提供了堅實的技術支撐。飛槳有效支撐了大模型的靈活開發、高效訓練和推理部署。文心大模型從2019年發佈以來，已經從最初的自然語言理解大模型，發展成了跨語言、跨模態、跨任務、跨行業的能力完備的大模型平台。

核心技術加持新一代知識增強大語言模型

文心一言是新一代知識增強大語言模型，也是百度繼文心一格之後的又一個生成式AI產品，具備對話交互、內容創作、知識推理、多模態生成等能力。王海峰表示，新一代知識增強大語言模型文心一言，是在ERNIE及PLATO系列模型的基礎上研發的。它的關鍵技術包括有監督精調、人類反饋的強化學習、提示、知識增強、檢索增強和對話增強。前三項是這類大語言模型都會採用的技術，ERNIE和PLATO中已經有應用和積累，在文心一言中又有了進一步強化和打磨；後三項則是百度已有技術優勢的再創新，也是文心一言未來越來越強大的基礎。

在知識增強方面，文心一言的知識增強主要是通過知識內化和知識外用兩種方式。知識內化，是從大規模知識和無標注數據中，基於語義單元學習，利用知識構造訓練數據，將知識學習到模型參數中；知識外用，是引入外部多源異構知識，做知識推理、提示構建等等。

在檢索增強方面，文心一言的檢索增強，來自以語義理解與語義匹配為核心技術的新一代搜索架構。通過引入搜索結果，可以為大模型提供時效性強、準確率高的參考信息，更好地滿足用戶需求。

在對話增強方面，基於對話技術和應用積累，文心一言具備記憶機制、上下文理解和對話規劃能力，實現更好的對話連貫性、合理性和邏輯性。

百度構建了面向中文、服務應用、富含知識的多樣化訓練數據，對文心一言進行有監督精調，使其掌握的知識更精准，更懂中文和應用場景，並建立起人類反饋、獎勵模型和策略優化之間的飛輪機制，隨著真實用戶的反饋越來越多，文心一言的效果會越來越好，能力越來越強。文心一言融合不同類型數據和知識，自動構造提示，包括實例、提綱、規範、知識點和思維鏈等，提供了豐富的參考信息，激發模型相關知識，生成高質量結果。

王海峰強調，飛槳深度學習平台支撐文心一言效果更好、效率更高、性能更強。對於開發訓練，飛槳動靜統一的開發範式，以及自適應分布式架構，可以實現大模型的靈活開發和高效訓練。在推理部署方面，飛槳支持大模型高效推理，並提供服務化部署能力，包括計算融合、軟硬協同的稀疏量化、模型壓縮等等。如今，飛槳平台已凝聚535萬開發者，服務20萬企事業單位，基于飛槳創建了67萬個模型。

文心大模型加上飛槳深度學習平台，夯實了產業智能化基座。隨著文心一言與飛槳平台的進一步融合發展，人工智能技術和應用的研發將越來越標準化、自動化和模塊化，加速人工智能的工業大生產，同時也反哺文心一言加速迭代進化，落地更多場景和行業，為千行百業智能化升級帶來不竭動力。