百度文心一言推理性能提升50倍
近日，百度智慧雲在成都舉行文心大模型技術交流會，向現場數百名企業介紹了文心千帆大模型平臺提供的完備的工具鏈，在企業應用的高頻、核心場景中，文心一言的高性能模式「文心一言-Turbo」，其推理服務性能已經提升了50倍，這將極大提升客戶的模型使用效果和效率。
反覆運算升級
百度智慧雲方面表示，文心大模型正在快速反覆運算升級。自3月開始內測兩個月以來，文心一言的推理性能已經提升10倍。目前，企業可以在文心千帆大模型平臺上申請測試「文心一言-Turbo」高性能模式。
百度集團副總裁侯震宇表示，大模型時代下，企業的創新如果要脫穎而出，不但需要智慧的算力、靈活的框架平臺、豐富的大模型體系、優質的應用方案，還需要這四者之間端到端的適配與優化，這是一個「既要、又要、還要」的端到端創新工程。
文心千帆大模型平臺是全球首個一站式企業級大模型平臺，不僅可以為企業提供包括文心一言在內的文心大模型服務，也可以提供協力廠商大模型的服務。同時，文心千帆大模型平臺還提供開發AI應用的各種工具鏈及整套環境。
百度智慧雲方面表示，作為大模型的生產平臺，文心千帆正在不斷反覆運算升級，已經升級了資料導入/任務標注、Prompt管理器、強化學習機制、大模型外掛程式產線、大模型評估、大模型壓縮等能力，還將支援更多協力廠商大模型開發和微調。
面對企業在基礎設施層面對於算力、開發框架與大模型的綜合需求，百度智慧雲還提供了國內首個全棧自研AI基礎設施「百度AI大底座」。它源自百度多年產業深度實踐積累的全要素智算基礎設施。百度AI大底座可提升千卡並行加速比至90%以上，訓練場景資源利用率70%以上，模型開發反覆運算效率提升100%以上。同時，百度AI大底座支援萬卡級大模型訓練。在資料性能方面，百度AI大底座定義了當前新一代智慧計算基礎設施的基本標準。
侯震宇表示，早在 2021年，百度智慧雲就已經在規劃全新的高性能 GPU 集群的建設，並於2022年4月落地了可以容納萬卡以上規模的IB網絡架構設計，提供單集群EFLOPS級別的算力。該集群支持了文心一言的快速面世。
首先，「百度之所以能夠首發生成式語言大模型文心一言，並持續快速反覆運算，正是基於文心千帆大模型完善高效的工具服務平臺，讓大模型的訓練反覆運算服務更簡單易用。此外，文心千帆大模型平臺之所以能力超強，可以駕馭大規模異構算力，並提供高層易用的大模型服務，是因為百度AI大底座適用於更廣泛的AI場景和科學計算場景，可以為解決一個具體問題打造專有模型。」侯震宇說。
400多個場景取得測試成效
目前已有超過15萬家企業申請文心一言內測，其中有超300家生態夥伴在400多個具體場景取得測試成效，覆蓋辦公提效、知識管理、智慧客服、智慧行銷等領域。
軟通動力CTO劉會福表示，我們非常期待在文心大模型的基礎上，開拓更多的應用實踐。目前，金融、出版、電力、律師等行業客戶已開始與軟通動力探索基於大模型的應用創新。作為文心千帆的生態夥伴，軟通動力的大模型基礎設施軟通天璿2.0 MaaS平臺已經接入文心大模型，探索打造了招聘助手、簡歷助手、面試助手、智慧客服、出版企業文創助手、律師行業AI助手等智慧應用。「我們還需要跟百度智慧雲一起做更多的應用探索，讓更多的企業和客戶融入到大模型時代。」劉會福說。
微盟在5月公佈了基於大模型的AI應用型產品WAI，可覆蓋零售商家25個實際應用場景，解決「智慧搭建、內容創作、行銷推廣、智慧洞察」等業務需求。對於為什麼選擇文心千帆大模型平臺一起合作，微盟集團研發中心技術高級總監裘皓萍總結了四點，第一是大模型海量合規的語言優勢；第二是大模型的深度以及優秀的性能；第三，文心大模型的反覆運算速度很快，能夠快速滿足各種場景需求；第四，文心大模型的指令理解能力很強，又懂行業Knowhow，還能賣萌。「未來，我們非常期待和百度智慧雲在模型精調、意圖識別等領域進一步合作。」裘皓萍說。
成都明途科技董事長肖雪松分享了如何利用文心千帆大模型平臺探索政務場景智慧應用的故事。過去，政府會議完成重要決議後，需要人工整理和下發會議紀要。現在，基於文心大模型，AI產品可以自動分析會議紀要內容，自動創建任務，一鍵下發到不同責任單位形成督辦任務。公文撰寫是政務辦公需要經常處理的工作，但不同部門公文寫法不一樣，基於文心大模型訓練後，AI智慧公文能根據使用者不同意圖，生成契合語境和風格的公文內容。肖雪松還表示，在各個行業，通過使用文心千帆大模型平臺的精調功能，行業模型可以變得更精准，應用更契合客戶需求。
