阿里雲開源多種參數及多模態大語言模型

新產品 焦點新聞

阿里雲近日宣佈開源通義千問720億參數版本Qwen-72B和18億參數版本Qwen-1.8B,在其開源人工智能(AI)模型社區ModelScope(魔搭)和AI協作平台Hugging Face上架。

此外,阿里雲開源了更多模態的大語言模型,包括預訓練的音頻理解模型Qwen-Audio及其會話微調版本Qwen-Audio-Chat,可供研究與商業用途使用。

截至目前, 阿里雲開源了多種參數規模的大語言模型,包括18億、70億、140億、720億,並開源了具有音頻和視覺理解功能的多模態大語言模型,積極貢獻開源生態和社群。

阿里雲首席技術官周靖人分享通義開源最新進展。

阿里雲首席技術官周靖人表示:「開源生態對推動大語言模型發展和AI應用落地至關重要。我們希望成為最開放的雲,讓每個人都能享受生成式AI的能力。為此,我們將繼續分享前沿技術技術,與合作夥伴共同促進開源社區的發展。」

基於超過3萬億個tokens預訓練,Qwen-72B在十項基準測試中的表現優於其他主流開源模型,其中包括衡量模型多任務準確性的大規模多任務語言理解(MMLU)基準測試、測試代碼生成能力的HumanEval基準測試以及算術問題基準測試GSM8K等。

Qwen-72B在十項基準測試中的表現優於其他主流開源模型:

Qwen-72B在十項基準測試中的表現優於其他主流開源模型

该模型還能熟練地處理各種複雜的任務,包括角色扮演和語言風格轉換,即大語言模型能扮演特定角色,並生成與該人物相符並與上下文更相關的回覆。這些功能在個性化聊天機器人等AI應用中十分重要。

企業和科研機構可以訪問Qwen-72B模型的代碼、模型權重和文檔,並免費用於研究目的。對於商業用途,月活躍用戶少於 1 億的公司可以免費使用模型。

此外,阿里雲還宣佈開源可在邊緣設備運行的18億參數大語言模型。這種輕量大語言模型可以在計算資源有限的邊緣設備上進行推理,使在手機等終端設備上部署成為可能。

較小參數版本的大語言模型對計算資源的要求較低,對於希望在使用大語言模型時選擇成本效益更高、更易於部署的個人來說非常有用。18億參數版本目前僅供研究目的使用。

為了提供能處理更多輸入格式的大語言模型,阿里雲還宣佈開源Qwen-Audio和Qwen-Audio-Chat,這兩款模型具有更強的音頻理解能力,可供研究與商業用途使用。

Qwen-Audio可以理解各種格式的文本和語音信號,包括人聲、自然聲和音樂,並輸出文本。它能執行30多種音頻處理任務,如多語言轉錄、語音編輯、音頻概要與分析等。其會話微調版本Qwen-Audio-Chat可支持基於音頻的多輪問答,並可執行多種面向音頻的任務,如感知人聲的情緒和語調。

這項成果是阿里雲向開源社區提供多模態大型語言模型的又一貢獻。今年早些時候,阿里雲宣佈推出開源大規模視覺語言模型Qwen-VL及其會話微調版本Qwen-VL-Chat,可理解視覺訊息並執行視覺任務。

自8月以來,包括Qwen-7B、Qwen-14B和Qwen-VL及其會話微調版在內的開源大語言模型在阿里雲開源AI模型社區ModelScope和Hugging Face上的下載量合計超過150萬次。ModelScope已成為中國最大的AI模型社區,擁有超過280萬活躍開發者,迄今為止模型下載量已超過1億次。