騰訊混元Large模型全面開源！騰訊雲TI平臺支持一鍵精調與推理

來源：信陽新聞網

11月5日，騰訊混元宣佈最新開源的MoE模型“混元Large”和圖文生3D模型正式上線。騰訊雲TI平臺也宣佈同步開放接入，爲廣大用戶、開發者提供一站式精調、API調用及私有化部署服務。

混元Large模型擁有3890億總參數量、520億激活參數量，並支持256K上下文長度，是目前業界參數規模最大、性能領先的開源MoE模型。基於MoE（Mixture of Experts）結構的優越性，混元Large在推理速度和參數規模之間取得平衡，顯著提升了模型的處理能力。測試結果顯示，混元Large在CMMLU、MMLU、CEval、AGIEval等多學科評測集以及中英文NLP任務、代碼、數學等9大維度表現出色，超越Llama3和Mixtral等主流開源模型。

騰訊雲TI平臺在國內首批完成混元大模型的適配和上架，爲企業和開發者提供一鍵精調和推理服務，進一步擴展了騰訊雲在大模型領域的生態佈局，爲產業智能化升級提供了強有力的技術和平臺支持。騰訊混元大模型之外，目前平臺也已廣泛接入了Llama 3、Baichuan等市場主流開源大模型，支持快速發起訓練任務或部署推理服務，使用流程簡單、開發效率高。

實戰導向的大模型精調工具鏈，提升企業業務效能

騰訊雲TI平臺致力於打造實戰型大模型精調工具鏈，幫助用戶訓練出符合業務需求的高效模型，縮短開發週期並提升研發效率。平臺支持靈活的數據準備和標註流程，並提供一鍵啓動精調和推理任務的功能，大幅簡化企業級用戶的操作流程。

精調之前的數據準備從繁瑣的數據清洗到耗時的數據標註都需要一個高效的工具平臺，一份高質量的訓練數據對精調模型達標起着至關重要的作用。騰訊雲 TI 平臺沉澱了優圖算法專家清洗大模型訓練數據的優質Pipeline，支持開箱即用。平臺面向大語言模型和多模態大模型的標註工具非常靈活，基於數據集 Schema，可完全自定義工作臺，支持的大模型標註場景包括但不限於高質量文本問答對篩選、文本數據清洗、圖片問答對審覈/修改、圖片問答競品評測、圖片多輪問答、多模態閱讀理解、圖片文本描述等所有文生文、圖生文類的場景。騰訊雲TI 平臺具備卓越的雲原生特性，對接用戶的雲文件系統後，無需數據拷貝，標註結果直接保存在原文件路徑。

在精調訓練階段，騰訊雲TI平臺內置了騰訊混元模型及其他主流開源模型，用戶可以一鍵發起精調任務。通過硬件容錯、容器調度、任務斷點續訓的三層保障機制，平臺確保大規模訓練任務的穩定性。另外，藉助騰訊自研的Angel加速機制，騰訊雲TI平臺整體提升了訓練性能30%，不僅加快了混元大模型的精調過程，還有效降低了資源消耗。

與此同時，騰訊雲TI平臺還提供了一整套完善的模型評測工具，包括在線輕量體驗、客觀評測以及主觀評測。這些評測功能讓企業能夠根據實際業務需求，對模型效果進行全方位的驗證，確保在應用場景中的高效表現。

全面適配國產算力，滿足異構計算需求

目前，騰訊雲TI平臺已完成對國產計算卡的適配，有效滿足了相關企業對安全性和獨立性的高標準要求。

在適配過程中，騰訊雲憑藉騰訊優圖實驗室在相關訓練方面的豐富經驗，成功應對了千卡規模集羣中的多項技術挑戰。最新支持異構算力的統一納管，實現了ARM架構和X86架構芯片服務器算力資源可通過一個控制檯進行統一納管，在當下算力資源緊張的情況下，幫助客戶最大限度整合現有資源。

通過優化系統架構和技術流程，騰訊雲TI平臺有效解決了性能、兼容性等關鍵問題，確保了混元大模型在國產硬件上的流暢運行，保障用戶在自主可控環境中仍然可以獲得卓越的算力和推理性能。

推動大模型生態建設，助力行業智能化轉型

混元大模型成功上架騰訊雲TI平臺，標誌着騰訊雲在大模型生態建設上邁出全新一步。目前，騰訊在大模型領域已經構建了一套全鏈路產品矩陣，涵蓋從底層豐富基礎設施到頂層多元智能應用。包括自研通用大模型、模型開發平臺、智能體開發平臺，以及針對不同場景定製的智能應用解決方案等。通過這些產品和方案，致力於助力企業客戶高效地將大模型技術應用到實際業務場景中，實現快速部署和價值創造。

在醫療行業，騰訊雲攜手上海市數字醫學創新中心，共研醫學大模型，目前在瑞金醫院實現了總檢報告和電子病歷生成等相關項目的落地應用。以體檢報告生成爲例，平均每5秒即可自動生成一份總檢報告，爲醫生節約50%+的撰寫時間。

在文娛行業，閱文集團一直利用大模型能力持續提升其用戶寫作和插圖製作效率，但面臨模型迭代快、更新複雜和推理成本高昂等問題。騰訊雲TI平臺的應用簡化了模型訓練配置，通過加速框架提升了推理速度，同時提供了易於使用的管理工具，助力持續解決上述難題。

大模型時代，算力、網絡、數據構成了底層基礎設施的“鐵三角”。除了提供一站式AI大模型服務之外，騰訊雲還爲客戶提供了HCC高性能計算集羣、星脈高性能計算網絡以及向量數據庫等基礎設施服務。

不斷爲千行百業打造行業大模型解決方案的同時，騰訊雲也在積極參與行業大模型標準的制定。在金融領域，騰訊雲與信通院合作，發佈了國內首個金融行業大模型標準，爲智能化發展和大模型的安全合規提供了支持；在醫療健康領域，騰訊參與編寫的《人工智能大模型賦能醫療健康產業白皮書（2023年）》已發佈，旨在推動醫療健康大模型的發展並提出標準建議。

與此同時，騰訊還被選舉爲全國信標委人工智能分委會委員兼副秘書長單位，作爲核心成員，承擔了更多標準制定工作以及技術引領作用。未來，騰訊雲將持續優化技術，推動大模型生態建設，加速千行百業應用落地，爲各行業的數字化轉型提供有力支持。