傅盛的大模型，只做百億級，這是爲啥

出品｜本站科技《態度》欄目

作者｜丁廣勝

CEO永遠是最後一個知道公司倒閉的人。

這句話來自傑克·韋爾奇，他被稱爲全球第一CEO。傅盛引用表達人工智能變革的關鍵在“一把手”。

順着這個思路，傅盛希望帶着獵戶星空，在大模型時代，找到“Think Different”，服務CEO們。

他說卷的思維模式是Think Better，創新的思維是Think Different，找到不同，是他給大模型定下的路徑。

爲了教會“一把手”用好大模型，傅盛用了兩個小時，從科技史講起，高聲呼喊着：

超越OpenAI的機會一定來自大模型應用公司！未來，董事會應該考覈CEO使用AI的時長！

不做千億級大模型，百億就能用好用

傅盛希望揭穿OpenAI的“陽謀”。

“做出自己的千億大模型，就一定能取得商業上的成功嗎？如果技術沒有和產品、應用形成閉環，再多技術投入都不能形成壁壘。”

傅盛分析，現在大模型之路主流的模式，是砸錢預訓練千億級模型，微調，然後尋找應用場景。而獵戶星空AI大模型創新以Think Different思維邏輯，在已知應用場景後，再微調，然後尋找合適的模型。

“千億大模型過半凋零，私有化百億大模型百花盛開。”他作出判斷。

所以，獵戶星空的戰法，就是聚焦百億大模型，主打夠用，然後拼場景。

行業慣例，先看跑分。

傅盛說獵戶星空的跑分是“素質教育”，堅決不刷題，真真實實。並且已經達到了媲美千億大模型的能力。

具體來看，獵戶星空大模型Orion-14B，有140億參數規模，Orion-14B模型在一個龐大且多樣化的數據集上進行訓練，數據集規模達到了2.5萬億token。

這一規模不僅覆蓋了常見語言，還涵蓋了專業術語和特定領域知識，確保模型能夠理解和生成多種語境下的文本。

Orion-14B在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方測試集上，均爲同級別模型SOTA。

140億參數，以小博大。第三方OpenCompass綜合測評總分中，700億以下參數基座模型中文數據集排名第一。

實現長文本中“大海撈針”，最長可支持320K token 超長文本，一次性讀入一本小說。在三十萬文字中任意位置隨機隱藏關鍵信息，對模型進行提問，結果正確。

與此同時，通過AWQ Q4量化技術，模型大小減少70%，推理速度提升30%，可在千元級顯卡可以流暢運行，在NVIDIA RTX 3060顯卡實測，推理速度31 token/s (約每秒50漢字)。

千元級顯卡運行，這在希望儘快利用大模型降本增效的企業面前，非常有吸引力。

傅盛希望自己的業務先用起來，在機器人業務做得比較好的日韓市場，有了大模型的改造，要把人機對話“智障”的痛點給補上。從發佈的評測結果來看，日文爲JNLI等8項評測集平均得分；韓文爲COPA等4項評測集平均得分；中文英文爲OpenCompass對應語言評測集平均得分。

這還不夠，傅盛除了證明百億級“能用”，還需要證明“好用”。

他的思路是，打磨兩個方向，檢索增強生成（RAG）和Agent。

即所有基於大模型搭建好的應用，想要獲取實時數據，都需要建立在檢索增強生成（RAG）技術之上，RAG能力微調模型 （Orion-14B-RAG）使企業能夠快速整合自身知識庫，構建定製化的應用。

換句話說，獵戶星空通過針對知識邊界控制、問答對生成、幻覺控制、結構化數據提取等能力進行專項微調，要使之成爲最適合開發RAG應用的底座模型。

除了RAG，大模型應用可能拓寬的另一條重要路徑，便是Agent。傅盛說，獵戶星空大模型的Agent應用所需的五項能力包括意圖識別、首輪抽參、多輪抽參、缺槽反問、插件調用，都已經接近了GPT-4的水平。

大模型創造了人類歷史的第三個科學奇蹟年

產品之外，傅盛講述了他的思考過程。

傅盛講道，2023是人類歷史的第三個科學奇蹟年，第一次是1666年，牛頓開闢光學，創立微積分推導出引力公式，第二次是1905年，愛因斯坦發表狹義相對論、質能方程等四篇論文，第三次就是現在，2023年，GPT引領AI浪潮，技術的底層範式發生了重大變化。

“底層範式正在改變，智能和技術“涌現”，新的創新機遇開啓”，傅盛提到，AI將帶來整合社會的底層重構，只靠勤奮，沒有辦法讓自己NB起來，同質化的勤奮只會更卷，不同的道路纔可能勝出。

“卷的思維模式是Think Better，創新的思維是 Think Different”，他認爲，Think Different是創新的不二法門。

傅盛對ChatCPT出現的時刻記憶猶新，那天是2022年11月30日，他當時正在美國，ChatCPT橫空出世，震驚世界，AI進入2.0時代，徹底開啓生產力革命。

當這一切發生，傅盛不停思考，什麼纔是屬於自己的Think Different，在千家萬戶都做大模型的時候，他就在想，訓練千億大模型是必須的嗎？訓練千億大模型本質上是資本的投入，一次訓練，上千萬美金，數月週期，是不是值得？

他沒有聽團隊的勸說，最關心的點依舊放在瞭如何做場景落地。

超越OpenAI的機會來自大模型應用公司

傅盛和金沙江創投董事總經理朱嘯虎曾有過一個爭論，爭論的核心在於，大模型到底是不是創業者的機會。

傅盛堅定的認爲，硅谷已經有了人工智能應用一條街，這是屬於應用的時代，屬於創業者的機會，每個人都應該乘勢而上。

他還給出路徑，把企業用AI總結成三個段位：

第一，青銅，大家都要用。考察每個人用大模型的問句時長，每天用多少句話不達標，但發現這個更適合做文案的公司。

第二， 黃金，例如公司有一個行政文檔，員工守則、請假條例，把它灌到大模型裡，問它來公司一年，想請三天假是否可以，或者明天要出差去太原，根據公司的差旅標準，可以報銷多少錢的住宿，這一類就是今天被行業內廣泛提的“數字員工”。

第三，王者，企業全過程的經營數據由AI參與，使得AI可以直接給你提經營決策，比如今天該不該發佈一個產品，哪些費用可以被減少，哪一個地方的工作需要加強。企業最大的成本不是用工成本，而是經營錯誤的成本，所以企業要想真正用好AI，應該是全流程、全數據化，完成“數字老闆”，這件事情必須做到真正的流程重構。

傅盛的結論斬釘截鐵，超越OpenAI的機會一定來自應用創業者！

本文系本站科技原創報道，更多新聞資訊和深度解析，關注我們。