對話無問芯穹CEO:預計3~5年內盈利,端側大模型芯片IP明年落地
智東西作者 ZeR0編輯 漠影
智東西9月3日報道,昨日,清華系AI Infra創企無問芯穹宣佈完成近5億元A輪融資,累計融資接近10億元。融資新訊公佈後,無問芯穹CEO夏立雪、無問芯穹戰略運營SVP王夢菲與智東西等媒體進行深入交流。
據透露,無問芯穹今年已有一些規模化收入,主要來自銷售算力,明年會進一步擴大市場份額。經其內部測算,無問芯穹預計將在3到5年內實現盈利。針對端側大模型和芯片佈局,其端側大模型推理處理器LPU將以IP形式,與合作伙伴做聯合的芯片發佈,計劃明年有一些落地嘗試。
談到IPO,王夢菲說,無問芯穹剛剛成立一年零四個月,所以還沒有具體的IPO計劃。無問芯穹是一個純內資結構的公司,自成立起始終秉持着完成國家大戰略的方向來努力構建能力,因此未來希望在境內IPO。
無問芯穹於2023年5月在上海成立,由清華大學電子工程系教授、系主任汪玉教授發起,汪玉的第一任博士畢業生夏立雪擔任聯合創始人兼CEO。
該公司以“釋放無穹算力,讓AGI觸手可及”爲使命,致力於成爲大模型時代首選的“算力運營商”。百度、智譜AI、聯想、小米、軟通高科等知名企業均是無問芯穹的投資方。
其業務以大模型能效優化工具包爲核心,向下聯動多家國產芯片公司,向上服務大模型算法企業(通過智算雲服務、智算一體機等方式),協同算力、算法、生態,推動行業大模型的高效落地。
一、解決算力荒難題,要把算力服務標準化
夏立雪說,無問芯穹的初心是解決國內算力不足的問題,給市場增加了一些大家原本沒有用好、或者沒有想到可以用的算力資源,幫助合作伙伴節省算力資源佔用情況,並提高新建AI基礎設施的易用性和平臺能力。
例如,無問芯穹已幫助一家互聯網客戶將一個大模型推理場景的算力成本降低90%。
據王夢菲分享,目前市場上是M種模型與N種芯片共存的生態,彼此適配會帶來很多不便捷,要將算力變成像水電煤一樣的標準資源,中間需要運營商的角色。
她解釋道,無問芯穹自我介紹時之所以會選擇“算力運營商”,而不是“AI Infra”,是因爲其團隊認爲國內AI Infra往往被理解爲單點優化工具或軟件,但過往很多實踐證明這類商業模式存在一些難題,客戶真正想要的是一種已經優化完善、即插即用的算力服務。
因此,無問芯穹將工作定位爲一步到位地滿足客戶需求,減少他們對技術細節差異的理解負擔。
“我們希望的是致力於把算力做到足夠的標準化,降低客戶使用算力的難度和門檻。這也是我們跟市面上其他AI Infra的一些初創公司從願景上的區別。”王夢菲說。
“我們並不刻意強調在某一子技術領域的獨特能力或與他人的差異。”夏立雪補充道,無問芯穹作爲運營商,持續吸納並整合最前沿的技術,核心目標是提升用戶的使用體驗,通過優化易用性和降低成本,來不斷拓展市場規模。
在他看來,無問芯穹擁有的軟硬件協同優化、多芯片統一調度等優勢,只是實現目標的環節之一,最終打通產業鏈上下游纔是公司的核心價值。
二、商業模式類同雲廠商,預計3~5年內規模化盈利
王夢菲談道,無問芯穹當前是一個比較輕資產運營的公司,上游主要是智算中心,與雲廠商的關係以合作爲主。
其做算力運營的商業模式非常清晰,與雲廠商類似,有算力納管的IaaS層、算力運營和調度的PaaS層、面向應用廠商的MaaS層,包括如何去上游整合資源、將技術能力轉換爲標準化產品、進行單位化定價和售賣,盈利能力與AI市場繁榮程度以及公司的市場份額高度掛鉤。
與做大模型、做芯片的企業相比,無問芯穹不是一個特別燒錢的公司。據王夢菲透露,通過謹慎測算,無問芯穹預測將在3到5年內能夠規模化地實現盈利。
據無問芯穹此前披露,其基於多元芯片算力底座打造的Infini-AI異構雲平臺,向下兼容多元異構算力芯片,現已運營的算力覆蓋全國15座城市。
自平臺上線以來,已有Kimi、LiblibAI、獵聘、生數科技、智譜AI等多個大模型行業頭部客戶在Infini-AI異構雲平臺上穩定使用異構算力,並使用無問芯穹提供的大模型開發工具鏈服務。
三、煉出千卡異構混訓系統,支持6種AI芯片兩兩組合
夏立雪說,目前國內很多算力、硬件沒有被很好地發揮出效能,因此無問芯穹重點攻關MxN核心技術,讓不同模型能在各類硬件上高效部署,在算法與算力之間形成最佳軟硬件優化協同。
無問芯穹在今年7月發佈了大規模異構分佈式混合訓練系統HETHUB。這是業內首次在華爲昇騰、天數智芯、沐曦、摩爾線程、AMD、NVIDIA共6種AI芯片組合間實現了千卡規模的異構算力混合訓練,集羣算力利用率最高達到97.6%,平均高出基準方案約30%。這意味着在相同的多元芯片機房條件或者集羣條件下,無問芯穹可將訓練總時長壓縮30%。
混合訓練是指多種AI芯片同時訓練一個大模型。無問芯穹做到了6種芯片中任意兩種組合混訓,每一張卡之間都緊密配合,只用大約1個月就能完成一個綜合的大模型訓練,所用時長顯著少於其baseline所需的兩到三個月。
夏立雪告訴智東西,異構混合訓練需求主要來源於三類客戶:
第一,以一些有政企背景的客戶爲主,自建有地方集羣,同時要考慮支持國產卡,需要藉助混訓能力來將集羣效率發揮到極致。
第二,已經在用多種算力資源的客戶。國內高質量算力資源有限,很多集羣使用了先進算力+國產算力的組合。一些大模型客戶已使用這樣的集羣,使用方式是把不同的硬件拆成了兩個集羣來使用。
第三,偏研究型的單位,同樣有異構混訓需求。
他進一步解釋說,要實現異構集羣高效配合,需攻關很多技術難點來保證效率和穩定性,使集羣效果能夠達到商業化水平。
其難點首先在於不同的卡有不同的算子庫,每一個卡跑起來有很多技術實例,而無問芯穹能夠把不同的模型和硬件直接連接;其次是對GPU性能的預測,通過任務拆分,讓這些硬件能夠各司其職,並在通信上實現很好地協調。這些都是無問芯穹團隊所擅長的、所積累的硬核技術。
“我們把這個硬骨頭啃下來,爲的是能夠通過這樣的方式,讓更多的人能夠把沒有被用好的異構算力用起來,從而真正讓未來大模型領域有充裕的算力可以被使用。”夏立雪說。
結語:與國內硬件廠商、大模型公司密切合作
目前無問芯穹與部分國內硬件廠商、大模型公司均有深入合作,一方面能跟進模型快速變化,另一方面能提供適配於未來需求的、更好用的算力資源。
據夏立雪分享,無問芯穹首先會服務好做大模型訓練的客戶,因爲它們的算力消耗量相對更大,同時也會針對一些未來有發展潛力的AI應用場景做足技術儲備。