更強模型、更低價格、更易落地,豆包大模型日均tokens使用量超5,000 億,落地實踐再進階

(原標題:更強模型、更低價格、更易落地,豆包大模型日均tokens使用量超5,000 億,落地實踐再進階)

8月15日,2024火山引擎 AI 創新巡展·廈門站成功舉辦,會上圍繞豆包大模型的模型能力和落地應用進行全面展示。來自果集、美圖之家、衆聯世紀等客戶企業的嘉賓,於巡展現場講述瞭如何藉助豆包大模型、火山方舟、釦子專業版、HiAgent、AI 全棧雲等產品及解決方案,更好地將 AI 結合到業務之中。

火山引擎副總裁 張鑫

火山引擎副總裁張鑫在會上介紹當前大模型行業應用落地的誤區與破局之路。當前大模型的落地場景呈“百花齊放”之勢,火山引擎聯合 Rolling AI 和 InfoQ 研究中心發佈的《生成式 AI 商業落地白皮書》顯示,53%大企業已經開始了生成式 AI 創新的落地嘗試。張鑫指出,大模型和生成式 AI 將帶來交互方式、開發方式以及研發範式、效率體驗等多方面的變革,然而,AI 場景落地過程中也存在多種陷阱與誤區。爲了更好地幫助企業把握大模型和生成式 AI 帶來的機遇,火山引擎一直和企業夥伴在大模型應用方面緊密合作,在電商、教育、科研、先進製造等多個行業場景裡取得了一定的破局成果。

01.

豆包大模型、火山方舟

爲企業AI創新與落地提供有力支持

截至7月,豆包大模型日均 tokens 使用量已突破5,000億。從今年5月15日模型發佈到7月份的2個月時間內,豆包大模型的平均每家企業客戶日均 tokens 使用量增長了22倍。通過高使用量的持續打磨,豆包大模型獲得了更強的模型能力。其中,豆包通用模型pro 在多個公開評測集以及專業的第三方評測中表現出衆,是得分最高的國產大模型。

火山引擎智能算法負責人、火山方舟負責人 吳迪

火山引擎智能算法負責人、火山方舟負責人吳迪介紹,通過對模型基礎能力的持續升級,豆包大模型拓展了應用場景和功能邊界,能滿足用戶多樣化、複雜化的需求。此外,豆包大模型還給出了最高可達同梯隊模型數倍的初始每分鐘處理 tokens 限額,讓模型服務具備更強的承載力,能夠應對高併發場景。

除模型效果外,落地難度也是企業應用大模型的重要考量之一。爲滿足垂直領域需要,企業通常需要將大模型能力與業務場景需求進行適配。一站式大模型服務平臺火山方舟提供模型精調、推理、評測等全方位功能與服務,並以豐富的插件生態和 AI 原生應用開發服務,幫助企業定製化落地大模型。爲幫助企業更便捷落地大模型,火山方舟對聯網插件、內容插件、RAG 知識庫插件等優質插件升級,拓寬模型能力邊界,滿足企業多樣化需求。同時,釦子專業版能夠用低代碼方式靈活構建智能體,結合插件、工作流、圖像流、知識庫、數據庫等一系列工具的支持,幫助企業輕鬆落地 AI 應用。

福州果集 CTO 姜豪

社交媒體營銷是大模型的重點應用領域之一。福州果集是社交媒體平臺數據、產品與全鏈路服務提供商,藉助豆包大模型打造社媒數據 AI 分析平臺,完成社媒營銷數據分析的數據處理,爲客戶生成行業、產品分析報告,形成數字化洞察、幫助制定傳播策略,實現30秒實時生成社媒營銷分析報告與溯源。福州果集 CTO 姜豪指出,豆包大模型的高 TPM、高 RPM 支持,保證了果集業務的穩定性。

02.

HiAgent

助力統一、標準、安全大模型調用

當前,企業應用生成式 AI 的方案複雜度不斷增加。企業專屬 AI 應用創新平臺 HiAgent 通過低代碼的 AI 應用構建能力,滿足業務人員自主構建 AI 應用的需求,擺脫專業知識限制,實現生產力提升。

火山引擎 HiAgent 產品負責人 於鴻磊

火山引擎 HiAgent 產品負責人於鴻磊表示,HiAgent 將模型應用開發方式從代碼進化到自然語言,幫助企業業務人員快速搭建智能體;通過增強的企業級知識庫 RAG,讓知識沉澱萃取成智慧;豐富的專屬企業級特性,允許企業自定義新 AI 中臺,並支持混合部署。HiAgent 在教育、消費、公共服務、泛企業等多個行業與領域擁有豐富的落地實踐,幫助企業實現大模型能力的落地應用,加速智能化發展。

03.

AI全棧雲

爲企業打造AI應用提供堅實底座

火山引擎雲基礎產品負責人 羅浩

生成式 AI 的突破式發展,對算力提出了前所未有的高需求。火山引擎雲基礎產品負責人羅浩介紹到,火山引擎 AI 全棧雲依託與字節跳動的海量資源共池,從誕生起,所有的 IaaS、PaaS 層資源,以及推薦算法、數智平臺等中臺體系產品,都生長於同一朵雲上。數據中心、軟硬件基礎架構的統一,避免了“算力孤島”和“數據孤島”問題,結合火山引擎自研服務器、自研  DPU 卡、調度算法等技術能力,火山引擎 AI 全棧雲在性能、穩定性和成本上具備了更大的優勢。

在大模型訓練、推理場景中,火山引擎 AI 全棧雲提供大規模算力支持、超高性能網絡和存儲以及持續高可用性,同時兼顧極致成本,爲企業的 AI 創新帶來可靠保障。

更大規模:依託字節跳動的海量資源共池,支持多芯、多雲架構,擁有超大規模算力,支持萬卡集羣組網規模下的線性加速能力。

更強性能:提供超高性能網絡,支持3.2Tbps RDMA 網絡,全球網絡 POP 覆蓋廣,時延優化最高達75%;提供優質的存儲性能,文件存儲 vePFS 支持2TB/s 吞吐並行存儲、3,000萬 IOPS。

更高穩定性:提供毫秒級性能監控,智能 GPU 自愈能力,保障計算資源的穩定運行。

更優成本:提供靈活的資源使用和計費方式,自研 mGPU 容器共享方案,GPU 利用率提升100%+。

此外,火山引擎 AI 全棧雲還提供強大的彈性調度能力、一站式資源服務和全鏈路數據管理能力,助力企業高效、彈性構建 AI 訓練或推理業務,加速企業實現 AI 應用落地,釋放 AI 創新潛力。此外,火山引擎 AI 全棧雲還提供強大的彈性調度能力、一站式資源服務和全鏈路數據管理能力,助力企業高效、彈性構建 AI 訓練或推理業務,加速企業實現 AI 應用落地,釋放 AI 創新潛力。

美圖公司高級技術總監 郭晨暉

美圖公司高級技術總監郭晨暉在會上分享了 AI 驅動美圖用戶與收入雙增長的實踐經驗。美圖公司基於奇想大模型,已經將 AI 圖像、AI 視頻、AI 設計等全系產品服務與 AIGC 高度融合,並從 AI 的單點功能串聯成 AI 工作流提供場景化的服務能力。同時在火山引擎千卡 GPU 資源供應支持下,藉助豆包大模型實現 AI 內容生成、Prompt 優化以及火山引擎語音合成、語音識別、文本翻譯等通用 AI 技術爲用戶提供更好的生成能力,幫助用戶提效增收。

04.

大模型文旅解決方案發布

助文旅產業轉型創新、遊客體驗升級

會上,火山引擎正式發佈了大模型文旅解決方案。張鑫認爲,福建地區旅遊資源集中,在視頻新媒介出現之前,旅客消費行爲的遊前、遊中、遊後等步驟是分散在不同媒介形態中實現的,導致旅遊的消費行爲路徑割裂、低效。火山引擎將這些步驟在同一個媒介中實現,通過與大模型的結合,極大改變了遊客的消費行爲方式,使得從出行決策到旅程完成的行爲鏈路極速縮短。

火山引擎大消費解決方案總經理 劉振宇

火山引擎大消費解決方案總經理劉振宇介紹,豆包大模型文旅解決方案囊括了智能推薦、智能體問答、AR 體驗和文字、圖片、視頻內容生成等模型能力,以遊客爲中心,對遊客的遊覽動線進行整體規劃,涵蓋了從目的地種草到完成遊覽和遊覽結束後二次消費的全週期。

衆聯世紀董事長 林欣揚

廈門衆聯世紀是全國領先的移動互聯網高新技術企業,爲通信、金融、零售、文旅等行業企業提供一站式數字化轉型解決方案。衆聯世紀董事長林欣揚介紹到,衆聯世紀與火山引擎合作,結合豆包大模型、釦子專業版與自研核心能力,通過 AIGC 方式幫助各領域客戶提升營銷效果與效率。

生成式 AI 的行業應用浪潮如火如荼,火山引擎將持續發揮豆包大模型“更強模型、更低價格、更易落地”的優勢,結合全棧 AI 服務能力,加速企業落地 AI 能力,實現業務創新。

繼成都站、廈門站之後,2024火山引擎 AI 創新巡展的下一站將於8月21日落地上海,帶來更多 AI 創新升級,攜手企業客戶推進 AI 轉型落地。