Pika融資、快手上線可靈,蘋果的AI產品爲何“燒冷竈”?

蘋果公司(AAPL.US)WWDC開發者大會上推出了名爲Apple Intelligence的AI產品,然而當日股價收盤跌1.91%。有趣的是,6月11日Wind數據中的Sora指數(8841756.WI)漲1.55%。

爲什麼會有這樣的區別?

蘋果選擇了避開當下正熱的視頻大模型,推出的AI相關更新更多側重文字領域,而國內概念股的漲幅與近期文生視頻大模型熱度又起緊密相關。國外如明星AI視頻生成公司Pika完成新一輪融資,總額8000萬美元的B輪融資後,公司估值將超過4.7億美元。國內如快手(1024.HK)“可靈”視頻生成大模型正式上線,採用了與Sora相似的技術路線。

在多位行業人士看來,蘋果聚焦AI文字而非視頻領域的整合,更多出於成本與實用性等方面的考量。

蘋果避開Sora“戰局”

蘋果推出的內置大語言模型可讓iPhone、iPad和Mac理解並生成語言和圖像。Siri通過接入ChatGPT,具有了語義檢索功能,可以智能搜索照片、日曆、文件和郵件等內容,還可以免註冊使用大部分ChatGPT的功能。

天風國際證券分析師郭明錤發佈簡評稱,蘋果新發布的Apple Intelligence套件展現了生態整合與界面設計優勢,對使用者很實用,但對投資人只是錦上添花,後者期待看到原創且非用不可的功能。

面壁智能首席研究員韓旭對記者表示,從接入操作系統的角度來看,蘋果主要需要AI來理解人的意圖和調用系統層面的接口,這些需求和Sora的出發點不完全一致,但與多模態輸入文本輸出的大模型較爲匹配。Sora這類生成圖片或視頻的模型,目前還是和軟件尤其是視覺處理軟件結合比較合適。

爲什麼蘋果沒有加入Sora的“戰局”?

一位AIGC視頻應用廠商人員對記者表示,從產品思維和經營角度來講,蘋果只會落地相對比較成熟,且投入產出比能見度更加可觀的領域。在手機硬件交互的層面,文字的使用場景更多,從研發投入到實際推理成本方面來講,該領域對蘋果目前的技術積累而言也相對更有性價比。

另一位行業技術人員表示,今天的LLM服務(大型語言模型服務)在文字領域基本實現保本,文生圖領域不一定,文生視頻領域一定會虧損。這也是這次蘋果WWDC大會暫時沒有整合視頻AIGC能力的重要原因。

相對於蘋果公司的動作,國內大模型賽道目前對視頻領域寄予厚望。今年4月,清華大學人工智能研究院副院長、生數科技聯合創始人兼首席科學家朱軍教授代表清華大學與生數科技,發佈中國首個視頻大模型Vidu,不久前,快手上線的視頻大模型“可靈”也引發了一定程度的熱議。

記者將Sora代表視頻文案作爲提示詞,輸入快手“可靈”,進行生成視頻對比,以“東京街頭女郎漫步”爲例,當時Sora視頻存在女郎走路過程中存在腿部變形、腿部交叉換位時錯亂、右腿連續兩次在前方邁步等錯誤。快手“可靈”也存在類似問題。

天風證券認爲,快手3D VAE+DiT架構對算力、模型和數據質量的提升已展現出能夠實現商用的結果,同時時長、比例的自定義使得生成素材的可用性大幅加強,儘管在一些複雜語義理解上遜色於Sora,但在稍簡單的場景下已差距不大。

多模態成中國大模型賽道機會

一個優秀的視頻生成模型需要考慮四大核心要素——模型設計、數據保障、計算效率,以及模型能力的擴展。

針對Sora存在的不成熟之處,OpenAI曾表示,Sora可能難以準確模擬複雜場景的物理原理,可能無法理解因果關係,可能混淆提示的空間細節,可能難以精確描述隨着時間推移發生的事件,如遵循特定的相機軌跡等。

但這更像是一個普遍存在的問題。愛詩科技創始人王長虎此前表示,目前的視頻大模型都是直接從視頻數據裡學習物理知識,但真實視頻中往往包含很多信息,很難分別把每個物理規律精確地學習好。在給模型輸入視覺畫面的同時,單獨加入人手、動物尾巴等3D建模信息作爲約束,可以輔助大模型學習,也能優化效果。

可靈大模型採用的是原生文生視頻技術路線,替代了圖像生成+時序模塊的組合。目前,在隱空間編/解碼上,主流的視頻生成模型通常採用Stable Diffusion的2D VAE進行空間壓縮,但這對於視頻而言存在明顯的信息冗餘。因此,快手大模型團隊自研了3D VAE網絡,試圖尋找訓練性能和效果之間的平衡。另外在時序信息建模上,快手大模型團隊設計了一款全注意力機制(3D Attention)作爲時空建模模塊。

生數科技CEO唐家渝提到,多模態大模型的研究仍處於起步階段,技術成熟度還不高。這一點不同於火熱的語言模型,國外已經領先了一個時代。因此,相比於在語言模型上“卷”,唐家渝認爲多模態更是國內團隊搶佔大模型賽道的一個重要機會。這一點與啓明創投合夥人周志峰有相同之處,他也認爲如今的大模型已從原來的純語言模態逐步走向多模態的探索。

北京智源人工智能研究院副院長兼總工程師林詠華對第一財經記者表示,中國在多模態領域彎道超車是有一定可能性的,但多模態模型的成功要素依然是算力、算法和數據。目前算法層面,中美團隊之間差異沒有那麼大,行業也仍有辦法去解決算力問題,但要獲取海量高質量數據,依然難度很大。