Meta推Llama 3大型語言模型 劍指Open AI搶市佔

Meta在19日宣佈新一代的Llama 3 初始的2個模型,有更精準的推理能力。(圖/Meta提供)

不讓Open AI獨佔市場,Meta在19日宣佈新一代的Llama 3 初始的兩個模型已可廣泛使用;此版本包含預訓練和指令微調的語言模型,其中的8B (80億) 和 70B (700億) 參數,可支援更多元的使用情境。新一代Llama平臺可在多項產業指標展現了卓越的成效,並提供許多新的功能,包括更精準的推理能力,是目前同業中最佳的開源模型。

Meta表示,希望透過建立與目前專有模型並駕齊驅的最佳開放模型 Llama 3,迴應開發人員的回饋,並提高Llama 3的整體實用性,同時持續領導負責任地使用並部署大型語言模型。

並讓社羣搶先試驗這些仍在開發階段的模型;19日推出的以文字爲基礎的模型爲 Llama 3系列的第一波模型,同時也期待讓Llama 3具備多語言和多模態、有更長的上下文語境,並繼續提升推理和編寫程式碼等核心大型語言模型能力的整體表現。

Llama 3的全新8B、70B參數模型,相較於Llama 2有大幅進步,併爲此規模的大型語言模型立下新標準;得益於預訓練與後訓練技術的進展,Meta表示預訓練和指令微調模型是目前 8B 及 70B 參數規模的最佳模型。

Meta強調,後訓練程序流程的改進大幅降低錯誤拒絕率(False Rejection Rate, FRR),改善一致性,並提升模型反應的多樣性。同時,在推理、程式碼生成和指令遵循等功能亦有顯著提升,讓Llama 3更易於操控。