對應80億組參數規模 NVIDIA推出精準度更高的小型自然語言模型Mistral-NeMo-Minitron 8B

繼先前推出參數規模在120億組的Mistral NeMo 12B小型自然語言模型後，NVIDIA再次宣佈推出參數規模更小、精準度卻更高的小型自然語言模型Mistral-NeMo-Minitron 8B，參數規模控制在80億組，可用於小型工作站，或是快速佈署於各個邊緣運算節點，同時也能用在資料中心及雲端運算叢集。

相比Mistral NeMo 12B，此次推出的Mistral-NeMo-Minitron 8B將能以更小規模用在多元運算節點，讓自動生成式人工智慧技術能在更多運算載具上運作，同時維持相同人工智慧執行效能，甚至更進一步提高其運算精準度。

生成式人工智慧（AI）的開發者通常得面臨要取捨模型大小還是精確度的難題。不過 NVIDIA 發表的全新語言模型倒是兼具兩者之長，這個模型體積小巧，又有着最先進的精確度。

NVIDIA應用深度學習研究部門副總裁Bryan Catanzaro表示：「我們將兩種最佳化人工智慧的方法加在一起。這包括以『剪枝』 (pruning)方式，將原本Mistral NeMo 12B決策分辨能力較弱的運算部分去除，使其參數進一步縮減，另外借由『蒸餾』 (distillation)方式提升模型運算精準度，讓調整後的Mistral-NeMo-Minitron 8B能以更高效率運作，同時不影響其精準度表現，更可精簡模型運算成本。」

目前開發人員可以透過包裝成有着標準應用程式介面 (API)的NVIDIA NIM 微服務使用Mistral-NeMo-Minitron 8B模型資源，或是透過Hugging Face下載，並且能將其佈署應用在更多以GPU加速運算系統上使用。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》