LLM羣體智能崛起，數學性能暴增11.6%！谷歌DeepMind四大機構聯手新作

新智元報道

編輯：桃子

【新智元導讀】多個LLM聯合，可以邁向更強大系統！最新研究發現，GPT-4能夠提升同伴的性能，能夠讓數學能力暴漲11.6%。

AI如何成爲「更強的AI」？

最關鍵還是，得學會「借力」。

來自蒙特利爾大學、劍橋、普林斯頓、谷歌DeepMind四大機構研究人員聯手，竟發現：

論文地址：https://arxiv.org/pdf/2405.12205

在這個過程中，GPT-4可以始終如一地，標記數學問題所需的解決技能。

當LLM獲得了由GPT-4生成的技能標籤時，它們在解決相應的數學問題時，就會得到相應地表現得更好。

有網友做了一個精闢的總結，這便是「羣體智能」。

AI元認知，數學最考驗

元認知，原本是指，人類對自己思維、推理過程的直觀認識。

那麼，大模型也具備「元認知」的能力嗎？

研究人員對此，提出了一種假設，並設想是否可以通過知識引導，進一步提高LLM的能力。

其實，此前的研究已經表明，大模型表現出一些類人的特徵，比如通過CoT一步一步推理。

而且，也有一些研究稱，LLM具備了元認知能力。

比如，這篇來自谷歌、UCSD等機構2月論文提出了Ask-LLM，並稱想要破譯LLM元認知，最直接方法就是——問！

論文地址：https://arxiv.org/pdf/2402.09668

在最新研究中，作者將重點放在了AI元認知，在解決數學問題時，所應用的技能。

因爲數學領域中，覆蓋了人類豐富的技能目錄，從簡單的（變量運算、求解方程、掌握函數的概念），到複雜的（定理和證明）。

自動化技能發現

如下圖所示，研究人員描述了，讓GPT-4根據數學問題，所需的特定技能對數學問題進行分類的自動化過程。

這裡一共劃分爲兩個階段：

首先，創建技能示例倉庫。

功能強大的LLM A會用相應地技能，標記每個問題，如下圖2（左）中，提供的提示中詳細介紹的那樣。

接下來，LLM A要求將類似的細粒度技能，組合成廣泛的技能集羣，代表着複雜的技能。

這大大減少了，第一階段的獨特技能數量，如圖2（中）描述的提示。

然後，大模型被要求，將訓練集中的所有示例，重新分類爲一種後聚類技能。

第二階段，是推理。

在使用LLM B（其中B可能與A不同），對測試問題進行推理期間，要求LLM B使用技能示例倉庫中，一項技能來標記測試問題。

接下來，研究人員從倉庫中，獲取具有相同技能標籤的範例，並向LLM B提供主題上下文示例，以幫其解決測試問題。

舉個例子，對於MATH數據集，第一階段識別了約5000個技能，第二階段將其減少到117個粗粒度技能。

代表粗粒度技能的隨機子集例子被保留作爲其技能示例。

針對不同數據集，所列出的技能表，這些技能名稱由GPT-4-0613提供。

下圖中，展現了一些在數學領域中的技能。

實驗結果

接下來，研究人員描述一種LLM在提取元認知知識的程序，這種只是以數學問題技能標註形式呈現。

結果表明，技能知識顯著改善了不同數據集上，基於文本和程序的提示性能。

此外，這些技能表現出強大的可遷移性，提升其他數學數據集和LLM的數學推理能力。

具體結果如下所示。

論文中，主要研究了兩種主要類型的上下文提示方法，以增強法學碩士的數學推理能力。

首先是，基於文本的提示，利用文本示例來演示解決問題的步驟，思想鏈（CoT）就是一個很好的例子。

其次是，程序輔助提示，使用程序來展示推理步驟，如程序輔助語言模 型 (PAL) 中所示。

表2展示了，MATH數據集上，基於文本的提示結果。

研究人員基於技能的方法採用CoT提示，在MATH數據集中的所有話題中，表現出優於所有其他方法的性能。

研究者利用技能示例庫，解決GSM8K數據集中的測試集問題。

結果如表3所示，基於技能的方法在GSM8K數據集上的表現，優於CoT和隨機基準方法，並強調了準確技能分配、相關上下文示例在有效問題解決中重要性。

此外，基於技能方法與自洽性，帶來了更好的性能。

對於SC實驗，研究人員從LLM中採樣5個推理鏈，並選擇最頻繁的答案。

爲了進一步強調所提出方法的有效性，他們將其與Retrieval-RSD方法進行比較，後者也是一種用於少樣本提示的相關上下文示例選擇方法。

MATH數據集的結果，如表2所示。

對於此分析，研究人員提出的方法採用簡單的思想鏈 (CoT) 方法，其中上下文示例源自技能示例倉庫。

新方法在性能上取得了顯著的進步，超出了標準CoT 11.6%，令人印象深刻。

另外，新方法也要比複雜CoT好3.5%，比基於主題方法高3.5%。

這些結果，凸顯了方法的有效性，特別是細粒度技能標籤。

技能示例，向其他模型的遷移結果如下所示。

所有實驗都使用MATH數據集在Mixtral 8 × 7B模型上進行，與標準思維鏈（CoT）、使用基於主題示例的CoT、使用基於技能示例的CoT、以及使用主題和技能示例的CoT加自洽性（maj@4）進行比較。

新技能的方法表現出的增強性能表明，技能可以有效地從GPT-4遷移到另一個模型。

表7說明了，基於技能的方法使LLM能夠有效應用相關技能的實例。

紅色加亮的文本，顯示了基於主題的基線在概念上的錯誤，而藍色加亮的文本，則展示了嫺熟而準確的技能應用。

表6呈現了，新論文所提出的方法，在4個案例中實現了最高準確率。

總之，作者提出一個LLM提取元認知知識框架，其形式是根據解決問題所需的概念，對數學數據集中的問題進行分類的技能。

目前，新框架依賴於GPT-4等高級模型的可用性。

然而，技能發現過程改進了GPT-4的情境學習，這表明使用技能來微調GPT-4可能會提高其能力。

參考資料：

https://x.com/emollick/status/1832583991498608918