大模型權威測試被曝翻車!偏袒GPT-4等閉源模型,提示詞區別對待

大模型權威測試,翻車了?!

HuggingFace都在用的MMLU-PRO,被扒出評測方法更偏向閉源模型,被網友直接在GitHub Issue提出質疑。

此前MMLU原始版本早已經被各家大模型刷爆了,誰考都是高分,對前沿模型已經沒有了區分度。

號稱更強大、更具挑戰線性多任務語言基準MMLU-Pro,成了業界對大模型性能的重要參考。

但結果沒想到的是,現在有人扒出其在採樣參數、系統提示和答案提取等方面設置不公平,存在一些令人震驚的差異。

隨便對系統提示詞做了個小修改,直接將開源陣營的Llama-3-8b-q8的性能提高了10分?!

emmm……就問大模型跑分到底還能不能信了?

被扒偏向閉源模型

這是源於Reddit上一位ML/AI愛好者的意外發現。

還特意做了個免責聲明,自己只是感興趣,並不是ML研究員(Doge)

出於好奇想了解它是如何工作的,於是檢查了原始repo中的代碼以及每個模型使用的提示和響應。

不看不知道,一看嚇一跳。

首先,他們不會對所有模型使用相同的參數。

其次,給每個大模型的Prompt差別也挺大啊喂?!

跟GPT-4o說:

跟GPT-4說:

更離譜的是Claude3,沒有系統提示詞?!!!

此外,這位網友還發現,模型必須按照指令輸出準確的短語和格式,這點至關重要。

否則,模型的答案就不會被認可,而是會爲模型隨機生成一個答案。

於是乎他進行了一個小小的測試。

通過調整系統提示,來強調格式的重要性,結果模型分數顯著提高。

比如給llama-3-8b-q8說了這些話,結果它在一些類別中得分提高了10分以上。

此外對各個模型答案提取regex也不一樣。

此事一出,大家一片譁然。他去團隊GitHub頁面底下反應,也得到了官方回覆。

官方迴應:對結果影響不超過1%

大概有這麼幾個意思。

首先,關於採樣參數和系統提示,我們建議使用我們 git 倉庫中的 evaluate_from_api.py 和 evaluate_from_local.py,因爲這些設置與我們論文中報告的結果一致。

至於像那些閉源模型的結果,因爲是不同合作者同時運行的,所以會有些細微差別。

不過他們表示,有進行抽樣測試,發現對結果的影響很小,不超過 1%。

另外,他們在論文中還強調了 MMLU-Pro 的魯棒性,因此從節約成本的角度出發,我們選擇了不重新運行所有項目。

對於答案提取regex問題,團隊承認:這的確是一個重要問題。

因爲像 GPT-4o 和 Gemini 這樣的高性能模型來說,影響微乎其微。但對於較小規模的模型來說,影響可能會更大。

他們正計劃引入召回率更高的答案提取詞法,並將相應地進行標準化和重新提取答案。

此前還被爆出MMLU-Pro以數學爲主

今年5月,來自滑鐵盧大模型老虎實驗室陳文虎團隊推出MMLU-Pro版。

當時強調它主要有這些特點:

1、隨機猜測的空間更小。Pro版使用 10 個選項而不是 4 個選項。

2、更復雜:MMLU-Pro 添加了更多不同學科的大學水平問題,共計12K個問題。

3、MMLU-Pro 更穩健,對不同提示的敏感度更低。

結果 GPT-4o(71%)實際上比 GPT-4-turbo(62%)提高了 9%在原始 MMLU 上,改進只有 2% 左右。

但使用之後發現,有人反饋說MMLU-Pro以數學能力爲主,但此前MMLU的價值在於知識和推理。

很多問題都需要多步驟的思維鏈CoT推理來解決應用數學問題。

這樣的話對大模型來說太難了,大部分都集中在低端,這樣評估也就沒有意義。

好了對於這件事你怎麼看呢?

參考鏈接:[1]https://www.reddit.com/r/LocalLLaMA/comments/1dw8l3j/comment/lbu6efr/?utm_source=ainews&utm_medium=email&utm_campaign=ainews-et-tu-mmlu-pro[2]https://github.com/TIGER-AI-Lab/MMLU-Pro/issues/5[3]https://www.reddit.com/r/LocalLLaMA/comments/1du52gf/mmlupro_is_a_math_benchmark/?utm_source=ainews&utm_medium=email&utm_campaign=ainews-et-tu-mmlu-pro[4]https://x.com/WenhuChen/status/1790597967319007564[5]https://x.com/WenhuChen/with_replies