大模型權威測試被曝翻車!偏袒GPT-4等閉源模型,提示詞區別對待
大模型權威測試,翻車了?!
HuggingFace都在用的MMLU-PRO,被扒出評測方法更偏向閉源模型,被網友直接在GitHub Issue提出質疑。
此前MMLU原始版本早已經被各家大模型刷爆了,誰考都是高分,對前沿模型已經沒有了區分度。
號稱更強大、更具挑戰線性多任務語言基準MMLU-Pro,成了業界對大模型性能的重要參考。
但結果沒想到的是,現在有人扒出其在採樣參數、系統提示和答案提取等方面設置不公平,存在一些令人震驚的差異。
隨便對系統提示詞做了個小修改,直接將開源陣營的Llama-3-8b-q8的性能提高了10分?!
emmm……就問大模型跑分到底還能不能信了?
被扒偏向閉源模型
這是源於Reddit上一位ML/AI愛好者的意外發現。
還特意做了個免責聲明,自己只是感興趣,並不是ML研究員(Doge)
出於好奇想了解它是如何工作的,於是檢查了原始repo中的代碼以及每個模型使用的提示和響應。
不看不知道,一看嚇一跳。
首先,他們不會對所有模型使用相同的參數。
其次,給每個大模型的Prompt差別也挺大啊喂?!
跟GPT-4o說:
跟GPT-4說:
更離譜的是Claude3,沒有系統提示詞?!!!
此外,這位網友還發現,模型必須按照指令輸出準確的短語和格式,這點至關重要。
否則,模型的答案就不會被認可,而是會爲模型隨機生成一個答案。
於是乎他進行了一個小小的測試。
通過調整系統提示,來強調格式的重要性,結果模型分數顯著提高。
比如給llama-3-8b-q8說了這些話,結果它在一些類別中得分提高了10分以上。
此外對各個模型答案提取regex也不一樣。
此事一出,大家一片譁然。他去團隊GitHub頁面底下反應,也得到了官方回覆。
官方迴應:對結果影響不超過1%
大概有這麼幾個意思。
首先,關於採樣參數和系統提示,我們建議使用我們 git 倉庫中的 evaluate_from_api.py 和 evaluate_from_local.py,因爲這些設置與我們論文中報告的結果一致。
至於像那些閉源模型的結果,因爲是不同合作者同時運行的,所以會有些細微差別。
不過他們表示,有進行抽樣測試,發現對結果的影響很小,不超過 1%。
另外,他們在論文中還強調了 MMLU-Pro 的魯棒性,因此從節約成本的角度出發,我們選擇了不重新運行所有項目。
對於答案提取regex問題,團隊承認:這的確是一個重要問題。
因爲像 GPT-4o 和 Gemini 這樣的高性能模型來說,影響微乎其微。但對於較小規模的模型來說,影響可能會更大。
他們正計劃引入召回率更高的答案提取詞法,並將相應地進行標準化和重新提取答案。
此前還被爆出MMLU-Pro以數學爲主
今年5月,來自滑鐵盧大模型老虎實驗室陳文虎團隊推出MMLU-Pro版。
當時強調它主要有這些特點:
1、隨機猜測的空間更小。Pro版使用 10 個選項而不是 4 個選項。
2、更復雜:MMLU-Pro 添加了更多不同學科的大學水平問題,共計12K個問題。
3、MMLU-Pro 更穩健,對不同提示的敏感度更低。
結果 GPT-4o(71%)實際上比 GPT-4-turbo(62%)提高了 9%在原始 MMLU 上,改進只有 2% 左右。
但使用之後發現,有人反饋說MMLU-Pro以數學能力爲主,但此前MMLU的價值在於知識和推理。
很多問題都需要多步驟的思維鏈CoT推理來解決應用數學問題。
這樣的話對大模型來說太難了,大部分都集中在低端,這樣評估也就沒有意義。
好了對於這件事你怎麼看呢?
參考鏈接:[1]https://www.reddit.com/r/LocalLLaMA/comments/1dw8l3j/comment/lbu6efr/?utm_source=ainews&utm_medium=email&utm_campaign=ainews-et-tu-mmlu-pro[2]https://github.com/TIGER-AI-Lab/MMLU-Pro/issues/5[3]https://www.reddit.com/r/LocalLLaMA/comments/1du52gf/mmlupro_is_a_math_benchmark/?utm_source=ainews&utm_medium=email&utm_campaign=ainews-et-tu-mmlu-pro[4]https://x.com/WenhuChen/status/1790597967319007564[5]https://x.com/WenhuChen/with_replies