开yun体育网推出新的复杂数学评测集 LiveMathBench-开云官网kaiyun切尔西赞助商 (中国)官方网站 登录入口
新模子在 MATH 上（以数学竞赛为主）动辄跑分 80% 致使 90% 以上开yun体育网，却一用就废。
这合理吗？？
为了真正考研模子数学推明智力，上海东谈主工智能本质室司南 OpenCompass 团队放大招了。
推出新的复杂数学评测集 LiveMathBench，以全新性能主张 G-Pass@16 � � 来一语气评估模子的性能后劲和踏实性。
好家伙！团队在模拟真正用户使用采样政策、重迭屡次评测大模子的数学推明智力时发现：
大部分的模子平均会有五成以上的性能着落，即使是最强推理模子 o1-mini 也会着落 3 成 6，更有模子告成着落九成。
具体咋回事儿底下接着看。
全新评价主张 : G-Pass@k
商议团队再行想考了大模子评测常用的技能主张，如传统闲居遴选的 Pass@k, Best-of-N, Majority Voting，这些主张主要柔和模子的性能后劲，枯竭对模子的鲁棒性的评测。
而真正场景中，为了提高回应的各样性，模子时时使用采样解码的方式进行推理，这也会带来大都的就地性。在复杂推理任务中，这种就地性会严重影响模子的性能，而用户更预期在真正问题中，模子能又稳又好。
Pass@k 主张回来
经典的 Pass@k 主张柔和模子在屡次生成中至少给出一次正确谜底的概率。假定模子生成次数为� �，正确谜底数为� �，c 默示其中正确解的数目，那么 Pass@k 的磋议方式如下：
兼顾性能后劲与踏实性的评测主张 G-Pass@K
Pass@k 体现了模子的性能后劲，却不可体现模子的踏实性，基于这一主张团队将 Pass@k 引申为 Generalized Pass@k（以下简称 G-Pass@k � �）。
通过引入阈值� �，该责任柔和模子在� � 次生成中至少给出 ⎡ � � · � � ⎤次正确谜底的概率。
一般来说，以为模子的每次生成是 i.i.d.（Independent and Identically Distributed）的，那么模子给出的正确谜底数盲从二项溜达，这不错通过超几何溜达靠拢二项溜达。基于此，不错得出 G-Pass@k � � 的界说：
在� � 较小时，G-Pass@k � �斟酌模子的性能后劲；� � 较大时，G-Pass@k � �斟酌模子的踏实性，或者说模子关于问题的掌合手进度，因此商议者不错通过 G-Pass@k � � 一语气地不雅察模子的性能后劲与踏实性。
进⼀局势，商议团队还界说了 mG-Pass@k 用于对模子的性能进行举座不雅测。
具体来说，mG-Pass@k 是 � � — G-Pass@k � � 弧线下的面积，为了更好地模拟真正场景，团队要点磋议� � ∊ [ 0.5，0.1 ] 的情况，即：
G-Pass@K 是 Pass@K 是泛化方式
当⎡ � � · � � ⎤ =1 时，Pass@K 是 G-Pass@k � � 等价，这意味着 Pass@K 是 G-Pass@k � � 的特例，读者不错参考论文附录提供的证明。
商议团队给出了两者关系的对比分析，如下图所示：
图中展示了不同的� � 和 c 下 Pass@K 和 G-Pass@k � � 的值，不错看出在� � 较小时，两者响应的是模子的后劲，但是这种分数可能是偏高的，在 24/80 的举座通过率下，Pass@K 主张的值不错接近 80%。
但当柔和较高的� � 时，更大概不雅察到模子在实质生成时的真正性能。
LiveMathBench：幸免数据羞辱的复杂数学评测集
商议团队构建了一个新的 benchmark LiveMathBench 用于考证本质。
具体来说，他们网罗了最近发布的中国数学奥林匹克，中国高考最新模拟题，好意思国数学竞赛和好意思国普特南数学竞赛中最新的题目，尽量减少数据羞辱的可能性。
通盘 LiveMathBench（202412 版块）包括 238 谈题目，每个题目提供中语 / 英文两个版块的题目，笼罩不同的难度。商议团队遐想后续连接更新 LiveMathBench 中的题目，来连接不雅测 LLM 的真正数学水平。
另外，商议团队还在两个公开 Benchmark MATH500 和 AIME2024 上进行了本质。
关于 MAH500，商议团队遴荐了难度为 L5 的题目，定名为MATH500-L5；关于 AIME2024，商议团队使用了 Part1 和 Part2 两个部分一皆 45 谈题目，定名为 AIME2024-45。
本质
在本质征战方面，关于每谈题目，进行了 16*3=48 次生成并敷陈 G-Pass@16 � � 分数。商议团队在通用模子、数学模子和类 o1 模子三种不同类型的大模子中遴荐了具有代表性的大模子进行本质。
LiveMathBench 性能对比如下：
证据本质成果，不错看到：
大部分闭源模子和开源模子在 G-Pass@161.0 主张上也都不跳动 30 分。
最强的 o1-mini 模子在 G-Pass@161.0 赢得了最高分 42 分，相对性能着落比例亦然悉数模子中最低的（36.9%），虽体现出相对较高的踏实性，但仍然难以忽视。
Math-500-L5/AIME2024-45 性能对比如下。
关于开源数据集：
在常用的高中竞赛级别题目 MATH500-L5 上，多数模子不管是贪心解码的施展仍是踏实性 G-Pass@161.0 的施展都比拟 LiveMathBench 都有所进步，而 AIME2024 则违抗，大多数模子的 G-Pass@161.0 分数都唯有个位数，致使部分模子接近 0 分；
关于难度颇高的 AIME2024，诚然 o1-min 和 QwQ-32B-Preview 在贪心解码下施展凸起，但濒临高难度题目前的踏实性仍是难以保证，如 QwQ-32B-Preview 致使跌到了不到本来的 1/5，而其在 MATH500-L5 中却比较踏实，达到了原分数的 3/5，这也证据了最新的高难度数学题目对模子的踏实性带来了更大的压力。
临了，模子在不同难度题目上的智力分析如下 。
下表展示了要道模子在 LiveMathBench 两个子集上的性能施展。
其中 CCEE 代表中国高考题目，主要波及到基础的高中数据常识；而 WLPMC 代表来自普特南（Putnam）竞赛的题目，普特南竞赛是久负著明的好意思国大学生数学竞赛，其题目难度要高于高考题目。
由本质成果不错看出，先进的推理模子，举例 DeepSeek-V2.5, Qwen2.5-72B-Instruct, QwQ 等在 Pass@16 主张下在两个子集上都有较好的性能，但大部分模子在 WLPMC 上的踏实性着落更为严重。
因此不错有如下意料，推理模子容易学习到西宾数据中的平常解，导致 Pass@k 等主张的高涨，但是在穷苦的问题上，这种进步并不与模子真正推感性能进步关连。在强基座模子的西宾中，更应该柔和推理踏实性的施展，以进步其真正推明智力。
关键不雅测不雅察一：闭源和开源模子均不可踏实地进行复杂推理
商议东谈主员对面前主流的约 20 个模子进行了测试，发现尽管多数模子在贪心解码的准确率 Greedy Accuracy 和 Pass@16 上施展相对较好，但当使用 G-Pass@K 主张进⾏评估时，性能却显耀着落。
当� � 征战为 1.0 时，即要求模子在悉数 16 次采样中都提供正确谜底， 实在悉数模子的施展都急剧着落。
举例，在对 LiveMathBench 的测评中，Llama-3.1-8B-Instruct 模子的准确率从 18.1% 着落到 0.8%（G-Pass@16 � �=1.0），降幅高达 95.7%。即使是较大的模子，如 NuminaMath-72B-CoT，其准确率也从 34.45% 着落到 3.7%，减少了 89.3%。
在松懈 20 个测试模子中，平均性能着落了 60%。即即是施展最为踏实的 OpenAI o1-mini，其准确率也从 66.5% 着落到 42.0%，降幅为 36.9%。
即使将� � 放宽到 0.5，即只消求一半的样本正确即可通过，通用模子、数学推理模子和 o1-like 模子仍差别履历了 14.0%、22.5% 和 4.8% 的平均性能着落。
这标明，在复杂条款下，多数模子难以在屡次采样中保持一致的推明智力。
不外现在的评估主张闲居依赖单次贪心解码，可能无法充分响应这些模子在实质哄骗中的鲁棒性和踏实性。
因此，商议团队指出，需要对模子的推明智力进行更严格的评估，尤其是在那些需要在屡次采样中保持一致性和可靠性的关键哄骗中。
不雅察二：增大模子领域对推明智力的进步有限
商议东谈主员不雅察到，以同系列模子 Qwen2.5-32B-Instruct 与 Qwen2.5-72B-Instruct 为例，诚然它们的模子领域进出一倍以上，但不论主张遴选 G-Pass@K 仍是 Greedy Accuracy，不论评测数据集是最新的 LiveMathBench 仍是现存开源数据集，两者的施展均通常。
另外，在更大体量的模子 Mistral-Large-Instruct-2411（123B）上，尽管模子领域连接增大，但其性能和踏实性比拟 Qwen2.5-72B-Instruct 却出现下滑。
这标明，关于需要深度判辨和逻辑推理的任务，浅易增大参数并不可显耀进步性能或踏实性。
这可能是因为这些任务不仅需要模子具备挂牵和模式识别智力，更需要执意的推理和险峻文判辨智力。
不雅察三：模子的性能后劲和实质施展之间的执意差距
商议团队在评估模子性能时发现，表面最大智力 G-Pass@16 � � → 0、实质施展智力 Greedy Accuracy 和屡次采样下的踏实智力 G-Pass@16 � �=1.0 之间存在显耀差距。
尽管模子在表面上具备越过高的潜在性能，但在实质哄骗中未能充分展现这一水平，尤其是在输出踏实性方面。一些模子在单次贪心解码中施展出高准确率，泄表示处理特定任务的后劲，但在保持一致高准确率方面却不踏实，远未达到最好性能。
这响应了现存模子在推理踏实性和一致性上的不及，这在西宾和评估中常被忽略。
模子在单次推理施展中易受输入数据变化、启动化情景或就地采样的影响，导致不同采样解码的成果不一致。
商议东谈主员指出，在高可靠性和一致性要求的实质哄骗中，如安在保持接近最好性能的同期确保输出的踏实性，是一个亟待处置的问题。
总结
本商议深刻分析了面前大型模子的数学推明智力，忽视了全新的性能主张 G-Pass@16 � � ，用于一语气评估模子的性能后劲和踏实性。
此外，还遐想了幸免数据羞辱的 LiveMathBench 数据集。
本质成果泄露，现在的大型模子在推感性能方面未达到预期，尤其在屡次重迭采样时，性能出现显耀着落。商议团队渴望学术界和工业界大概在推明智力的鲁棒性商议上连接探索与鼓动。
论文指导：https://arxiv.org/abs/2412.13147
花式地址：https://github.com/open-compass/GPassK
— 完 —
投稿请发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿内容
附上论文 / 花式主页指导，以及研究方式哦
咱们会（尽量）实时回应你
点这里� � 柔和我，铭记标星哦～
一键三连「共享」、「点赞」和「在看」
科技前沿进展日日再会 ~