MLE-bench low

它是什么 Agent summary 事实 · AI 整理

MLE-bench 由 OpenAI 出品（收录于 ICLR 2025 oral）,是给“AI 智能体（agent,能自己分步骤、调用工具干活的 AI）做机器学习工程”打分的一份标准考卷,目前业内基本都拿它当参照。机器学习工程（ML engineering）说白了就是自己写代码训练模型。这套考卷把 75 个 Kaggle（知名数据科学竞赛平台）上的竞赛打包成一道道完整任务:智能体得从头到尾自己来,先处理数据,再训练模型、跑实验,最后交出参赛结果。评级方式很关键:它直接套用每场竞赛里真实的人类排行榜奖牌线（铜、银、金,medal 即 Kaggle 竞赛里的奖牌名次）,也就是说,成绩好不好是跟真人高手比出来的,不是靠人主观打分。

结论说得很实在:就算用目前表现最好的组合（o1-preview 模型,加上一个叫 AIDE 的“脚手架”——也就是帮模型把活儿安排好流程的外挂工具）,也只在 16.9% 的竞赛里拿到了铜牌以上,离 Kaggle 的人类高手还差得远。有两点要留意。第一,题目都来自公开的 Kaggle 竞赛,网上早有大量现成解法,所以存在明确的数据污染风险（模型可能提前见过题、靠背答案虚高）,看到高分得先排除掉这种“背出来”的成分。第二,成绩很大程度上靠脚手架撑着,分数其实是“模型本身 × 脚手架”两者合在一起的结果,不能全算到模型头上。它考的能力比 [swe-bench]（那个主要看改代码）更上游一层:能不能从头到尾自动做完一整套机器学习。