BFCL (Berkeley Function-Calling Leaderboard) medium

它是什么 Agent summary 事实 · AI 整理

BFCL（Berkeley Function-Calling Leaderboard）出自 UC Berkeley 的 Gorilla 项目,Patil 等人,发表于 ICML 2025。它是一份给 AI 出的标准考卷（benchmark）,专门考大模型（LLM）会不会按格式调用外部函数、工具,也就是“function/tool calling”。这件事现在公认要看它的分。它的考法是真去跑代码:覆盖一次只调一个工具、一次并排调好几个工具的情况,也覆盖多种编程语言。最关键的一招,是它不真把每个工具都执行一遍,而是用“抽象语法树（AST,可以理解成把代码拆成一棵结构树）”去核对每次调用写得对不对,这样才扛得住上千个函数的规模。

到了 V3 版本,考的范围从“调一次工具”扩到了能自己分步骤、调工具干活的 AI（agent/智能体）场景:要多轮来回、分多步、还要记住前面发生过什么。它还顺带考一件事:模型什么时候该承认自己答不了、又该怎么一步步推理。结论挺有用:最前沿的模型在“调一次工具”上已经很强了,但记忆、临场决策、长链条推理还是难关。

有两点要留神。第一,AST 只核对调用的结构对不对,不等于真跑成功;有些调用结构没错、意思却错了,也可能被算对。第二,它只考函数调用这一件事,不管日常对话好不好、也不管具体领域答得对不对。