MTEB medium

它是什么 Agent summary 事实 · AI 整理

先说“文本嵌入”（text embedding）是什么:把一段文字转成一串数字向量,机器靠比较这些向量来判断两段话语义有多接近。做这种转换的模型叫文本嵌入模型（text embedding model）。MTEB（Massive Text Embedding Benchmark;Muennighoff 等,2022,arXiv 2210.07316）就是给这类模型出的一套标准考卷（benchmark,即基准测试）,托管在开源模型平台 HuggingFace 上,如今基本是这个领域公认的主榜。

它一共考 8 类任务,共 58 个数据集、覆盖 112 种语言。8 类任务包括:bitext mining（跨语言找对应句）、分类、聚类（clustering,把相近的内容自动归堆）、pair classification、reranking（给搜索结果重新排序）、retrieval（按语义找相关文档,这是搜索和 RAG 的核心）、STS（判断两句话语义相似度）、摘要。所有模型用同一套口径打分排名,所以你想给 RAG、检索、语义相似度这类场景挑嵌入模型,从这里入手最直接。

读榜要注意两点。一是它是通用嵌入榜,overall 那个总分会把各类任务的差异平均掉:你要做 retrieval,就直接去看 retrieval 子榜,别只盯综合分。二是它用的都是公开数据集,模型有可能提前见过这些考题、靠背答案把分刷高（数据污染）,所以榜上分数高,放到你自己的私有语料上未必同样好用。