红杉中国至今天发达推出一款全新的AI基准测试器用xbench（ xbench.org）万博manbext网页版登录app(中国)官方网站，并发布论文《xbench: Tracking Agents Productivity, Scaling with Profession-Aligned Real-world Evaluations》。

首期发布包含两个中枢评估集：科学问题解答测评集（xbench-ScienceQA）与汉文互联网深度搜索测评集（xbench-DeepSearch），并对该领域主要产物进行了空洞名次。同期提倡了垂直领域智能体的评测方法论，并构建了面向招聘（Recruitment）和营销（Marketing）领域的垂类Agent评测框架。评测完毕和方法论可通过xbench.org网站及时查察。

在昔日两年多的时刻里，xbench一直是红杉中国在里面使用的追踪和评估基础模子能力的器用。

区别于传统评测集更柔软AI系统的能力领域，xbench更柔软AI系统面对确切宇宙任务下的能力说明，并聘请长青评估的机制，以一个动态更新的题目蔓延评估集来消弭迅速进化的模子能力对评测集的影响。

这次发布，红杉中国并未显露xbench评测蚁合果与其的投资决策的有关性，而将更大的愿景投射于xbench的开源给统共这个词AI社区带来的孝敬。红杉中国在发文中向统共AI赛说念从业东说念主员发出邀请，迎接他们成为使用并完善xbench的一份子，一齐打造评估AI能力的新范式。

公开数据高傲，红杉中国连年在AI领域的布局特别全面，深度布局了包括智谱、月之暗面、minimax、阶跃星辰、Manus等繁密通用模子公司。

XBench的发布，不仅记号着红杉中国在AI Agent赛说念完成了从投资东说念主到时期泰斗的定位转型，更体现出其强大的产业贪念——这家老牌VC机构正以时期法度构建者的姿态，突破传统财务投资者的领域。

这场看似器用发布的动作，实则是向行业宣告：红杉中国的主张，已不啻于捕捉时期的机遇，更要界说时期的划定。

以下为红杉中国发布正文：

跟着基础模子的快速发展和AI Agent进入规模化应用阶段，被庸碌使用的基准测试（Benchmark）却面对一个日益机敏的问题：想要确切地反应AI的客不雅能力正变得越来越难题。

因此，构建愈加科学、长效和确切反应AI客不雅能力的评测体系，正在成为率领AI时期突破与产物迭代的紧要需求。有鉴于此，红杉中国今天发达推出一款全新的AI基准测试器用xbench，并发布论文《xbench: Tracking Agents Productivity ，Scaling with Profession-Aligned Real-world Evaluations》。在评估和推动AI系统普及能力上限与时期领域的同期，xbench会重心量化AI系统在确切场景的效劳价值，并聘请长青评估的机制，去捕捉Agent产物的要道突破。

摘 要

• xbench聘请双轨评估体系，构建多维度测评数据集，旨在同期追踪模子的表面能力上限与Agent的本色落地价值。该体系改进性地将评测任务分为两条互补的干线：（1）评估AI系统的能力上限与时期领域；（2）量化AI系统在确切场景的效劳价值（utility value）。其中，后者需要动态对皆施行宇宙的应用需求，基于本色责任历程和具体社会脚色，为各垂直领域构建具有明确业务价值的测评法度。

• xbench聘请长青评估（Evergreen Evalution）机制，通过抓续保重并动态更新测试内容，以确保时效性和有关性。咱们将按时测评阛阓主流Agent产物，追踪模子能力演进，捕捉Agent产物迭代过程中的要道突破，进而预测下一个Agent应用的时期-阛阓契合点（TMF，Tech-Market Fit）。动作独处第三方，咱们悉力于为每类产物假想公允的评估环境，提供客不雅且可复现的评价完毕。

• 首期发布包含两个中枢评估集：科学问题解答测评集（xbench-ScienceQA）与汉文互联网深度搜索测评集（xbench-DeepSearch），并对该领域主要产物进行了空洞名次。同期提倡了垂直领域智能体的评测方法论，并构建了面向招聘（Recruitment）和营销（Marketing）领域的垂类Agent评测框架。评测完毕和方法论可通过xbench.org网站及时查察。

• 在昔日两年多的时刻里，xbench一直是红杉中国在里面使用的追踪和评估基础模子能力的器用，今天咱们将其公开并孝敬给统共这个词AI社区。不管你是基础模子和Agent的开发者， 如故有关领域的民众和企业，或者是对AI评测具有浓厚趣味的筹备者，咱们都迎接你加入，成为使用并完善xbench的一份子，一齐打造评估AI能力的新范式。

xbench Dual-track Leaderboard 2025.05

为什么当今需要新的Eval系统

2022年ChatGPT推出后，红杉中国开动对AGI程度和主流模子实行每个月的评测与里面陈诉。

2023年3月，咱们开动开采xbench的第一批专有题库，题目类型主要针对Chatbot苟简问答及逻辑想考，如：

· “香蕉的宽绰根是若干？”

· “小明甘心成为最告捷的投资东说念主，经过一番勤苦，最终他告捷了。求教用什么成语态状这个情况相比得当？”

咱们见证了主流模子从20-30分，在18个月内，普及到90-100分。2024年10月，咱们第二次相比大规模地更新了xbench题库，换掉了统共模子都得满分的题，新题主要针对Chatbot复杂问答及推理，以及苟简的模子外部器用调用能力（tool use），如：

· “设f(x)是一个奇函数，而g(x)是一个偶函数。那么，f(f(g(f(g(f(x))))))是奇函数、偶函数如故都不是？”

· “Q：将/nt目次下统共得当‘result_*.txt’情势的文献，按*数字从小到大的划定，合并到一个文献中。而且定名为‘results_total.txt’。”

咱们再次见证了主流模子的跳跃，这一次的速率更快，主流模子在6个月内“刷爆”了咱们的第二期题库。

评估的有用时刻在急剧镌汰。图源：姚顺雨个东说念主博客

2025年3月，咱们开动第三次对xbench题库进行升级，但这一次，咱们开动停驻来质疑现存评估方式，想考两个中枢问题：

1/ 模子能力和AI本色效劳之间的有计划：咱们出越来越难的题目趣味是什么，是否落入了惯性想维？AI落地的本色经济价值真的和AI会作念难题正有关吗？举个例子，措施职责任的utility value很高，但AI作念起来跳跃特别快，而“去工地搬砖”这么的责任AI却简直无法完成。

2/ 不同期间维度上的能力相比：每一次xbench换题，咱们便失去了对AI能力的前后可比性追踪，因为在新的题集下，模子版块也在迭代，咱们无法相比不同期间维度上的单个模子的能力怎样变化。在判断创业技俩的时候，咱们心爱看创业者的“成长斜率”，但在评估AI能力这件事上，咱们却因为题库的握住更新而无法有用判断。

接下来咱们应该怎样作念评估？

为了搪塞上述两个中枢问题，咱们热切需要构建新的评估平台，并重心面向：

■ 冲破惯性想维，为施行宇宙的实用性开发新颖的任务缔造和评估方式

以“Search”能力为例，AI能力评估集的进化旅途可能是：

Single-turn QA→Search→Deep Search（Multi-step reasoning）→Deeper Search（Multi-hop or Chained Reasoning）

要是咱们跳脱出“筹备视角”惯性，转向“阛阓与业务视角”，任务和环境的各种性会爆炸式增长，Search类的题就会变成：

→Marketing→KOL Search→“一家智能投影仪品牌预备在中东阛阓进行内容投放，主张东说念主群为35岁以下、有独处居住空间的科技早期用户，主要通过生计方式类博主触达。AI Agent需完成：①在中英文多平台上识别优质创作家，判断其内容调性是否迫临‘居家文娱+智能家居’；②预测不同地区（如迪拜与利雅得）的CTR互异；③赞成完成组合推选。”→$6,000（东说念主工完成该任务需3名中东土产货营销东说念主员，约耗时1周，总资本约$6,000（$2,000/东说念主/周））

→Recruiting→People Search→“一家头部VC复旧的多模态大模子初创公司，正在寻找一位‘具备高质料开源技俩教悔、熟悉transformer架构、曾在FAIR或DeepMind实习/合作过’的AI工程负责东说念主。主张候选东说念主不一定在招聘平台上活跃，大部分信息漫步在GitHub、arXiv、X（原Twitter）、外洋社区论坛中。AI Agent需完成：①跨平台搜索与团员；②候选东说念主布景重建（陶冶、技俩、实习）；③对时期契合度自动评分；④生成Cold outreach计谋邮件草稿。”→¥9,000（东说念主工完成该任务，频繁需1名高等猎头+1名时期筹备员，耗时约1周，东说念主力总资本约¥9,000）

下半场的评估，不仅需要越来越难的AI Search能力的考察基准（AI Capabilities Evals），也需要一套对皆施行宇宙民众的实用性任务体系（Utility Tasks）。前者考察的是能力领域，呈现是Score，此后者考察的是实用性任务和环境各种性、买卖KPIs（conversion rate、closing rate）和径直的经济产出。

咱们引入Profession Aligned的基准主见，咱们合计接下来的评估会分为AGI tracking与Profession Aligned，AI将面对更多复杂环境下效劳的考察，从业务中蚁集的动态题集，而不只是更难的才能题。

■ 设置长青评估体系

静态评估集一朝面世，会出现题目透露导致过拟合然后迅速失效的问题。咱们将保重一个动态更新的题目蔓延评估集来缓解这一表象。

针对AI Capacity Evals：学术界提倡了许多出色的方法论，可是受限于资源与时刻不充分，无法保重成动态蔓延的抓续评估。咱们但愿能延续一系列公开评估集的方法，并提供第三方、詈骂盒、Live的评测。

针对Profession Aligned Evals：咱们但愿设置从确切业务中Live蚁集机制，邀请各行业的劳动民众与咱们共同构建和保重行业的动态评估集。

同期，在动态更新的基础上，咱们假想可横向对比的能力主张，用于在时刻上不雅察到名次除外发展速率与要道突破的信号，匡助咱们判断某个模子是否达到阛阓可落地阈值，以及在什么时刻点上，Agent不错经受已有的业务历程，提供规模化就业。

面向确切宇宙的动态评估Live Evaluations for Agents

Agent评测的双轨旅途

咱们推出xbench双轨系列评估集，分为xbench-AGI Tracking与xbench-Profession Aligned。咱们将AGI Tracking评测视为Agent应用落地的基础台阶，而Profession Centric评测则是对接确切分娩场景的高阶实践。

AGI track评测旨在考证模子在特定能力维度上是否从0到1具备了智能说明，这类评测的要道是要鼓胀难和好意思妙、鼓胀有区分度，来挖掘“智能”而非“系统”的领域。只须当某个AI要道能力在AGI Tracking中完好意思从0到1的突破，才可能进一步解锁更多专科责任历程，进入Profession Aligned评测的范围。

Profession Aligned评测则聚焦于施行分娩场景，是把Agent当成一个数字职工放在具体业务历程里来进行考察。其评估中枢并非智能存在与否，而是在确切场景下的请托完毕和买卖价值。Profession Aligned不错有许多类型应用来处分，评估不会扫尾处分有预备，只会考核完毕。另外，Profession Aligned评估从对分娩力的需求开拔，是界说垂类应用/寻找垂类AI处分有预备，即使这个场景应用还莫得作念出来。

以营销和东说念主力资源场景为例，咱们通过对xbench AGI track中xbench-DeepSearch评测主张追踪，合计AI search这一要道模子能力正在快速熟谙，寻找简历、分析候选东说念主匹配度，在各大平台上寻找KOL、分析KOL与需求的匹配度，都是潜在AI能完好意思的责任流。于是咱们开动构建xbench-Profession-Recruitment及xbench-Profession-Marketing但愿对皆Agent业务落地价值，预测TMF的时刻点。

在AI Search除外，跟着AI要道能力可猜度的拓展至多模态联接和生成，营销素材的分娩和投放会被纳入可能达到TMF的设施-进入Profession Aligned评估的测试范围内。同样，应用于recruiting时，senior recruiter的责任流不局限于people search、people evaluation，更难的在于对候选东说念主永久保重和疏浚以致是薪酬谈判和达成往复设施——这里AI具备永久顾虑、竞争和决策博弈等中枢职能，亦然下一个阶段要道智能的突破主张，咱们会抓续监测要道能力突破并增多Profession-Aligned测评的丰富度。

以AI要道能力为中心的评估（AGI Tracking）

2023-2024年大模子在常识、多模态、顾虑、教唆死守与推理能力上取得权贵突破，这些突破的累积酿成了Agent应用能力的爆发——但仍然在永久顾虑、着实度、问题发现、多智能体配合与博弈能力等上存在短板。咱们但愿收拢AI尚未充分处分的中枢能力，构建并抓续保重对应的评估集。

咱们敬佩针对这些要道能力，学术界提倡了许多出色的方法论，可是受限于资源与时刻不充分，无法保重成抓续评测、动态蔓延的评估。咱们但愿能延续一系列公开评估集的方法，并提供第三方、詈骂盒、Live的评测。

咱们把Agent能力拆分红基础智能、专科实践能力、改进能力与组织能力，每个层级中咱们会拆分出组成完好意思AGI的要道要素。AI的发展不一定是从基础到高阶的划定进行，咱们不错猜度的是，在AI获取了组织能力后也曾存在基础着实度的问题。

这一次咱们发布的xbench-ScienceQA与xbench-DeepSearch评估属于Knowledge与Tool Use的子类别，测试Agent在这两项主能力分类下的子任务能力。后续咱们会围绕这些要道问题抓续发布新的评估，并追踪市面产物的说明。

■ xbench-ScienceQA: 考察基础智能-常识

该评测集用于测试筹备生水平的学科常识和推理能力。咱们蚁集可靠、多领域、高等陶冶难度、搜索引擎上穷苦的、谜底明确的高质料题目数据。已有的有关评估集如GPQA、SuperGPQA等获取了很大认同与柔软，但他们均为一次性发布，穷苦按时更新的机制。无法有用查抄评估集透露的程度。

咱们但愿开采出一个按照季度更新的ScienceQA题目数据，并每月抓续陈诉最新模子的能力说明，每季度更新一次。咱们邀请来自顶级院校的博士筹备生以及资深行业民众出题，并聘请LLM难度进修、搜索引擎进修、同业进修等方式确保题目的公说念性、区分度与正确性。

■ xbench-DeepSearch ：考察专科分娩力-器用使用

自主算计（Planning）→信息蚁集（Search）→推理分析（Reasoning）→回首归纳（Summarization）的深度搜索能力是AI Agents通向AGI的中枢能力之一，也给评估带来了更难的挑战。基于苟简事实的评估集如SimpleQA、Chinese SimpleQA有时评估信息蚁集能力，但穷苦对自主算计和推理分析能力的考察；基于前沿科学的评估集如HLE、AIME擅长考察模子的推理分析能力，但弱于自主算计和信息蚁集能力的度量。为了更好的考察Agents的深度搜索能力，咱们推出并开源了xbench-DeepSearch评测集，具备以下特色：

• 适合汉文互联网环境，禁止搜索信息源对完毕的影响；

• 难度高，条款Agent具备算计+搜索+推理+回首的端到端空洞能力；

• 统共题目经由东说念主工出题并交叉考证，保证题目的新颖性，谜底的正确性和唯独性，便捷自动化评测；

• 抓续更新，每月抓续陈诉最新模子的能力说明，每季度更新一次评估集。

咱们合计2025年咱们会见证AI更多在基础智能与专科分娩力上的进展，本年咱们的后续评估中会柔软：

1. 具有想维链的多模态模子能否生成商用水平视频？（多模态，推理，器用使用）

2. MCP器用大面积使用是否具有着实度问题？（器用使用，着实度）

3. GUI Agents能否有用使用动态更新/未进修的应用？（器用使用，测试时学习）

以专科责任为中心的评估（Profession Aligned）

追求与确切宇宙任务对皆是刻下AI评估的中枢诉求，这里咱们提倡以专科责任为中心的构建方法。

已有的确切宇宙评估频繁所以AI能力为中心，去庸碌地秘密不同场景与领域，这关于率领通用模子的迭代特别有价值。关联词Agent应用频繁需要处分垂类场景任务，并针对垂类需求进行定制假想，此时通用评估完毕的参考价值下跌。

咱们看到在Coding、客服与医疗领域出现高质料的评估，并带动了对应专科Agent能力的快速演进与产物化。专科中心的评估会快速在更多领域延伸开，其占主流AI评估的比重也会快速普及。

面向专科责任的评估是但愿从特定劳动民众开拔，分析它本人的责任流与想维模式，构建出与民众行为对皆的任务、践诺环境与考证方式，历程如下图所示：

xbench Profession Aligned的构建死守如下三条中枢原则：

• 评估由需求界说：针对一个劳动构建评估集，优先梳理其业务历程与任务分类，聚焦于可评估的任务项。关于部分暂不可评估的任务，通过模拟方式出动为可评估形式。

• 评估任务随时刻缓缓产生的从民众业务中Live蚁集：任务并非“出题”生成，而是在民众日常业务中迟缓累积与蚁集。关于动态变化的任务，咱们抓续从确切业务流中获取与阛阓最迫临的评估内容。

• 领域价值驱动评估主张：每项任务标注民众完成所需时刻，并结合薪资基准估算任务的经济价值。每个任务预设TMF主张，一朝Agent达标则罢手更新，Profession-Aligned的评估难度追务本色匹配，而不是抓续变难。

这里咱们以招聘民众为例，假想xbench-Profession-Recruitment。

咱们通过与多家头部猎头企业合作，梳理民众每周责任在不同任务上的时刻分派。并让民众对这些任务的紧要性进行评估，筛选出领域责任的拆分图谱。

底下是一个结构化的责任任务拆解和经济价值的对皆，以及对任务在现阶段可完好意思性和可评测性的梳理：

在每个单项任务中，咱们从现存时期角度分析其可测性与可行性。第一期xbench-Profession-Recruitment收录了JD需求拆解、东说念主才画像定位、候选东说念主履历补全、东说念主物有计划联接、公开东说念主才搜索等几类任务。

咱们与专科猎头公司，以及具有充分历史业务数据累积的营销企业分别共建了xbench-Profession-Recruitment与xbench-Profession-Marketing这两个评估任务。

咱们会以本色分娩力需求为起点，通过上述方法论，调处行业民众拆解专科责任历程形成任务，界说客不雅、可复现的评价主张，一一构建Profession Aligned的评估集，先于垂类应用界说出能力主张，用eval率领profession agent的落地。展望将赓续拓展至金融（Finance）、法律（Law）、销售（Sales）等高价值专科领域的评估任务体系构建。咱们迎接来自有关领域的民众学者、产业企业、筹备机构参与共建，共同鼓舞Profession-Aligned Eval的发展。

长青评估（Evergreen Eval）

评估有生命周期的任务与产物

静态评估蚁合出现题目透露的问题。如LiveBench与LiveCodeBench评估的出现，诓骗动态更新的题目蔓延评估集，缓解了题目透露的问题，关联词，在Agent应用的评估任务中仍有新挑战。

率先，Agent应用的产物版块是具有生命周期的。Agent产物的迭代速率很快，会握住集成与开发新功能，而旧版块Agent可能会被下线。咱们天然不错在吞并时刻测试同类Agent不同产物的能力，可是弗成相比不同期间的产物能力跳跃。

同期，Agent斗殴的外部环境亦然动态变化的。即使是雷同的题目，要是解题需要使用互联网应用等内容快速更新的器用，在不同期间测试完毕不同。

上述表格展示了针对Agent的Live评测可获取的完毕。诓骗该完毕不错得到同期不同产物的名次，可是由于评估环境与任务的治愈，不同期评测之间的能力增长是莫得捕捉到的。因此咱们但愿处分如下问题：

评估集与模子握住迭代情况下，假想主张追踪Agent能力的抓续增长。

统计上，咱们不错针对残毁得分矩阵估量每个Agent版块的能力主因素。咱们聘请技俩反应表面（Item Response Theory, IRT）完成对Agent Capability的估量。IRT表面把被测对象能力θ，题目难度Ь以及题目区分度α按照如下模子建模，被测对象在测试题目上的得分为：

这个公式欢畅题目得分概率是[0,1]之间的取值，更大的难度统共Ь会禁止得分概率，而强的能力统共θ则会普及得分概率。关于区分度α更大的题目，频繁陪同能力θ增长愈加通俗，意味题目能区分更庸碌能力的评测对象。

咱们使用OpenCompass动态更新的评估完毕来考证IRT方法（https://rank.opencompass.org.cn/leaderboard-llm/?m=25-01）。该榜单从2024年2月开动，每隔1-3个月更新一次题库并发布评估完毕，底下左图展示了不同模子在评估时刻评测的得分，雷同系列模子被吞并面目的线进行招引。天然榜单完毕很好高傲了每次评估时模子能力排序，但因为题目更新，不同期间模子得分时不具有可对比性。

而诓骗IRT估量的能力得分，则不错很好地体现模子能力抓续增长的趋势。咱们不错不雅察到2024年10月之后Google Gemini模子能力的快速跟进，以及Deepseek v2与r1发布所带来的两次赫然普及。

在后续的Agent评估中，咱们会抓续陈诉Agent评估集不同产物的IRT能力得分，用于在时刻上不雅察到名次除外发展速率与要道突破的信号。

评估Agent的时期阛阓匹配（Tech-Market Fit）

资本亦然Agent应用落地的决定性因素之一。

Inference Scaling让模子与Agent不错通过干预更多推理算力来取得更好的完毕。这种干预既不错来自于强化学习带来的更长想维链，也不错是在想维链的基础上引入更屡次数的推理与汇总进一步普及完毕。

关联词咱们在施行任务中需要研讨Inference Scaling带来的干预产出比，找到在奢侈、蔓延与完毕上的均衡。访佛于ARC-AGI，咱们会追求为每个评估集陈诉在完毕-资本图上的需求弧线、东说念主类能力弧线以及现存产物的最优供给弧线。

在Benchmark的得分-资本图上，咱们不错别离出左上区域的阛阓接受区与右下的时期可行区。东说念主力资本应当是阛阓接受区边际的一部分。左图展示了时期尚未落地的景色，而中间图展示了TMF后的景色，而其中交叉部分是AI带来的增量价值。关于具有TMF的AI场景，东说念主力资源应当更多干预在领域的前沿以及不可评估的任务，而且阛阓会因为东说念主力资源与AI算力的稀缺性不同再行给东说念主类孝敬的价值订价。

咱们合计每个专科领域会履历3个阶段：

1. 未达成TMF：时期着实与阛阓接受区域莫得错乱，此时Agent应用仅是器用或主见，无法请托完毕或规模化产生价值；Agent对东说念主的影响较小。

2. Agent与Human共同责任：时期着实与阛阓接受区域发生错乱，交叉区域是AI带来的价值增量，包括（1）以低于最低东说念主类资本提供可行就业，（2）匡助普及搪塞重迭性、质料条款中等的责任内容。而高水准的责任内容，由于数据稀缺、难度更高、也曾需要东说念主来践诺，此时由于稀缺性，企业获取的AI Profit可能会被用于支付高端责任产出。

3. 专科化Agent：领域民众在构建评估体系，并率领Agent迭代。民众的责任从请托完毕转向构建专科评估进修垂类Agents，并提供规模化就业。

其中从1.向2.的出动是由AI时期突破、算力与数据的Scaling带来的，而2.转向3.的进展依赖于熟悉垂类需求、法度、历史教悔的民众。

此外，在部分领域中，AI可能带来新的欢畅需求的方式，更动已有的业务历程和分娩有计划组成方式。

AI可能会带来价值出动、更动东说念主力需求的结构，咱们敬佩社会会因为更高效的分娩效率与买卖模式增多东说念主类的总体福利。