Agent Arena新榜:Sonnet 5.5排第三,但性价比不在前沿

流云 2026-10-04 593 0条评论
摘要: 10月2日,评测平台Arena把Claude Sonnet 5.5(Max档)和GPT-6.1 Sol(Max档)加进了Agent Arena排行榜。两款模型分别排在第3名和第5名...

10月2日,评测平台Arena把Claude Sonnet 5.5(Max档)和GPT-6.1 Sol(Max档)加进了Agent Arena排行榜。两款模型分别排在第3名和第5名,净改进率为12.52%和11.23%。前两名仍是Anthropic自家的Claude Fable 5.1(14.31%)和Opus 5.5(13.82%),第4名是GPT-6 Astra(12.27%)。

Agent Arena与文本竞技场的打分方式不同。它统计的是真实用户把模型当智能体用的会话:模型要调工具、跑多步任务,最后看用户满不满意。榜单页显示,目前累计会话约215.8万次,覆盖51个模型。净改进率综合了工具调用的可靠性、任务完成情况和可引导性。9月30日Arena刚改过可引导性的算法,从只看“被纠正后改没改”,扩展到对话里每一轮能判断的回复,一次就做对的模型会多拿分。

第三和第五,差距在误差里

只看名次,Sonnet 5.5压过了GPT-6 Astra和GPT-6.1 Sol。把误差范围带上就是另一幅图景:Sonnet 5.5的分数是12.52% ± 3.09%,GPT-6.1 Sol是11.23% ± 2.76%,两者的区间大面积重叠,跟第4名Astra只差0.25个百分点。新模型刚上榜,会话样本还少,误差带比Opus 5.5(± 2.17%)宽一截。按现在的数据,第3到第5名很难说谁一定更强。

细分项上两家各有长处。Sonnet 5.5在Bash命令失败后的恢复一项排第一,得分15.05%;GPT-6.1 Sol在工具幻觉一项排第一,编造不存在工具的比例只有0.49%,“用户确认任务完成”一项以15.47%排第二。

账单拉开了距离

两款模型的API单价其实一样,都是每百万输入token 2美元、输出10美元。到了智能体任务里,单个任务的花费差出好几倍。Arena的成本页显示:Fable 5.1单任务约4.91美元,Opus 5.5约1.56美元,Sonnet 5.5约2.99美元,GPT-6 Astra约3.10美元,GPT-6.1 Sol约0.58美元,DeepSeek V4.1 Flash约0.11美元。

单价一样、单任务成本差五倍左右,差在token用量上。Sonnet 5.5在Max档会写得更长、想得更久,此前第三方测评也发现它每个任务消耗的token比上一代多出一截。结果是它比自家更大的Opus 5.5分低、花得还多,没能进入Arena标注的性价比前沿。这条前沿目前由Fable 5.1、Opus 5.5、GPT-6.1 Sol和DeepSeek V4.1 Flash四个点连成。

GPT-6.1 Sol是这次重新画了前沿的那个。Arena在发布时给的对比是:它的单任务中位成本比上一版GPT-6 Sol低39%,分数反而高1.52个百分点;比GPT-6 Astra便宜81%,分数差距在1.04个百分点内。发布才一周多就替换掉了GPT-6 Sol,这份榜单给了OpenAI一个“便宜又不掉分”的第三方注脚。

跟上一代比

把时间往回拉,Sonnet这条线在Agent Arena上的位置一直在往前挪。上一代Sonnet 5初次上榜时排第6,这次5.5进了前三。OpenAI那边则是另一种节奏:GPT-6 Sol 9月25日上榜时净改进率9.71%,一周后6.1 Sol补上来,分数涨了一点半,成本降了约四成。

对开发者来说,选哪个模型跑智能体,取决于任务量。偶尔跑几个复杂任务,Opus 5.5这类分高、单价不算离谱的模型更省心;要批量跑、按量计费,GPT-6.1 Sol和DeepSeek V4.1 Flash这样的低成本点更合适。在AI工具导航的模型选型中,这份榜单提供了一个少见的信号:不是所有高分模型都值得铺量,单价之外,单任务实际消耗才是账单的真正决定因素。对于关注AI办公软件推荐的团队,如果智能体任务以批量执行为主,GPT-6.1 Sol的成本优势值得优先评估。

这套成本数字也有口径限制。Arena统计的是用户在它平台上发起的会话,任务类型以写代码、查资料、跑命令为主,分布跟企业内部的真实工作流未必一致;成本按Arena实际调用API的花费折算,用了缓存折扣、批量折扣的企业账单会更低。拿这张表做采购决策,最好先在自己的任务上抽样复测一遍。至于Sonnet 5.5,换到更低的推理档位后,成本和分数会落在哪里,Arena目前只测了Max一档,还没有数据。


文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1470.html发布于 2026-10-04
文章转载或复制请以超链接形式并注明出处三文阁