vLLM开源Decision 3.0:决策模型成新赛道,27B多模态版登顶两榜

流云 2026-10-13 1440 0条评论
摘要: 10月11日,vLLM社区孵化的开源AI基础设施项目vLLM Semantic Router推出并开源多模态决策模型Decision 3.0系列。该系列模型专门做分类、选择、是非判...

10月11日,vLLM社区孵化的开源AI基础设施项目vLLM Semantic Router推出并开源多模态决策模型Decision 3.0系列。该系列模型专门做分类、选择、是非判断和评分,直接返回判断结果和概率,不生成长篇文本。权重已在Hugging Face开放,包含d3、d3-flash、d3-mini、d3-nano、d3-lite和d3-edge六款,参数覆盖0.6B至27B。

决策模型为什么突然火了

这类不生成长文本、专门“做判断”的模型,近期因Jev走红而受到关注。Jev上线仅3天,Token用量便达到1万亿;上线24天,其开发商TypeSafe AI宣布获得a16z领投的8.7亿美元融资,估值达75亿美元。10月10日,微软也推出决策模型Microsoft-Decision-1,基于Qwen3.5-9B微调,通过Microsoft Foundry和OpenRouter提供服务,对预设选项评分、返回结构化判断及置信度,可用于工具选择、模型路由和Agent流程控制。决策模型正在成为AI工具导航中一个值得单独关注的新品类——它不生成内容,而是决定“接下来该谁处理”。

Decision 3.0的差异化:开源+多模态

与Jev主要通过云端API提供文本决策不同,Decision 3.0开放权重,支持本地部署,可直接处理图片和视频。旗舰d3基于Qwen3.8-27B打造,是一款27B多模态模型,支持输入多张图片和视频;其余5款基于不同参数规模的Qwen3.5。在决策能力榜单Jev Decision Index 0.3.1中,d3文本决策指数64.7分,公开集得分65.5分,位列文本榜第一,超过Jev的60.1分;视觉榜中d3得71.6分,同样排名第一。d3(27B)、d3-flash(9B)及d3-mini(4B)的成绩均领先于微软Decision-1(9B)的53.2分。

第三方评测中,一位开发者设置了75道工具选择题,让模型判断应调用哪个WebMCP工具。本地Mac测试中,Microsoft-Decision-1答对71题位列第一,d3-flash和d3-mini答对70题并列第二,Jev答对69题,d3-nano答对68题。这说明在工具选择这类具体任务上,各家模型差距并不悬殊,选型更多取决于部署方式与成本。

性能与本地部署

团队公布的数据显示,在单张AMD Instinct MI325X GPU上运行时,d3处理文本请求的延迟中位数为55毫秒,包含图片的请求为273毫秒,10秒视频的请求为553毫秒。另有开发者将d3-lite通过Core ML部署在搭载M5 Pro的Mac上,对1000个PR进行工作组分类与路由,总耗时约2分钟,单个PR平均处理约0.12秒,吞吐量约每秒8.3个PR,整个推理过程在本地完成,无需调用云端API。对于关注AI办公软件推荐的团队,这种本地部署能力意味着可以在内网完成意图识别与任务路由,数据不出域。

应用场景:让决策模型当“分诊台”

Decision 3.0可用于客服分流、内容审核、风险识别和模型路由。例如,客户称其收到的搅拌机破损,希望换货,并附上收据图片和配送视频。模型可以在一次请求中回答三个问题:该由哪个团队处理、收据是否包含这台搅拌机、包裹如何送达,分别给出“退换货团队”“是”“当面送达”三个回答。在多模型系统中,这类模型能先识别用户意图、判断请求类型,再将任务交给更合适的生成模型处理,减少通用大模型处理简单任务的负担,帮助系统控制推理成本、提升响应速度和路由准确性。在AI工具导航的架构中,决策模型正扮演“分诊台”的角色——它不直接解决问题,而是让合适的模型去解决合适的问题。


文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1492.html发布于 2026-10-13
文章转载或复制请以超链接形式并注明出处三文阁