9月18日,开源社区项目Laya发布一款非自回归AI决策模型,Apache-2.0协议、权重开放。它不逐字生成,而是接收一段状态文本与一组带类型的问题,一次前向传播直接返回结构化结果与校准后的概率。单题延迟约33毫秒,批量可低至7.2毫秒。在AI工具导航的决策模型分类中,这种“只判断、不生成”的形态,与对话模型走的是两条完全不同的路。
三类决策算子覆盖分类、打分与是非题
输入一段状态加一组类型化问题,一次前向传播直接返回结构化结果。不生成文本意味着没有解析负担,也不会出现编造内容的问题,判断结果可以直接进入下游逻辑。三类原语覆盖最常见的结构化决策:choice用于在候选项中给出各项被选中的概率,score在有序量表上输出分值分布,noul回答是非题并返回成立概率。换业务时改的是候选类别与问题定义,接口这一层不用重写。
语种自动分流与概率标定
内置路由器在极短时间内检测输入的语言与字符集,自动分发到英文或多语言版本。由于英文模型在非拉丁文字上会以高置信度给出错误答案,路由必须在推理前完成,这一点对多语言场景很关键。出厂权重存在过度自信,可按问题类型与选项数在自有数据上拟合温度参数,校准后平均误差明显下降。只有完成这一步,输出概率才适合直接驱动自动放行与人工复核的阈值判断。在概率具备统计意义的前提下,可以设定阈值把高置信结果自动放行、低置信结果转人工——对需要控制误判成本的业务,这层机制比单纯提高模型规模更直接。
与通用大模型的路线差异
通用大模型以平台接口调用为主,输出自然语言文本,按调用量计费;Laya开源权重、可本地部署,输出结构化标签、分值与概率,自托管长期使用无调用费。两者解决的问题并不重叠:需要文字说明时,通用模型仍是常规选择;需要把判断接入自动化流程时,Laya省去了解析文本的环节。对于关注AI办公软件推荐的团队,工单分流、内容合规判断、提示攻击拦截、客服意图识别、批量标签标注是直接受益场景——这些任务的核心不是生成内容,而是稳定、可校准地做出判断。概率校准让分数可以直接当阈值用,这是通用模型一般不提供的。
使用与部署
官方仓库给出的接入流程大致六步:安装依赖、载入模型并开启预加载、初始化状态字典、用JSON描述类型化问题、调用router.predict获取结果、设置置信阈值。仓库附带可运行的笔记本,可以用自有数据走完造数据、训练、温度拟合与评测的全过程,企业可以在不共享原始数据的前提下把判断标准调整到贴合自身业务。上线前务必完成温度拟合,否则下发概率会偏乐观,直接影响阈值判断的可靠性。推理服务建议先做单机压测,再决定并发规模。
编辑判断
Laya的价值不在于“又一个分类模型”,而在于它把判断从文本生成里拆了出来。33毫秒的单题延迟、结构化输出、可校准概率,这三项组合在一起,让它适合做自动化流程里的“闸门”而非“大脑”。对于需要把判断环节接入后端流程的开发者,Apache-2.0开放权重提供了可审计、可自托管的选项;但概率校准和阈值设定需要投入人力,这部分成本不能忽略。决策模型正在成为智能体架构中的一个独立层,Laya是这条路线上的一个轻量起点。
