Karpo Decision 31B 怎么用?单卡部署与限制

依梦 2026-11-22 19 0条评论
摘要: Karpo Decision 31B 怎么用?本文依据官方模型页与模型卡,梳理它的概率输出方式、三类题型、单卡部署步骤和上下文限制,并说明它适合哪些智能体判断任务、哪些场景不适用,...

结论先说:Karpo Decision 31B 不是聊天模型,而是 MachinePulse 在 2026 年 11 月开源的、面向智能体的决策模型。它的工作是把一次判断包装成若干带选项的问题,输入一段状态,一次前向推理就返回每个选项的概率,全程不生成文字。适合把它用在浏览器动作选择、工具调用排序、任务完成判定和搜索结果筛选这类高频、低延迟的判断上;想找开箱即用的对话能力,它并不合适。

它为什么能一次算完所有选项

传统做法是把选项写进提示词,让大模型逐字生成答案,再解析出选了哪一个。Karpo Decision 31B 换了一条路径:每个选项被编码成选项代码,题目分支末尾留一个固定读出位,线性读出层为 255 个代码打分,然后只对这道题自己的选项做 softmax,得到概率分布。整条路径没有解码环节,输出 token 数为零,答案必然落在给定选项之内,不会出现候选之外的动作。

这一点决定了它的定位:它不负责理解复杂指令后自由发挥,而是把已经在候选集里的选择做得更快、更可控。官方也写明生成能力未做评估,按普通对话模型加载会得到不一致的回答。

一个请求可以带多道题,状态只算一次

请求由一段状态和任意多道题组成,编码成一条序列:先是题单,再是状态,然后是每道题各自的分支。分支注意力让每个分支只读取共享块和自身内容,题与题互不干扰,共享状态只计算一次,题目数量增加不会带来成倍开销。状态里可以放文本、JSON 与图像;网页场景下把视口截图放在 state.viewport_screenshot,让模型同时看到页面内容和操作目标。

这意味着在设计智能体时,可以把一轮里需要判断的多个问题合并到同一次请求里,而不是逐个调用。比如同时判断页面该点哪个元素、当前子任务是否完成、检索结果哪几条更相关。

决策模型三类题型怎么选

它提供三种题型,共用同一套读出层:

  • choice:在最多 255 个带键和描述的选项之间分配概率,用于动作、工具或候选结果的选择。
  • noul:返回「真」的概率,适合判断任务是否已经完成,例如流程该继续、换路还是交回人。
  • score:按调用方描述的等级刻度,返回期望等级以及各等级的概率,用于检索结果或文档、代码改动的排序与打分。

选型的原则很直接:有明确候选集就用 choice;只需要是非判断就用 noul;需要相对排序或分级就用 score。不要把它当成能凭空生成新方案的模型,候选集仍需由调用方给出。

决策模型单卡部署怎么做

官方给出两条路径。第一条是网页体验:打开官方模型页,页面中部就是 playground,上方填状态和问题,下方看概率;题型在 choice、noul、score 之间选。想对照效果,可以看 Ten Appetites 与 City Scanner 两个演示页,后者把同一组 36 场活动同时交给通用大模型和本模型。

第二条是本机部署,按以下步骤准备:

  1. 准备 Python 3.12 及以上版本和一张 GPU。
  2. 执行 pip install "karpo-decision @ git+https://github.com/machinepulse-ai/karpo-decision" 安装推理代码。
  3. 用 huggingface_hub 的 snapshot_download("MachinePulseAI/karpo-decision-31B") 拉取权重到本地。
  4. 进程内调用时,用 Decider.from_pretrained(path, device="cuda") 构造入口,向 decide() 传 state 与 questions。
  5. 需要独立服务时,用 torchrun 启动 karpo_decision.serve.server,指定 --checkpoint 与 --port;对外按 System One 协议接收 POST /v1/systemone。

同批开放的还有 12B、9B、4B、2B 与 0.8B 五档,31B 加进去共六种尺寸,底座取自 Gemma 4 与 Qwen3.5;端侧另有 APUS-OpenJev-v1 的记录。权重以 bf16 存放,31B 占 62.5 GB,一张 GPU 即可加载,长请求占用更高,峰值显存官方未披露。

和同类决策模型比,差距在哪里

按 Decision Index 榜单 2026 年 11 月 21 日生成的数据,决策质量上 Karpo Decision 31B 为 73.86,GLiDE 27B 为 73.37,两者接近;Jev 1.14 为 60.24。延迟上本模型中位 94.3 毫秒,低于 GLiDE 27B 的 122.4 毫秒;校准误差则是 GLiDE 27B 更小。需要注意口径:Jev 1.14 的延迟含网络往返,不能直接横比。榜单数据之外, Karpo 一行取自官方模型页与 Hugging Face 模型卡。

因此选择时不必只看一个总分:如果链路里每次判断都要调用,延迟差异会被调用次数放大;如果判断结果要参与后续自动决策,校准误差同样值得关注。

限制、许可与常见问题

序列长度是关键限制。单序列默认 32,768 token,超出时按题拆分、每题带上完整状态;拆分后单道题仍超出则返回 422,不做截断。开启 Triton Attention 后,31B 的序列上限可到 131,072 token。

收费吗?

权重与推理代码都以 Apache-2.0 发布,其中权重在 2026-11-16 重新授权,下载与使用不收费,允许商用,成本落在自备 GPU 上;Gemma 4 许可随附,需要一并遵守。官方没有为模型单设定价页,第三方托管接入按其计费。

能当聊天模型用吗?

不能。它输出的是选项概率而不是文字,官方写明生成能力未做评估。

综合来看,这套方案的价值在于把智能体每一步的高频判断独立出来,用概率输出换取低延迟和可控的动作范围。是否值得引入,取决于你的链路里这类判断有多少次,以及候选集能否提前定义清楚。项目地址:官方模型页 karpo.ai/models/decision、Hugging Face 的 MachinePulseAI/karpo-decision-31B、GitHub 的 machinepulse-ai/karpo-decision。

文章版权及转载声明:

作者:依梦本文地址:https://www.sanwenge.com/post/1606.html发布于 2026-11-22
文章转载或复制请以超链接形式并注明出处三文阁