1.6万亿参数、100万上下文:美团LongCat-2.5把图像拆成token读

流云 2026-11-03 1530 0条评论
摘要: 多模态模型这两年有个默认做法:视觉走外挂编码器,文本走主干,两路信号在中间层对齐。美团LongCat团队11月2日发布的LongCat-2.5换了个思路——视觉不再是外挂,而是拆成...

多模态模型这两年有个默认做法:视觉走外挂编码器,文本走主干,两路信号在中间层对齐。美团LongCat团队11月2日发布的LongCat-2.5换了个思路——视觉不再是外挂,而是拆成token混进主干。总参数1.6万亿,每token激活约480亿,上下文100万token,单次最大输出26.2万token。

具体怎么做的?视觉信号由语义对齐编码器提取原生分辨率特征,再经残差向量量化转成多层级离散token,与文本以统一的token形式进入主干,视觉码本embedding和主干联合学习。这个改动带来一个工程上的好处:固定的tokenizer允许视觉token ID离线预计算并缓存,主干直接处理预先分词的序列,训练时计算图不再包含视觉编码器,长序列打包和分布式负载均衡都更简单。在AI模型库的多模态分类里,这种“视觉token化进主干”的路线,和CLIP式双塔加投影层的做法形成了明确区隔。

训练侧的重点不在单轮问答,而在长程轨迹。训练数据由可交互环境与可验证用例自动生成,来源含公开仓库与内部真实代码任务,按fail-to-pass与pass-to-pass校验;训练采用部分rollout异步策略,中断的轨迹保存后下一阶段续跑,并过滤全对或全错的零梯度样本组。说白了就是喂真实失败案例,让模型学会在多步任务里自己拆步骤、自己纠错。

落到能力上,官方演示覆盖实时流体模拟、3D文物展陈、城市沙盘与活动邀请页,产出的是带交互控制的可运行网页,视觉设计、页面开发与交互逻辑在同一条任务流程里完成。需要区分的是,演示中的3D是网页内的可浏览场景,官方未提及GLB、FBX这类独立3D资产文件的导出。对前端与可视化岗位,从描述到原型之间的环节被压缩了。

国产算力适配是另一个值得说的点。训练侧针对单卡显存不足80GB优化显存开销,按超节点拓扑配置并行组,用双重分片FSDP,FP32主权重与优化器状态经HSDP跨域再分片,长序列SFT单卡吞吐较DDP基线提升86%。推理侧W4A4量化配原生INT4算子,压测相对W8A8 INT8基线prefill提升43.3%、decode提升42.77%,TPOT降低19.72%。数据为官方自测,但方向很明确——让模型在国产卡上训得动、推得快。

对比同赛道,LongCat-2.5、Muse Spark Open与Kimi K3都走大规模稀疏路线,上下文长度同为100万token档。差别在开放状态:LongCat-2.5现阶段只开放在线体验与平台接口,权重标注“即将上线”;Muse Spark Open和Kimi K3已开放权重可自部署。三者的主要方向也不同,LongCat-2.5偏长程智能体与视觉编程,Muse Spark Open偏多模态智能体与编码,Kimi K3偏长程编程与知识工作。选型时得先看自己是要开箱即用的在线能力,还是要权重自部署。

使用路径三条。网页端注册认证后可领赠送额度,新用户千万token、老用户加五百万,属发布期限时福利,先用一个具体编码或页面生成任务试手,看它拆步骤的方式是否合你习惯。平台接口按OpenAI格式组装请求,长任务里保留完整对话与工具结果,模型依赖上下文的连续性;上线前做一轮延迟与失败率统计,长程任务的耗时明显高于单轮问答。命令行复现官方结果时注意:开启思考模式需把thinking置为enabled,此时temperature固定1.0,关闭时固定0.7,传入其他值会被覆盖而非报错;thinking_budget上限262144 token。

定价方面,接口按量计费,每百万token输入2元、缓存命中0.04元、输出8元,美元标价对应0.30、0.006、1.20,官方标注为限时折扣价。在AI工具导航的在线体验分类里,这种“送额度加低缓存价”的组合,适合先试后买;长程任务单次输入较长,缓存命中率对最终成本影响明显,重复上下文多的场景支出会低于标价。

几个坑提前说。权重尚未开放,GitHub和Hugging Face标注“即将上线”,需本地部署的场景要等。国产加速卡的具体适配型号、部署环境与权重下载方式,官方还没进一步公布。赠送额度属限时福利,规模化调用前先按实际token消耗估算成本。思考模式开关会改变temperature,复现时别拿不同参数的结果直接对比。

LongCat-2.5的价值不在于参数堆到1.6万亿,而在于它把视觉和文本真正揉进了同一个token空间,再用长程轨迹训练把智能体能力往前推了一档。对做前端原型、可视化展陈与智能体编排的团队,这是一个可实测的选项;但它还没开源,现阶段更适合在线验证而不是深度集成。原生多模态正在从“拼接”走向“统一”,LongCat-2.5是这条路线上的一个明确信号。


文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1555.html发布于 2026-11-03
文章转载或复制请以超链接形式并注明出处三文阁