大模型拼参数这件事,商汤这次换了个玩法。10月30日开源的SenseNova Loop-9B-Preview,总参数约9B,却把解码器第4至27层连续执行两遍——32层权重完成56层计算,训练上下文拉到262,144个token。Apache-2.0协议,权重已上Hugging Face。在AI工具导航的多模态模型分类里,这种“循环复用权重”的架构,和堆层数、堆参数的传统路线形成了明确区隔。
先说清楚那个容易误解的数字。模型卡上写着约9B总参数、约14.6B推理参数,两个口径不是一回事。9B是实际存储的权重规模,24层循环区块两遍执行共享同一份参数;14.6B是按单次前向56层计算折算的推理口径,不存在另外5.6B独立权重。换句话说,显存里装的是9B,计算时跑的是56层的深度。权重不增加,逐层计算次数增加,第二遍把第一遍的输出当作输入,不需要保留第一遍全部中间层激活,实际显存主要受KV Cache、上下文长度、批量和注意力实现影响。
架构上还有个细节:每四层一组做三线性一全注意力,配双流mHC路由。这套设计的目标很明确——用更少的存储权重换更深的计算路径,让长上下文场景下的推理成本可控。262,144个token的上下文意味着什么?一份几百页的技术文档、一整套合同、一个中型代码库,可以一次装进去,跨章节检索、信息抽取与结论合并放在同一次调用里,省掉切分和二次汇总。超出这个范围仍要分段处理,但门槛已经比多数同参数级模型高出一截。
能力边界得说清楚。输入接受文本与图像,视觉和文字进同一条序列,输出为文本。可用于报表截图取数、扫描件信息提取、设计稿字段整理,减少对独立OCR预处理的依赖。但模型卡没列视频与音频通道,视觉输入按图像处理,别按视频理解去推断。训练配方把文档、代码与工具轨迹混在一起,适合接入外部工具执行环境处理多步骤任务,但工具调用、历史记录与中间状态由上层智能体框架管理,模型自身不承担持久化。在AI模型库的选型对比中,这意味着它更适合作为长任务管线里的“理解层”,而不是包办一切的执行层。
和同类模型比,差异在取舍。MiniCPM-V 4.7分35B-A3B与1B两档,部署形态偏端侧;Muse Spark Open参数规模816B、激活42B,需要大规模GPU集群;Loop-9B-Preview用约9B存储权重撑262K上下文,定位在长文档理解、工具调用与智能体工作流。三者不是替代关系,是不同算力预算下的不同选择。
部署有三条路。本地权重用Transformers加载,装Transformers 5.18.0、PyTorch 2.11.0(CUDA 13.0)、accelerate与safetensors,以bfloat16加载并开启trust_remote_code,先做一次贪心解码确认输出正常。命令行用容器起推理服务,LightLLM官方镜像把模型目录挂到/model,四卡示例的--tp与LOADWORKER须一致;SGLang和vLLM目前都要拉PR分支,两个实现都还没进稳定版,升级别按主干走。接口接入按OpenAI格式走/v1/chat/completions,与本机推理逐字比对确认两条链路一致。
微调路径官方也给了:克隆OpenSenseNova/torchtitan,取mhc2_loop2_titan.sh,把MODEL_PATH与DATASET指向自己的数据,单机八卡跑一轮。循环层号、遍数与mHC路由都属执行配置,训练侧改动后要同步到推理侧——这一点容易漏,改完训练忘了改推理,输出会对不上。
几个坑提前说。9B和14.6B两个参数口径别混用,显存规划按9B算,计算量按56层估。循环执行不增加权重占用,但增加逐层计算次数,长上下文下的延迟要实测。商汤没有为这个Preview版本单独公布API单价,自建成本分两段:推理侧的显存与卡数,微调侧的卡时。官方没给固定显存配置,随上下文长度、批量和推理框架变化,先单卡bfloat16跑一次再决定是否上多卡。
适用人群上,它适合有长文档、长任务管线且要自建部署的团队,也适合做多模态智能体原型的工程组。只需端侧轻量识图的场景,更小的开源模型更划算。在AI办公软件推荐的语境里,Loop-9B-Preview的定位不是通用助手,而是长材料处理和工具调用的底座——它解决的是“一份长文档加一串工具调用”这类任务,单轮问答用不上这么深的执行路径。
SenseNova Loop-9B-Preview的价值不在于参数规模,而在于它用循环解码把“存储成本”和“计算深度”拆开了。32层权重跑56层计算,262K上下文配9B存储,这个组合在长文档场景里有明确的性价比逻辑。但它还是Preview版本,SGLang和vLLM的实现都没进稳定版,部署踩坑的概率不低。循环解码这条路能不能走通,要看后续正式版和社区适配的进度。
