173MB塞进手机:阿里MNN-Pocket-0.3B把3亿参数压到端侧跑466 token/s

流云 2026-11-07 979 0条评论
摘要: 端侧模型这两年有个尴尬的处境:参数小了能力不够,参数大了手机装不下。阿里巴巴MNN团队11月6日开源的MNN-Pocket-0.3B,走的是一条“把容量花在刀刃上”的路子——3亿参...

端侧模型这两年有个尴尬的处境:参数小了能力不够,参数大了手机装不下。阿里巴巴MNN团队11月6日开源的MNN-Pocket-0.3B,走的是一条“把容量花在刀刃上”的路子——3亿参数、28层、INT4量化后部署包只有173MB,在iPad Pro M5上解码466 token/s。Apache-2.0协议,权重免费下载。

先看它的架构取舍。28层、隐层896、词表65536,词嵌入输入输出共享同一张表,省下的容量留给Transformer本体。65,536词表对中英双语已经够用,不必为多语言覆盖率付额外开销。注意力方案是14个查询头配2个KV头,头维度64——KV缓存按KV头数算,同层数、同隐藏维度与同上下文长度下,相比14个KV头的标准多头注意力,KV缓存的头维度存储量约降至七分之一。减少的是缓存占用,不是模型总内存,这也是部署能开到32K的原因之一。在AI工具导航的端侧模型分类里,这种“压KV缓存而非压权重”的思路,和1-bit量化把权重压到极限的路线形成了明确区隔。

量化做在训练期,而不是事后压一遍。INT4用W4A16量化感知训练,block取64,权重按4bit读取、激活仍是16bit。事后量化的掉点没有出现:11项基准平均50.00到49.59只差0.41分,部署包从BF16的约723MB缩到173MB。小体积不是靠牺牲分数换的,是训练时就让权重适应低精度。这一点对端侧部署很关键——事后量化常常掉几个点,而QAT能把损失控制在半个点以内。

实测吞吐数据得说清楚口径。四组吞吐取自MNN 3.6.2、INT4量化的512 token配置,预热一次、测五次取中位数:iPad Pro M5 Metal后端Prefill 8,721、Decode 466 token/s,CPU为2,228与231;骁龙8 Gen 5 OpenCL为3,403与138,CPU为930与251。这组数不代表32K速度,OpenCL的Decode离200 token/s目标仍有距离。官方四项设计目标是解码吞吐超200 token/s、峰值内存低于300MB、单次推理增量能耗不超过参考手机电池能量的万分之一、指定业务场景接近8B级模型效果。实测iPad Pro M5内存增量228MB,一加13单次能耗约2.7J,100次约占6000mAh电池0.3%。

同族版本各管一段流程。模型卡列六版:Base供继续预训练、SFT供后训练消融、通用指令版做业务任务、GGUF面向llama.cpp、MNN是INT4端侧版。Dec通过决策头完成候选选择类任务,用LoRA adapter加指针头一次前向判断,不是开放式文本生成的聊天模型。另有DFlash2投机解码草稿模型,特定任务下解码可达常规自回归的2.06倍。在AI模型库的选型对比中,这种“一个家族覆盖预训练到决策四个阶段”的组织方式,比单一模型更贴近工程落地。

和同类比,取舍不同。MiniCPM5-1B保留1B参数换131K上下文,GGUF量化版约0.5GB;HY-1.8B-2Bit把1.8B压到2bit换约300MB;MNN-Pocket-0.3B用3亿参数加INT4换到173MB。体积口径不同,不宜直接比较——MNN的是含分词器、计算图与配置的部署包,HY的是量化权重文件,MiniCPM的是GGUF量化版。选型时得先看自己是要最小体积、最长上下文,还是极限量化下的本地问答。

使用路径两条。本机用MNN命令行跑INT4权重:克隆仓库,编译开-DMNN_LOW_MEMORY=true、-DMNN_BUILD_LLM=true、-DMNN_SUPPORT_TRANSFORMER_FUSE=true三个开关,取已发布INT4版本或自己导出,用llm_demo完成一段续写验证。用Transformers接口加载BF16权重则按官方示例走AutoModelForCausalLM.from_pretrained,dtype设bfloat16,提示词走tokenizer.apply_chat_template(),别手拼ChatML控制符。

几个坑提前说。部署窗口32K、位置编码40,960,超长序列按实际内存逐段试。INT4平均分比BF16低0.41,精度敏感的抽取任务建议两版各测一次。官方不建议用于高等数学与长程代码生成——MATH500只有35.40、MBPP 37.20,重推理仍是短板。173MB是静态占用,32K的KV缓存才是运行时大头,预算要按增量留。官方没有托管接口,也就没有Token价目,支出只落在自己的设备上。

MNN-Pocket-0.3B的价值不在于参数小,而在于它把“能塞进手机”和“能干点活”这两件事同时做到了。GQA压缓存、QAT压精度损失、部署包压到173MB——这三样串起来,端侧模型才有可能从“演示”走向“装进App”。对做端侧应用的移动开发者与嵌入式团队,这是一个可实测的起点;高等数学、长程代码生成这类重推理任务,换更大模型更合适。端侧智能正在从“能跑”走向“跑得动、装得下”,MNN-Pocket-0.3B是这条路线上的一个务实样本。


文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1562.html发布于 2026-11-07
文章转载或复制请以超链接形式并注明出处三文阁