8月17日,香港理工大学与OPPO研究院开源PixRestore,一个像素空间统一图像修复模型,Apache-2.0协议,代码与权重同步开放。它的取舍与主流做法不同:不再把图像压进隐空间,而是直接在像素上做扩散,用一套53.7M的轻量主干换掉大模型加VAE的组合。官方实测单步推理延迟约44毫秒,一次前向可同时处理去雨、去噪、去模糊与去雨滴等多类退化。在AI工具导航的图像修复分类中,这种“小参数、单步推理、多退化统一”的路线,与动辄数十B的生成式修复方案形成了明确区隔。
绕开VAE:在像素上做流匹配
主流统一修复方案多把文生图模型改造成修复器,图像先经VAE编码再解码,这一步会丢掉对修复敏感的细节。PixRestore把条件输入拼成六通道,以patch size 8切块后在像素空间做流匹配,序列长度仍在可训练范围内,细节因此不经过压缩再还原的往返。对于老照片修复和手机端成像增强,这个选择直接决定了纹理与边缘的保留程度。
层路由:可靠特征进来,不可靠层转去监督
视觉编码器取六层特征,模型用低质与高质图像的DINO相似度预测每层权重:权重高的层作为稠密条件注入DiT块,权重低的层则接受更强的高质特征监督,用来推动退化被去掉而不是被原样带过。这套加权同时构成了分层视觉监督,训练时不需要额外标注。
单步蒸馏:从多步采样压到一次前向
多步模型先用25万次迭代训练,再用DINO对抗目标微调10万次,蒸馏成一步生成器。53.7M参数、1次函数评估、44毫秒延迟——这个量级让它能进手机侧或批量流水线,而不只是停留在实验环境。对于关注AI办公软件推荐的团队,批量处理历史图库时,瓶颈更多在读写而不在显存。
性能对比:去雨双项领先,去噪去模糊各有胜负
官方论文公开基准表显示:去雨条纹PSNR 32.28,高于FoundIR-v2的27.85、PromptIR的28.43、Flux-IR的21.01;LPIPS 0.0902,为四者最低。去噪PSNR 34.87,PromptIR为35.45略高,但LPIPS 0.0624远低于PromptIR的0.1104。去模糊PSNR 28.32,PromptIR为29.10小胜,说明一步生成在强退化下的保真仍有折损。一套权重覆盖8类退化,好处是不必按退化类型分别装模型;代价是某一类极端退化的专用模型仍可能更优,选型时应对着自己那类画面实测。
应用与获取
要不要用它,取决于一段素材里同时出现几类退化。三类退化叠在同一张图上时,这套权重省掉的是逐个换模型。典型场景包括老照片与手机成像增强、监控与行车记录清晰化、内容生产前置清理,以及研究复现与蒸馏实验。适用人群:影像算法与端侧部署方向的工程团队、需要批量处理历史图库的内容团队,以及研究统一修复与扩散蒸馏的研究者。
命令行推理单卡即可完成:建conda环境、装依赖、从Hugging Face或官方网盘取权重,执行accelerate launch inference.py并指定--infer-steps 1即为单步模式。批量处理把输入指向图片目录或JSON清单。训练按官方配置需要8张A800、512见方裁块、25万次迭代再加10万次蒸馏,这部分才是真正需要预算的环节。代码与权重均按Apache-2.0分发,下载、修改与商用不产生许可费用。
编辑判断
PixRestore的价值不在于“又一个修复模型”,而在于它证明了轻量参数加单步推理也能覆盖多类退化。53.7M、44毫秒、Apache-2.0——这三个数字组合在一起,让它适合嵌入手机侧或批量流水线,而不是停留在论文里。对于影像算法团队,它是一个可自托管、可继续微调的起点;对于内容团队,它省掉的是按退化类型逐个换模型的工程成本。但去噪与去模糊上PromptIR仍有优势,选型前用自己的素材实测,比看榜单更可靠。
