2026年9月3日,英伟达在IFA 2026上正式发布NVIDIA PAIR——一款本地AI推理路由工具。它并非新的推理引擎,而是部署在代理层的虚拟推理路由器,将多台设备上的本地推理算力编成统一可调度的资源池,支持跨设备自动分发推理请求,且数据始终留在局域网内。PAIR首发支持Ollama与LM Studio,兼容Windows、macOS、Linux,适配GeForce RTX 20系及以上显卡、RTX PRO、DGX Spark及Apple M4+芯片。该工具已免费开源公测,源码托管在GitHub。
一、把闲置显卡变成统一算力池
PAIR的核心设计是“路由而非聚合”——它不池化显存、不切分模型,而是把每个推理请求分配给最合适的节点。通过mDNS自动发现局域网设备,节点间以mTLS加密配对,未配对前流量相互隔离。配对在界面中一键批准,不需要手动交换密钥。调度依据节点就绪状态、引擎类型、模型是否已驻留、GPU利用率等信号实时分配请求,对上层应用透明,调用方感知不到后端是哪台设备。
英伟达用Hermes Desktop跑了一个五子智能体工作流(Qwen 3.6 35B A3B经Ollama运行):单台RTX Spark笔记本平均18分钟完成,三设备PAIR集群(RTX Spark笔记本 + DGX Spark + RTX 5090)平均8分48秒,约2倍加速。兼容设备空闲时自动加入资源池,休眠或关机时自动退出,家用RTX主机、工作站、DGX Spark可混编进同一个资源池,降低组建本地集群的门槛。提示词、数据与推理流量始终留在局域网内,不上云,对数据合规与隐私敏感的场景尤其适用。
在AI工具导航的框架下,PAIR与GPU池化方案(如exo)、模型分片方案(如Petals)形成明确区隔——它不试图让多台机器合力跑一个超大模型,而是让已有两台以上设备的用户,通过请求级并发提升整体吞吐。对于常跑多智能体并发工作流的个人开发者和小型团队而言,这意味着不需要重构Agent架构,只需将连接地址改为PAIR的本地代理端口即可接入。
二、与相近方案的差异
| 对比维度 | NVIDIA PAIR | GPU池化 | 模型分片 |
|---|---|---|---|
| 解决问题 | 多机并发请求排队 | 单卡显存装不下大模型 | 单卡算力跑不动大模型 |
| 核心机制 | 代理层路由独立请求 | 合并多卡显存为一个逻辑GPU | 把模型权重切分到多机 |
| 是否合并显存 | 否 | 是 | 否 |
| 单请求是否跨设备 | 否(一请求一节点) | 是 | 是 |
| 性能收益来源 | 请求级并发 | 单请求内存扩展 | 单请求算力扩展 |
PAIR的价值边界很清晰:适合已有两台以上设备、且常跑多智能体并发工作流的场景,不适合想用多台机器合力跑一个超大模型的场景。要真正跑起来,PAIR需要一台装了本地推理引擎的设备——它首发代理的Ollama就是最常用的一步。
三、应用场景与适用人群
多智能体并发推理:主Agent把任务拆给多个子智能体同时调用模型时,PAIR把并发请求分散到不同节点,避免单卡排队
闲置设备算力复用:书房游戏主机、工位工作站、DGX Spark等设备空闲时可被调度参与推理
主设备专注前台任务:把推理流量引到别的节点,主力RTX PC继续流畅运行其他任务
适用人群:拥有两台及以上AI capable设备、常在本地跑智能体或多智能体工作流的个人开发者、AI爱好者和小型团队。在AI办公软件推荐的语境下,PAIR适合作为本地AI工作流的基础设施层——它不直接面向终端用户,而是让已有的Ollama或LM Studio部署获得集群化调度能力,尤其适合需要在本地运行多路Agent并发任务的技术团队。
四、使用方式
每台设备安装PAIR客户端后,通过mDNS自动发现同网段设备,在界面中批准安全配对请求,节点间建立mTLS加密信任。将Agent的连接地址改为PAIR暴露的本地代理端口,上层代码无需改动。PAIR是英伟达发布的免费、开源公测软件,使用不产生费用,不绑定任何商业推理服务,也不要求订阅,自备支持CUDA或Apple芯片的硬件即可。
