不读源码只看截图:微软Fara1.5让27B模型自己点网页

流云 2026-11-08 1378 0条评论
摘要: 网页自动化这件事,传统做法是解析DOM、找元素、发点击指令。页面一改版,脚本就挂。微软研究院7月22日开源的Fara1.5换了条路:不看网页源码,只看截图,靠一个观察—思考—行动的...

网页自动化这件事,传统做法是解析DOM、找元素、发点击指令。页面一改版,脚本就挂。微软研究院7月22日开源的Fara1.5换了条路:不看网页源码,只看截图,靠一个观察—思考—行动的循环往下点。基于Qwen3.5构建,三档参数4B/9B/27B,MIT协议,权重已公开。

纯视觉路线的取舍很直接。模型不依赖DOM或可访问性树,每一步输入浏览器截图与完整对话历史,并参考最近三张截图;输出也不限于鼠标键盘动作,还包括网页搜索与上下文管理。好处是页面结构变化对自动化流程的影响小了——前端框架换了、元素ID变了,截图还是那张截图。代价是每步都要传图,推理成本通常高于纯文本方案,而且它仍需识别页面布局与控件位置,遇到弹窗、页面重排或加载异常时也可能定位错误。在AI工具导航的网页智能体分类里,这种"纯像素输入"的路线,和依赖页面结构的方案形成了明确区隔。

三档参数对应三种部署预算,成绩差距不小。在300个任务、136个热门站点的Online-Mind2Web上,官方三次独立运行均值为4B 57.3%、9B 63.4%、27B 72.3%。对比上一代Fara-7B的34.1%,9B版接近翻倍。27B的72.3%高于微软列出的Gemini 2.5 Computer Use、OpenAI Operator与Yutori Navigator n1对照值,但这些值非同口径复跑,只说明该基准表现,不能直接当排名看。

有个设计值得单独说:该问的时候会问。官方说明模型被训练成在信息不全或动作不可逆时主动请求澄清与审批,而不是自己替用户决定。这属于模型训练与执行环境共同实现的安全机制,但官方仍将其定位为研究预览,不能保证完全避免误操作。工程上仍建议在提交、支付、发送这类动作前插入人工确认——别把"它会问"当成"它不会错"。

训练数据补上了一个常见的缺口。只用公开网站轨迹训练,会漏掉需要登录的页面和发邮件这类不可逆操作。微软通过FaraGen1.5数据生成体系引入六个模拟真实网站的合成环境,由Solver生成轨迹、Verifier校验正确性与用户交互表现,让模型在受限场景下学到可用的操作流程。这不意味着它能绕过真实网站的登录权限或安全限制,只是让模型在训练阶段见过这类流程。

三款网页自动化产品怎么选

对比维度Fara1.5Page AgentEgo Lite
形态模型权重,需自建执行层网页内嵌智能体库完整浏览器产品
出品方微软研究院阿里Citro Labs
输入形式浏览器截图与对话历史页面结构加指令页面与浏览器状态
部署门槛自备算力与浏览器驱动嵌入自有网页装客户端即用
开源情况MIT,权重公开开源以产品形态提供
任务成功率27B版72.3%(Online-Mind2Web)以官方说明为准以官方说明为准

三者在开源情况与任务成功率口径上不可直接比较。Fara1.5部署门槛最高但可自建;Page Agent侧重把智能体嵌进网页;Ego Lite以完整浏览器产品形态提供。在AI办公软件推荐的选型逻辑里,如果你已经有网页自动化需求,又有算力能自建,Fara1.5给的是底座;如果只想在自有网页里塞个助手,Page Agent更轻;如果不想折腾部署,Ego Lite装完就能用。

使用路径三条,投入由浅入深。先把权重跑起来:在microsoft/fara仓库按说明装依赖,从Hugging Face取所需档位权重,显存有限先用4B、追求成功率用27B,先用一张静态截图做单步预测,确认输出的动作格式能被执行层解析。接浏览器执行层做闭环:用Playwright或同类工具打开目标页面并定时截图,把截图喂给模型,解析输出的鼠标与键盘动作并执行,再截下一帧,形成循环。包成HTTP接口供内部调用:按任务ID管理会话与截图流,为每个任务设置步数上限与超时,记录完整轨迹便于复盘。

几个坑提前说。纯视觉方案每步都要传图,长任务成本通常随截图数量、上下文长度与推理步数增加——估算时把单步耗时、截图数量与并发量都算进去,才是真实账单。27B档对显存要求不低,官方未给出统一显存要求,需按所选推理框架与量化方案实测。若主要考虑部署成本,可先从4B或9B版本测试,更重视复杂任务成功率再考虑27B。权重以MIT许可在Hugging Face公开,下载、商用与二次分发都不需要向微软付费,成本全部落在自己的算力与工程投入上。

Fara1.5的价值不在于又多了个网页智能体,而在于它证明了纯视觉路线在小参数上也能跑出可用的成功率。4B版57.3%的成绩意味着,不是所有网页自动化都需要大模型加DOM解析,一张截图加一个观察—思考—行动的循环,也能把跨站比价、表单录入、行程预订这类任务跑下来。但它还是研究预览,不可逆操作得留人工确认,长任务成本得自己算。浏览器智能体正在从"解析页面"走向"看懂页面",Fara1.5是这条路线上的一个务实样本。

文章版权及转载声明:

作者:流云本文地址:https://www.sanwenge.com/post/1568.html发布于 2026-11-08
文章转载或复制请以超链接形式并注明出处三文阁