北坡开源 NorthCUA 全家桶！多项开源 SOTA，模型、Harness、123 页技术报告齐发

周二，北坡的 NorthCUA 团队，突然带来了一套相当完整的电脑智能体开源成果。

Nano、Mini、Pro 三档模型，配套 Harness 代码，再加一份 123 页的技术报告，一次放出。

模型从 9B 覆盖到 397B，报告则把长任务运行、训练数据构造、模型后训练和推理加速逐项展开。这样的开源，确实诚意满满。

项目官网：

beipo.top/blog/northcua/

模型地址：

huggingface.co/beipo-ai/NorthCUA-Pro

Harness 代码：

github.com/beipo-ai/NorthCUA 

技术报告：

arxiv.org/pdf/2611.02102v1

按技术报告公布的比较结果，NorthCUA在ScreenSpot-Pro、OSWorld-G、OSWorld-Verified、WebArena-Verified、WebTestBench五项评测中取得开源 SOTA，覆盖界面定位、桌面操作、网页任务与 Web 测试；在 OSWorld 2.0 上，也达到开源领先水平。

论文 Fig. 1，NorthCUA-Pro 在六项评测中与报告所选模型的成绩对比。

在前四项评测中，397B 的 NorthCUA-Pro，超过了报告列入比较的万亿参数模型 Qwen3.8-Max 和 Kimi-K3。

小模型的表现同样值得看。在桌面任务评测 OSWorld-Verified 上，9B 的 Nano 达到 78.90%，35B 的 Mini 达到 85.30%，397B 的 Pro 则达到 88.64%。

从模型规模到任务覆盖，北坡这次拿出的是一个完整的 CUA 模型家族。至于这些模型怎样训练出来，怎样撑住复杂的软件操作，123 页报告里有相当多可以展开的内容。团队放出了 NorthCUA 玩《祖玛》的视频。看完只能说：比我玩得好多了！

以下视频来源于北坡BP

NorthCUA 玩《祖玛》，视频经过加速。

◈AI 还得学会用鼠标和键盘

人类已经把大量专业能力写进了软件。

文档排版、图像编辑、三维建模、企业业务管理，都有成熟的软件和工作流程。Agent 要使用这些能力，就得找到进入软件的办法。

CLI 和 API 提供了很好的入口，但它们的覆盖并不完整。许多功能仍然藏在窗口、菜单和面板里，跨软件的工作流程尤其如此。到了这些地方，Agent 需要自己看屏幕、找到控件，用键盘和鼠标继续操作。

CUA 要补上的，正是 Agent 操作电脑的最后一公里。

这个方向的难度也很实在。屏幕上的一个按钮，要先被识别出来，再判断功能，最后准确点中。点击之后，窗口可能切换、菜单可能展开，输入焦点也可能变化。模型必须根据新的画面，判断刚才的操作有没有达到目的。

任务一旦拉长，问题还会继续增加。

前面读过的数据，切换几个应用之后还得用；已经完成的步骤，需要和剩余工作区分开；某一步出错了，还要找到原因、恢复操作，最后交付符合要求的文件或软件状态。

界面理解、定位、规划、记忆、纠错，都要在同一条工作流里配合起来。

训练这样的模型，自然也更费功夫。每份任务都需要合适的软件环境和初始材料；执行结束后，要检查结果；中间的操作记录，还得能够用于学习。

NorthCUA 的技术路线，就是从这些条件一起入手。

◈NorthCUA 如何拿下开源 SOTA？

北坡的 NorthCUA 团队，把工作从模型训练向前延伸到了经验的产生过程。

一项任务怎样构造，软件环境怎样准备，执行结果依据什么判断，都会影响模型最终学到什么。报告标题里的“涡轮增压”，对应的是三部分相互配合的设计：

• NorthCUA Harness负责运行桌面与网页任务，支持长流程操作，并保留执行记录和检查结果。
• Experience Flywheel构造可以实际执行的任务，扩大经验来源，再从运行结果中筛选适合学习的轨迹。
• Staged Learning通过广覆盖 GUI 中训练、长程监督微调和桌面—网页联合强化学习，把这些经验转化为模型能力。

Harness、Experience Flywheel 与 Staged Learning 的整体关系。

这三部分共用任务、执行和结果检查的接口。

构造好的任务进入 Harness，留下操作过程、交付物和验收结果；这些记录经过筛选，进入模型训练。更新后的模型又可以回到同一套环境里继续交互，为后续学习提供新的经验。

这套设计所追求的正反馈，由此有了具体的实现路径：任务供给扩大经验来源，运行与验收提高经验的可用性，模型更新再支持下一轮采集。

理解了这层关系，再看报告里的技术细节，就能明白为什么它要花这么多篇幅讨论模型之外的工作。

◈支撑长任务的 Harness

长任务首先会遇到上下文的问题。

截图一张接一张，工具返回不断增加。把整段历史持续塞进模型，代价很高；简单截断，又可能丢掉后面仍然需要的信息。

NorthCUA 把模型下一步需要看到的内容，和完整保存的执行记录分开管理。

近期画面用于判断当前状态。历史截图会标记点击、拖动、滚动等操作，帮助模型把动作和画面变化对应起来；最新截图则保持干净，作为下一步操作的依据。

更早的历史可以压缩，但任务约束、已完成的工作和待办事项需要留下。模型还可以通过工作笔记，保留后面要用的事实与决定。

这样，运行中的上下文能够控制在预算内，完整轨迹也仍然可供检查和训练使用。

任务执行结束后，Harness 还有一项工作：验收。

在软件里，发出操作和完成交付之间，常常隔着好几层检查。点击导出，只能说明导出指令已经发出；文件是否存在、能否打开、内容是否符合要求，还需要继续确认。

NorthCUA 为此保留原始工作区，让检查器结合轨迹、文件和软件当前状态进行核验。任务自带的检查脚本负责明确的条件，能够调用工具的评估器则补充检查脚本未覆盖的部分。

必要的检查和输出保存完成之后，工作区才会释放。

任务从准备、执行、现场验收到保存记录的完整过程。

这个安排对训练数据很有用。每条候选轨迹，都能对应到当次执行产生的文件、软件状态和评估结果，后续筛选有据可查。

同样的流程还可以在多套隔离环境里并行运行，准备、执行和验收由批量采集服务协调。单个任务怎样稳定跑完，与大量任务怎样持续采集，被放进了同一套运行框架。

接下来，每套环境都需要一份实际做得成、结果能判断的任务。经验供给的问题也就随之而来。

◈400 万次交互，训练经验从哪里来？

报告给出的广覆盖语料，包含超过 10 万条任务轨迹、超过 400 万次 GUI 交互，涉及数十款应用和数百类操作，另有约 4 万个单步界面定位样本。

这些经验对应两种学习需求：找到正确的控件，以及完成一整项工作。

单步定位看似简单，专业软件里却有不少容易混淆的功能。比如，同样是“左对齐”，可能指移动多个对象，也可能指调整文本段落。

NorthCUA 在构造这类数据时，会引入软件文档，再结合面板和选中对象等界面信息，确认控件的实际功能。这样生成的指令，才能与画面里的目标准确对应。

完整任务的构造更复杂。用户的请求、初始环境和验收条件，需要彼此匹配。报告给出了三条不同的构造路线。

第一条，从已有的软件和材料出发。

应用里有哪些功能，文件或网站里有哪些事实，就围绕这些内容构造合理的任务。请求中的对象、操作和目标，都有实际材料支撑。

第二条，从真实需求出发，把环境补齐。

一个工作需求可能来自软件帮助、公开教程或用户问题，但原始描述通常不会附带完整的文件和运行状态。环境构造需要为它准备合适的材料与应用；对于网页任务，还需要重建相关界面、记录和交互，使任务能够实际运行。

第三条，从已有的可靠任务和验证器出发。

基于能够检查结果的种子任务，扩展、拆分或组合出新的任务。请求、初始状态和检查逻辑要同步修改，避免需求已经变了，验收仍在检查旧条件。

三条任务构造路线。每条路线最终都形成包含请求、环境准备和结果检查的完整任务。

构造出来之后，还要试跑。任务是否能够从初始状态完成，验证器能否接受正确结果、拒绝错误结果，都需要检查。否则，采集再多轨迹，也可能是在重复无法完成的任务，或者学习一套判断不准的反馈。

任务变长时，NorthCUA 会进一步组织工作阶段之间的依赖，让后续操作需要使用前面发现的信息和已经完成的结果。这类经验，才能训练模型持续推进一项工作。

对于常规采集预算内仍然做不出的难题，报告还提出了两种继续探索的方法。

一种是 Skill 演进：把尝试中已经验证有效的操作方法留下来，供后续执行参考。

另一种是里程碑搜索：在某个阶段通过检查后，同时保存软件状态和 Agent 上下文。后面的步骤出了问题，就可以从已经完成的阶段继续探索。

里程碑搜索如何保留已验证的进展，并探索后续操作

这里保留下来的，既包括可复用的方法，也包括已经完成的工作。复杂任务因此有了继续采集经验的办法，无须每次尝试都从最初的状态重新开始。

◈从 9B 到 397B，同一条训练路线

NorthCUA 的三档模型基于 Qwen3.5 模型家族，沿着同一套分阶段后训练路线发展电脑操作能力。

各类经验在不同阶段承担不同作用。

广覆盖 GUI 中训练，先建立软件操作基础。

这一阶段结合界面定位样本和多种桌面、网页轨迹，让模型接触不同的软件布局、功能与操作方式。前面提到的大规模经验库，主要在这里发挥作用。

长程 SFT，集中学习完整工作流。

这一阶段使用经过筛选、结果通过检查的完整轨迹。报告列出的规模约为 3,000 条轨迹、31 万次交互，重点是跨步骤的信息使用、任务依赖和最终交付。

模型需要学会把前一步的发现带到后一步，持续围绕同一个目标推进。

联合强化学习，再引入模型自身执行的反馈。

任务池同时包含桌面任务和 500 个网页任务。同一个策略在两类环境中执行，验证器给出结果，GRPO 根据同一任务下不同尝试的表现更新模型。

成功的尝试提供学习信号，有效执行中的失败也参与比较。模型由此能够接触到独立操作时出现的状态，并根据实际结果继续调整。

报告公布的 Pro 检查点成绩，也呈现了分阶段训练后的变化。在 OSWorld-Verified 上，广覆盖中训练后为 75.83%，长程 SFT 后达到 85.87%，联合强化学习后达到 88.64%。

从熟悉软件操作，到学习完整流程，再到利用自身执行的反馈，三档模型沿着这条路线逐步提高任务完成能力。

◈Ultrafast：把一部分操作改成选择题

长任务里，等待时间会一轮轮累积。

对用户来说，一项工作需要多少步固然重要，每一步要等多久，同样影响实际体验。哪怕只是点击一个按钮，如果每次都要等待模型逐字生成动作文本，整个流程也会被拉长。

NorthCUA-Ultrafast 尝试缩短这部分等待。

它从联合强化学习之前的 Nano 长程 SFT 模型出发，增加了一个轻量的选择头，直接为操作类型和当前可用控件打分。

一次骨干模型计算后，置信度足够的点击、悬停、勾选等操作，就可以转换为工具调用，跳过动作文本的逐字生成。

需要填写搜索词、输入表单内容或生成最终回复时，再使用原始提示发起完整的模型调用。选择不够可靠时，也可以回到原生生成路径。

NorthCUA Ultrafast 的直接选择与原生生成两条执行路径

这个设计对原模型的改动很小。原有模型权重保持冻结。选择头本身约有 421 万参数；加入 LoRA 后，可训练参数约为 4,749 万，占完整多模态模型的 0.5% 左右。LoRA 在选择路径启用，在原生生成时关闭。

报告在 WebArena-Verified 上比较了它与原生生成的表现：

在这组实验中，固定计时子集上的平均任务耗时缩短 56.7%。速度提升伴随着一定的成功率损失：Head + LoRA 的任务成功率比原生生成低 3.57 个百分点。这也是 Ultrafast 接下来仍有优化空间的地方。

它给出的方向很清楚：当前页面上能够直接选择的操作，可以尝试用更短的路径完成；开放式内容生成则保留原模型的能力。对需要连续执行大量界面操作的 Agent，这种分工有实际价值。

NorthCUA-Ultrafast 的快速决策

◈写在最后

专业软件里的功能怎样转成训练任务，任务需要什么环境，长流程怎样继续执行，交付结果怎样检查，执行经验怎样进入模型——这些环节都会影响最终效果。北坡的 NorthCUA 团队，围绕它们做了一套相互衔接的设计，并训练出了覆盖不同规模的模型家族。从专业软件的功能理解，到长任务构造，再到联合强化学习，这份工作展示了北坡打造专业领域 Agent 模型的研发能力。

对开源社区来说，模型、Harness 和技术报告同时开放，也让后续工作有了更多可以直接使用和研究的材料。这样的开放，有助于减少各个团队在基础运行框架上的重复投入，让更多精力用于具体的软件能力和专业任务。

文章来自于"夕小瑶科技说"，作者 "夕小瑶科技说"。