Harbor Framework 是什么
Harbor 的定位一句话:在容器环境里评测和优化 agent / 语言模型。作者是 Terminal-Bench 团队。
它可以做四件事:
- 评测任意 agent(Claude Code、Codex CLI、OpenHands…)
- 构建并分享自己的 benchmark 和环境
- 通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等 provider 并行跑上千个环境
- 生成 rollout 用于 RL 优化
一次 trial 的流程
Section titled “一次 trial 的流程”Task ──► 起环境 ──► agent 操作 ──► Trajectory │ │ └──► 停环境 ──► Verifier ──► Reward ├─► 聚合评测 └─► RL / SFT关键点:Trajectory(轨迹)和 Reward(奖励)是两条独立产物。 轨迹进 SFT 与失败分析,reward 进聚合指标和优化。这解释了为什么“轨迹审计”和“任务验证”必须是两件事。
为什么强调「可验证」
Section titled “为什么强调「可验证」”- reward 由
tests/test.sh里的代码产出,不是模型打分 - 任务可以在 PR 里 review,指令、环境、测试都是文件
- 同一任务换 provider、换机器,结论应当一致
与其它评测框架的差别
Section titled “与其它评测框架的差别”| 侧重 | |
|---|---|
| Harbor | 任务级可验证 reward + 容器环境 + 大规模并行 + RL rollout |
| 传统 benchmark 脚本 | 固定数据集上跑一次,难扩展 |
| 纯 LLM-as-judge | 无执行验证,reward 不可复现 |