累计任务产出
ledger promoted accepted · 双模式
GLM-5.3-Flash-FP8 · aggregate60
管线上游
ledger promoted accepted · 双模式
当前窗口平均 promote / 小时 · With / Without
Inventory → Claim → Buildable → Promoted
累计 buildable / promote 成功率 · 双模式
Build:对已 Claim 的 repo 做克隆、静态画像与模式可构建性检查;通过写入 Buildable,失败写入 rejected。
Promote:把 Buildable 做成可发布 Harbor / ProgramBench 任务;通过写入 Promoted(accepted),失败写入 promotion_failed。
With binary · Build:允许的构建系统编译出 gold 可执行文件,并通过 smoke(至少一条稳定可观察命令,如 bare / --help / -h / --version)。另有仓库体积与文件数上限。此阶段不做 agent 行为测试。
Without binary · Build:在环境镜像里跑仓库自带可运行测试;生产门限约 measured tests ≥ 20、通过率 ≥ 90%、Python coverage ≥ 50%。无可运行测试或安装契约失败会拒绝。
With binary · Promote:由 agent 生成黑盒行为测试;生产门限约 active tests ≥ 200、覆盖类别 ≥ 8、gold 通过、dummy 必须失败、断言 lint ≥ 90%、禁止 smoke/deterministic fallback、文档去泄漏且可发布。
Without binary · Promote:由 agent 写重建文档与 test patch;要求 selection 仍通过、measured suite + patch 可发布、文档覆盖直接组件、字数与必备章节达标、无源码/critic 泄漏,以及安装与测试契约有效。
Inventory:HF inventory manifest 总量(每模式约 10 万)。
Claim:本机已落地 shard 的 candidate_count 之和。
Processed:已完成 Build 结论的 repo 数 = 各 shard 上 min(candidate_count, Buildable + rejected);不含未 Claim、以及 Claim 后仍在跑的输入。
Buildable:通过 Build 门限、进入后续 Promote 的候选。
ledger Promoted:*/promoted.jsonl 中 disposition=accepted 的完整成功记录。成功率与时间线仍按此口径。
Output:磁盘 */harbor_tasks/{programgen|without_binary}/<task> 物化目录数;含 ledger Promoted,以及无 promoted.jsonl、仅有 harbor 目录的补录。推理作业输入按此路径选任务。
模式进度条双轨:Processed / Inventory(处理进度)与 Output / Inventory(产出进度)。
模式对比
| 模式 | 已处理 repo | Build 成功率 | Promote 成功率 | 综合成功率 | 产出速度 /h | hard pool 占比 | 耗时 P50 / P90 | Tests P50 / P90 | Instruction 词数 P50 / P90 | Agent turns P50 / P90 |
|---|
难度与标签
With / Without 分开统计(来自 task.toml)
| 模式 | 已扫描 | LLM ok | easy / medium / hard | tagging_status | primary_language Top | task_archetype | capabilities Top |
|---|
轨迹推理
| Job | 进度 | 完成 | 错误 | 最近活动 |
|---|
当前窗口内累计完成项
当前窗口平均完成项 / 小时
当前窗口累计平均值
作业上限 + 各 API 网关容量
输出轨迹
| 输入类型 | 已处理 instances | 可用轨迹样本 | 耗时 P50 / P90 | 步数 P50 / P90 | Reasoning P50 / P90 | 最后轮完整上下文 P50 / P90 | 累计输入 token P50 / P90 | 累计输出 token P50 / P90 | Reward 均值 ± 标准差 |
|---|
服务效率
| 推理 API | GPU 利用率 | 显存 | KV cache 命中率 | 运行 / 排队 | 生成速度 | TPOT |
|---|
实线 GPU · 虚线为相邻采集区间命中率
按 API 聚合的生成 token/s
失败请求
| 错误码 | 包含的错误类型 | 错误摘要示例 | 过去 4 小时 | 过去 24 小时 | 总量 |
|---|
可复现性