ProgramGen Inference Monitor

GLM-5.3-Flash-FP8 · aggregate60

连接中

管线上游

任务构建进度

累计任务产出

ledger promoted accepted · 双模式

产出速度

当前窗口平均 promote / 小时 · With / Without

构建筛选漏斗

Inventory → Claim → Buildable → Promoted

构建分流成功率

累计 buildable / promote 成功率 · 双模式

Build / Promote 在做什么

Build:对已 Claim 的 repo 做克隆、静态画像与模式可构建性检查;通过写入 Buildable,失败写入 rejected。

Promote:把 Buildable 做成可发布 Harbor / ProgramBench 任务;通过写入 Promoted(accepted),失败写入 promotion_failed。

With binary · Build:允许的构建系统编译出 gold 可执行文件,并通过 smoke(至少一条稳定可观察命令,如 bare / --help / -h / --version)。另有仓库体积与文件数上限。此阶段不做 agent 行为测试。

Without binary · Build:在环境镜像里跑仓库自带可运行测试;生产门限约 measured tests ≥ 20、通过率 ≥ 90%、Python coverage ≥ 50%。无可运行测试或安装契约失败会拒绝。

With binary · Promote:由 agent 生成黑盒行为测试;生产门限约 active tests ≥ 200、覆盖类别 ≥ 8、gold 通过、dummy 必须失败、断言 lint ≥ 90%、禁止 smoke/deterministic fallback、文档去泄漏且可发布。

Without binary · Promote:由 agent 写重建文档与 test patch;要求 selection 仍通过、measured suite + patch 可发布、文档覆盖直接组件、字数与必备章节达标、无源码/critic 泄漏,以及安装与测试契约有效。

Funnel · Inventory → Claim → Buildable → Promoted

Inventory:HF inventory manifest 总量(每模式约 10 万)。

Claim:本机已落地 shard 的 candidate_count 之和。

Processed:已完成 Build 结论的 repo 数 = 各 shard 上 min(candidate_count, Buildable + rejected);不含未 Claim、以及 Claim 后仍在跑的输入。

Buildable:通过 Build 门限、进入后续 Promote 的候选。

ledger Promoted:*/promoted.jsonl 中 disposition=accepted 的完整成功记录。成功率与时间线仍按此口径。

Output:磁盘 */harbor_tasks/{programgen|without_binary}/<task> 物化目录数;含 ledger Promoted,以及无 promoted.jsonl、仅有 harbor 目录的补录。推理作业输入按此路径选任务。

模式进度条双轨:Processed / Inventory(处理进度)与 Output / Inventory(产出进度)。

模式对比

任务构建统计

模式 已处理 repo Build 成功率 Promote 成功率 综合成功率 产出速度 /h hard pool 占比 耗时 P50 / P90 Tests P50 / P90 Instruction 词数 P50 / P90 Agent turns P50 / P90

难度与标签

Rules 难度 + LLM tags

With / Without 分开统计(来自 task.toml)

模式 已扫描 LLM ok easy / medium / hard tagging_status primary_language Top task_archetype capabilities Top

轨迹推理

推理作业进度

Job进度完成错误最近活动

输出轨迹

轨迹统计

输入类型已处理 instances可用轨迹样本耗时 P50 / P90步数 P50 / P90Reasoning P50 / P90最后轮完整上下文 P50 / P90累计输入 token P50 / P90累计输出 token P50 / P90Reward 均值 ± 标准差

服务效率

推理 API 与 GPU

网关检查中
推理 APIGPU 利用率显存KV cache 命中率运行 / 排队生成速度TPOT

GPU 与 KV cache 命中率

实线 GPU · 虚线为相邻采集区间命中率

推理吞吐

按 API 聚合的生成 token/s

失败请求

API 错误码与次数

错误码包含的错误类型错误摘要示例过去 4 小时过去 24 小时总量

可复现性

完整推理配置