feat: add agent run heartbeat to slo reports
This commit is contained in:
Your Name
@@ -19,12 +19,12 @@
|
||||
- Stream Controller 已具备 SSE headers、abort propagation、backpressure pipeline。
|
||||
- Redis Router 已启用，承担 worker runtime state。
|
||||
- Goose Worker Pool 已从固定单点走向四 worker 可观测调度。
|
||||
- Aider/OpenHands 已从普通聊天默认能力中剥离，进入 code mode 和后端灰度门禁；P6.3 已把 code run 从 goosed session extension 外移到 `agent-run-v1` Tool Gateway 协议，P6.4 已完成 Aider 真实执行 canary，P6.5 已完成 OpenHands 真实执行 canary，P6.6 已完成 external worker 精确接管 code-run canary，P6.7 已加入 Tool Gateway 产物校验与输出审计，P6.8 已安装 external worker LaunchAgent，P6.9 已完成带 validation 的 external worker 灰度 canary，P6.10 已加入 external worker 只读观测脚本，P6.11 已加入放量策略门禁，P6.12 已开启全用户长期灰度并通过普通测试用户真实路径，P6.13 已安装自动暂停 guard，P6.15 已让 H5 code-run 自动补 receipt validation 并恢复后端 required validation，P6.17/P6.18 已把 external worker 并发 2 通过 canary 并固化为当前 all-user gray 策略，P6.19 已加入 task-level artifact validation，P8.1 已加入 stale running recovery，P8.2 已完成 Portal DB/Auth 瞬时错误兜底，P8.3 已加入 worker lease heartbeat。
|
||||
- Aider/OpenHands 已从普通聊天默认能力中剥离，进入 code mode 和后端灰度门禁；P6.3 已把 code run 从 goosed session extension 外移到 `agent-run-v1` Tool Gateway 协议，P6.4 已完成 Aider 真实执行 canary，P6.5 已完成 OpenHands 真实执行 canary，P6.6 已完成 external worker 精确接管 code-run canary，P6.7 已加入 Tool Gateway 产物校验与输出审计，P6.8 已安装 external worker LaunchAgent，P6.9 已完成带 validation 的 external worker 灰度 canary，P6.10 已加入 external worker 只读观测脚本，P6.11 已加入放量策略门禁，P6.12 已开启全用户长期灰度并通过普通测试用户真实路径，P6.13 已安装自动暂停 guard，P6.15 已让 H5 code-run 自动补 receipt validation 并恢复后端 required validation，P6.17/P6.18 已把 external worker 并发 2 通过 canary 并固化为当前 all-user gray 策略，P6.19 已加入 task-level artifact validation，P8.1 已加入 stale running recovery，P8.2 已完成 Portal DB/Auth 瞬时错误兜底，P8.3 已加入 worker lease heartbeat，P8.4 已把 heartbeat 纳入 runtime SLO 报告。
|
||||
- PG 和 MindSpace 仍保持生产数据边界，SLO 报告只做统计读取；P6.3-P6.15 不新增 schema migration，不删除或修改既有用户数据。
|
||||
|
||||
整体执行评分: 9.95 / 10。
|
||||
|
||||
可以支撑当前 H5 streaming 稳定性改造的基础目标。自动采样、worker sidecar heartbeat、SLO 只读快照、SLO 日报定时器、SLO 日报保留策略、first-token EWMA、first-token p50/p95 窗口趋势、Tool Gateway Queue v0、外部 worker 接管入口、真实 worker canary、后端 code-mode canary、code-run 用户级灰度 gate、H5 页面编辑 UI canary、P6.3 Tool Gateway 协议化、P6.4 Aider 真实 canary、P6.5 OpenHands 真实 canary、P6.6 external worker code-run canary、P6.7 Tool Gateway guardrails、P6.8 worker LaunchAgent、P6.9 validated external worker canary、P6.10 worker observability、P6.11 rollout policy gates、P6.12 all-user gray、P6.13 auto-pause guard、P6.15 H5 validation metadata、P6.17/P6.18 worker concurrency 2、P6.19 task-level artifact validation、P8.1 stale running recovery、P8.2 Portal DB/Auth transient hardening 和 P8.3 worker lease heartbeat 已经落地。P6.22 用户可见进度/失败说明按用户决策暂不开发，后续剩余差距转为更长时间 soak、自动报表告警和更细任务类型的校验策略扩展。
|
||||
可以支撑当前 H5 streaming 稳定性改造的基础目标。自动采样、worker sidecar heartbeat、SLO 只读快照、SLO 日报定时器、SLO 日报保留策略、first-token EWMA、first-token p50/p95 窗口趋势、Tool Gateway Queue v0、外部 worker 接管入口、真实 worker canary、后端 code-mode canary、code-run 用户级灰度 gate、H5 页面编辑 UI canary、P6.3 Tool Gateway 协议化、P6.4 Aider 真实 canary、P6.5 OpenHands 真实 canary、P6.6 external worker code-run canary、P6.7 Tool Gateway guardrails、P6.8 worker LaunchAgent、P6.9 validated external worker canary、P6.10 worker observability、P6.11 rollout policy gates、P6.12 all-user gray、P6.13 auto-pause guard、P6.15 H5 validation metadata、P6.17/P6.18 worker concurrency 2、P6.19 task-level artifact validation、P8.1 stale running recovery、P8.2 Portal DB/Auth transient hardening、P8.3 worker lease heartbeat 和 P8.4 heartbeat SLO 已经落地。P6.22 用户可见进度/失败说明按用户决策暂不开发，后续剩余差距转为 24h soak 观察和更细任务类型的校验策略扩展。
|
||||
|
||||
## 实测结果
|
||||
|
||||
@@ -1016,6 +1016,42 @@ Data boundary:
|
||||
- worker check `ok=true`, `expected=running`
|
||||
- guard `shouldPause=false`
|
||||
|
||||
### P8.4 Long-running Gray Soak and Heartbeat SLO
|
||||
|
||||
结果: 通过，runtime SLO JSON/Markdown 已加入 agent-run heartbeat 摘要和 failure 条件，生产只读与临时报表写入验证均通过。
|
||||
|
||||
- `runtime.toolQueueSlo` 新增:
|
||||
- `heartbeatMs`
|
||||
- `maxConcurrentRuns`
|
||||
- `statusCounts`
|
||||
- `oldestRunningStartedAt`
|
||||
- `oldestRunningAgeMs`
|
||||
- `oldestRunningHeartbeatAt`
|
||||
- `oldestRunningHeartbeatAgeMs`
|
||||
- `runningWithoutHeartbeatCount`
|
||||
- `latestRunningRun`
|
||||
- failure 条件新增:
|
||||
- `agent_run_heartbeat_stale_<age>`
|
||||
- `agent_run_missing_heartbeat_<count>`
|
||||
- Markdown Tool Queue 段落新增 heartbeat summary。
|
||||
- 测试:
|
||||
- `node --check scripts/runtime-slo-report.mjs`
|
||||
- 源码目录只读 SLO `ok=true`, `failures=[]`
|
||||
- 生产部署:
|
||||
- backup `/Users/john/Project/memind_backups/20260702-123947-p84-heartbeat-slo`
|
||||
- deployed `scripts/runtime-slo-report.mjs`
|
||||
- no service restart
|
||||
- 生产验证:
|
||||
- production read-only SLO `ok=true`, `failures=[]`
|
||||
- `toolQueueSlo.heartbeatMs=30000`
|
||||
- `toolQueueSlo.statusCounts={}`
|
||||
- `toolQueueSlo.runningWithoutHeartbeatCount=0`
|
||||
- temporary JSON/Markdown report files include heartbeat summary fields
|
||||
- 定时器:
|
||||
- `cn.tkmind.memind-runtime-slo-report`
|
||||
- remains scheduled at `23:55`
|
||||
- writes with `--write-report --prune --retention-days 30`
|
||||
|
||||
## 下一步执行建议
|
||||
|
||||
### P6.22 Task Artifact UX and Failure Messages
|
||||
@@ -1026,6 +1062,5 @@ Data boundary:
|
||||
|
||||
### P8.4 Long-running Gray Soak and Heartbeat SLO
|
||||
|
||||
- 基于 heartbeat 字段做一轮 24h all-user gray soak。
|
||||
- SLO 日报增加 running heartbeat age 和 missing heartbeat count。
|
||||
- guard 阈值保守观察，不扩大并发。
|
||||
- 第一阶段 SLO 字段已完成。
|
||||
- 下一步是 24h all-user gray soak 观察，不扩大并发。
|
||||
|
||||
Reference in New Issue
Block a user