文档 Smoke 检查清单
只要产品改动了用户可见工作流、页面 IA 或能力边界,就应执行这份清单。
核心旅程
- 按当前默认 Docker bootstrap 路径完整跑一遍 Quick Start
- 确认
Runs页的说明对应的是已发布的 active runs board,而不是旧版的表格 / detail-panel 模型 - 确认文档描述的导出路径与当前 UI 一致;若实际只提供
.eval752.zip,就不要承诺其他格式 - 确认
Comparison文案只承诺当前页面已渲染的 metrics 与 panels
真实性
- 搜索文档中是否还存在未发布主张,例如 Arena leaderboard、直接 CSV/JSON 浏览器上传、HF Hub push、significance testing,或仍被写成 roadmap-only 的功能却其实已经上线
- 检查 roadmap / current-status 语言:alpha 文档不能写成 GA 或 “production-ready”,除非产品真的已经达到该阶段
- 如果某项能力从 roadmap 进入 shipped functionality,请在同一次改动中同时更新文档和
specs/3_tasks.md
运行时与 Demo 真实性
- 确认 Quick Start、provider 文档和 run 文档不再把 seeded demo provider 描述成默认用户路径的一部分
- 确认内部测试文档明确区分本地 OpenAI-compatible test gateway 与真实 provider 结果
跨页面一致性
- 将
Providers、Schedules、Dashboard、Runs和Comparison文档与真实导航标签和主控件逐一核对 - 若新页面已上线,请把它加入对应 locale 的 nav 文件(
docs/en/_nav.json或docs/zh/_nav.json)与最近的 section_meta.json,并从最近的 user guide index 做交叉链接 - 若某页面已本地化,搜索用户文档与测试 fixtures 中是否仍残留硬编码英文示例
验证
- 条件允许时,为改动流程运行针对性的 Playwright 路径
- 如果导航发生变化,请重新构建或预览 docs
- 只有在底层文字纠正完成后,再更新截图或录屏步骤
