文档 Smoke 检查清单

只要产品改动了用户可见工作流、页面 IA 或能力边界,就应执行这份清单。

核心旅程

  1. 按当前默认 Docker bootstrap 路径完整跑一遍 Quick Start
  2. 确认 Runs 页的说明对应的是已发布的 active runs board,而不是旧版的表格 / detail-panel 模型
  3. 确认文档描述的导出路径与当前 UI 一致;若实际只提供 .eval752.zip,就不要承诺其他格式
  4. 确认 Comparison 文案只承诺当前页面已渲染的 metrics 与 panels

真实性

  1. 搜索文档中是否还存在未发布主张,例如 Arena leaderboard、直接 CSV/JSON 浏览器上传、HF Hub push、significance testing,或仍被写成 roadmap-only 的功能却其实已经上线
  2. 检查 roadmap / current-status 语言:alpha 文档不能写成 GA 或 “production-ready”,除非产品真的已经达到该阶段
  3. 如果某项能力从 roadmap 进入 shipped functionality,请在同一次改动中同时更新文档和 specs/3_tasks.md

运行时与 Demo 真实性

  1. 确认 Quick Start、provider 文档和 run 文档不再把 seeded demo provider 描述成默认用户路径的一部分
  2. 确认内部测试文档明确区分本地 OpenAI-compatible test gateway 与真实 provider 结果

跨页面一致性

  1. ProvidersSchedulesDashboardRunsComparison 文档与真实导航标签和主控件逐一核对
  2. 若新页面已上线,请把它加入对应 locale 的 nav 文件(docs/en/_nav.jsondocs/zh/_nav.json)与最近的 section _meta.json,并从最近的 user guide index 做交叉链接
  3. 若某页面已本地化,搜索用户文档与测试 fixtures 中是否仍残留硬编码英文示例

验证

  1. 条件允许时,为改动流程运行针对性的 Playwright 路径
  2. 如果导航发生变化,请重新构建或预览 docs
  3. 只有在底层文字纠正完成后,再更新截图或录屏步骤