eval_752
  • 简体中文

      • Core Alpha 签收清单

      日期：2026-03-12
      范围：PX-QA-003、PX-QA-023、/leaderboard 真实性检查、共享 alpha 浏览器签收

      本清单是当前 alpha 产品面的标准覆盖列表，定义了最终手工 $playwright-interactive 签收完成前必须验证的内容。

      运行时假设

      • 本地栈已启动，且浏览器可访问
      • Backend 与 worker 可以分别连通 Docker 内本地 OpenAI-compatible test gateway 和 provider-backed gateway
      • provider-backed 签收默认 gateway 为 http://host.docker.internal:1234
      • 基线模型为 qwen3.5-0.8b
      • 若实际使用了其他已验证端点，需要在最终报告中记录该覆盖值

      需要签收的用户可见主张

      • 键盘用户可以通过 skip links 到达 main content 和 navigation，且不会丢失焦点
      • 移动端导航对话框可以通过键盘打开、关闭，并支持 Escape
      • core alpha 页面中的可见图片都提供 alt text，而不是裸露的未标注媒体
      • 主壳层与 active runs board 在桌面和移动端都能适配，不依赖水平滚动
      • provider smoke test 反馈足够可读，用户能在发起 provider-backed run 前建立信任
      • Settings 准确描述当前 alpha 范围，而不是暗示隐藏配置或尚未上线的控制项已经存在
      • /leaderboard 是真实的 roadmap / scope 页面，而不是伪装成已上线 Arena leaderboard
      • Arena 仍然是 design-track 能力；当前真实的操作员路径是 Runs 与 Comparison

      覆盖矩阵

      Claim / ControlFunctional checkVisual checkExpected evidence
      Shell skip linksTab 到 Skip to main content，再到 Skip to navigation；确认焦点落到 #main-content / #navigation焦点环可见时，header 与 shell 仍保持可读桌面端 shell 截图 + 手工备注
      Mobile navigation dialog打开移动端导航，用 Escape 关闭，再重新打开并导航到 Runs对话框 chrome 与退出路径在窄视口下保持清晰移动端导航截图
      Providers smoke result创建或复用 provider，运行 smoke test，确认反馈文字可见且可执行结果卡片、状态文字和 usage summary 无裁切桌面端 providers 截图
      Runs active board fit启动真实 run，检查 active board、current item、inspector 和终态收敛桌面/移动端都没有横向溢出、裁切或折叠错误桌面端 + 移动端 runs 截图
      Visible image labeling检查带图片资源的 run 或 dataset 视图缩略图具备 alt text，且没有 broken-image 占位自动化 Playwright 证据 + 可选截图
      Settings truthfulness验证 locale、tutorial replay、runtime posture、telemetry status 和 scope cards文案应以现在时描述 alpha 事实，而不是未来占位语桌面端 settings 截图
      Leaderboard scope page访问 /leaderboard，确认其把用户引回 Runs 和 Comparison，而不是显示假排名roadmap 文案清晰、可读，并明确标记为未上线桌面端 + 移动端 leaderboard 截图

      报告约定

      自动化 / 手工证据包应写入 .artifacts/manual-qa/，并包含：

      • active-runs-ui-audit-report.json
      • 上述主要页面的截图
      • provider-backed 验证所使用的 runtime endpoint / model
      • 以下负向确认：
        • no clipping
        • no horizontal overflow
        • no focus jumps
        • no broken Escape dismissal
        • no missing alt text on visible images
        • no copy that claims Arena / leaderboard is already shipped

      退出条件

      • 覆盖矩阵中的每一行都要有截图证据，或明确对应某个自动化检查
      • 手工签收必须同时覆盖桌面与移动端的 shell、providers、runs、settings 与 leaderboard
      • 任何排除项都要给出具体原因；对核心 shell 与 truthful-scope checks，不接受 “Not tested”
      • 最终签收备注必须明确写出：provider-backed 验证是否使用默认 gateway（http://host.docker.internal:1234）与基线模型（qwen3.5-0.8b），还是使用了其他已验证目标