eval_752 v2 架构

状态:当前架构快照 · 2026-03-13

概览

  • Frontend:基于 React SPA,使用 Vite、TanStack Query、Tailwind 和 Radix/shadcn primitives
  • Backend:FastAPI API + Celery workers,运行在 Python 3.12 上,并使用 uv 管理
  • 模型调用:以 LiteLLM 作为主要 provider 抽象层
  • 数据集与评分:支持 Hugging Face 导入、dataset builder 流程、直接运行执行,以及与 LightEval 的互操作
  • 存储:使用 PostgreSQL(SQLAlchemy/Alembic)和 Redis(队列与短期状态)
  • 打包格式.eval752.zip 作为可移植的数据集与结果 bundle

组件拓扑

开发与部署形态

  • 本地开发通常通过 docker compose up --build
  • 整套栈包含 API、worker、beat、frontend、PostgreSQL 与 Redis
  • 基于 GHCR 的部署可以直接使用预构建镜像,而不必本地构建
  • 运行时行为与面向操作员的说明通过 docs、specs/ 与验收清单保持同步

数据层

  • SQLAlchemy models 位于 backend/src/eval_752/infra
  • Alembic revisions 位于 backend/alembic/
  • FastAPI dependencies 与 worker services 共享 create_session_factorysession_scope 等 session helpers

可观测性与流式更新

  • HTTP metrics 暴露在 /metrics
  • run 生命周期更新通过 Redis 扇出,并经 FastAPI 的 /runs/events SSE 端点发送
  • SPA 通过 EventSource 订阅;消息 payload 详见 SSE Events

当前的真实性边界

  • 文档只能描述已经发布的 alpha 行为,不能写成尚未上线的产品愿景
  • 当前操作员主路径仍是 provider-first setup、dataset import、run execution 和 comparison
  • Browser Harness 已上线,可用于浏览器捕获式评测,但仍明确受 v1 范围限制