eval_752 v2 架构
状态:当前架构快照 · 2026-03-13
概览
- Frontend:基于 React SPA,使用 Vite、TanStack Query、Tailwind 和 Radix/shadcn primitives
- Backend:FastAPI API + Celery workers,运行在 Python 3.12 上,并使用
uv管理 - 模型调用:以 LiteLLM 作为主要 provider 抽象层
- 数据集与评分:支持 Hugging Face 导入、dataset builder 流程、直接运行执行,以及与 LightEval 的互操作
- 存储:使用 PostgreSQL(SQLAlchemy/Alembic)和 Redis(队列与短期状态)
- 打包格式:
.eval752.zip作为可移植的数据集与结果 bundle
组件拓扑
开发与部署形态
- 本地开发通常通过
docker compose up --build - 整套栈包含 API、worker、beat、frontend、PostgreSQL 与 Redis
- 基于 GHCR 的部署可以直接使用预构建镜像,而不必本地构建
- 运行时行为与面向操作员的说明通过 docs、
specs/与验收清单保持同步
数据层
- SQLAlchemy models 位于
backend/src/eval_752/infra - Alembic revisions 位于
backend/alembic/ - FastAPI dependencies 与 worker services 共享
create_session_factory、session_scope等 session helpers
可观测性与流式更新
- HTTP metrics 暴露在
/metrics - run 生命周期更新通过 Redis 扇出,并经 FastAPI 的
/runs/eventsSSE 端点发送 - SPA 通过
EventSource订阅;消息 payload 详见 SSE Events
当前的真实性边界
- 文档只能描述已经发布的 alpha 行为,不能写成尚未上线的产品愿景
- 当前操作员主路径仍是 provider-first setup、dataset import、run execution 和 comparison
- Browser Harness 已上线,可用于浏览器捕获式评测,但仍明确受 v1 范围限制
