eval_752
  • 简体中文

      • 管理 LLM Providers

      Providers 页面用来告诉 eval_752 应该调用哪个 LLM 端点。

      对大多数用户来说，这个页面的核心目标只有三步：

      1. 保存一个 provider
      2. 执行 smoke test
      3. 只有 smoke test 通过后才继续往下走

      当前 alpha UI 已支持：

      • 创建 provider
      • 编辑 provider 元数据和凭据
      • 删除 provider
      • 管理 provider 级别的已保存模型 / alias
      • 对指定模型名执行 smoke test

      Provider 字段

      每条 provider 记录包含：

      • Name：在 UI 中显示给操作者看的名称
      • Provider type：OpenAI、Anthropic、Google 或 Custom
      • Base URL：LiteLLM 兼容的端点根地址
      • Capabilities：如 system prompt、JSON mode、reasoning、image support 等能力开关
      • Rate limits：RPM / RPS / concurrency 等可选调度提示
      • API keys：静态加密存储，使用 AES-GCM

      添加 Provider

      1. 打开 Providers。
      2. 填写 provider 名称。
      3. 选择 provider 类型。
      4. 输入 base URL。 如果 eval_752 跑在 Docker 里，而你的模型服务跑在宿主机上，不要写 localhost 或 127.0.0.1，应改用 host.docker.internal，例如 http://host.docker.internal:1234/v1。
      5. 至少添加一条 API key alias + secret。
      6. 按需在高级设置里调整 capability flags 和 rate limits。
      7. 点击 Connect provider。

      保存后，这个 provider 就会出现在 Runs 的 launch sheet 和 smoke-test 面板里。

      第一次配置时建议保持简单：

      • 只加一个 provider
      • 只用一个准确的上游模型名
      • 先让 smoke test 通过，再去碰 Runs

      保存常用模型

      每张 provider 卡片都带有已保存模型管理器。建议把这些信息存进去：

      • 实际发给 provider 的上游模型名
      • 可选的人类友好 alias
      • 可选的 JSON 元数据，用于路由或操作者备注

      这些已保存模型会出现在 Runs 的建议项里，也会在 Schedules 页面复用。

      编辑或轮换凭据

      在任意 provider 卡片上点 Edit 可以：

      • 重命名 provider
      • 修改 provider type 或 base URL
      • 调整 capabilities
      • 更新面向调度器的 rate limits
      • 轮换已保存的 API keys

      如果没有改动任何字段，保存时会保持原记录不变。

      对 Provider 做 Smoke Test

      smoke-test 面板用来验证已保存的 base URL 和 API key 是否能成功返回一个小请求。

      1. 选择一个已保存 provider。
      2. 输入准确的上游模型名。
      3. 按需修改 prompt 和 timeout。
      4. 点击 Run smoke test。

      结果卡片会显示：

      • 成功或失败消息
      • 延迟
      • 输出预览
      • provider 返回时附带的 usage telemetry

      这是验证本地 LM Studio 端点或云 API 的最快方式，适合在发起完整 run 之前先做连通性检查。

      成功时通常应满足：

      • provider 出现在已保存列表里
      • smoke test 横幅显示 passed
      • 预览里出现短文本响应，而不是 provider 错误

      实用建议

      • provider 名称尽量短且明确，这样 Runs 和 Comparison 更容易读。
      • 只要改过 base URL 或轮换过凭据，就立刻再跑一次 smoke test。
      • 在 Docker 部署里，应用容器里的 localhost 指向的是容器自己，不是宿主机。像 LM Studio、Ollama、vLLM 这类本地网关，请在 Base URL 里用 host.docker.internal。
      • 能不带末尾斜杠就尽量不要带；后端保存时也会做归一化。
      • rate-limit 先保守一点，等 provider 证明稳定再往上调。
      • 如果你改了 ENCRYPTION_KEY 之后 smoke test 突然开始返回 500，很可能是本地数据库里还留着用旧 key 加密的 secret。对一次性本地工作区来说，直接重置 Docker volume 并重建 provider 最省事。见 故障排查。