Featured image of post Hermes Agent 模型篇:自定义 Provider、主辅模型分工与 MoA

Hermes Agent 模型篇:自定义 Provider、主辅模型分工与 MoA

讲解 Hermes Agent 的模型层配置:通过 named provider 接入自建 NewAPI 网关,用主模型处理对话、用便宜的辅助模型承担压缩和标题等后台任务,上下文压缩参数和提示词缓存的真实作用范围,以及 MoA 多模型协作的触发方式和成本取舍。

-- 次浏览
-- 条评论

写在前面

这是 Hermes Agent 架构系列的第三篇,讲模型层。整体分层见 Hermes Agent 自托管架构总览。

Agent 和普通聊天最大的区别是调用量:一次任务可能来回几十轮工具调用,再加上上下文压缩、标题生成、审批判断等后台调用。模型层的核心问题就是哪些调用值得用好模型,哪些用便宜模型就够了。

整体结构

所有模型调用最终都经过一个自建的 NewAPI 网关,Hermes 只认识网关地址和密钥,切换上游厂商不需要改 Hermes 配置。

用 named provider 接入自建网关

NewAPI 这类网关对外提供 OpenAI 兼容接口。在 Hermes 中,推荐在 providers: 下为网关声明带名字的 provider(named provider),并按协议拆开:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
providers:
  newapi-grok:
    api: https://newapi.example.com/v1
    key_env: HERMES_CUSTOM_NEWAPI_GROK_API_KEY
    transport: codex_responses
    discover_models: false
    models:
      grok-4.7:
        context_length: 500000

  newapi-glm:
    api: https://newapi.example.com/v1
    key_env: HERMES_CUSTOM_NEWAPI_GLM_API_KEY
    transport: chat_completions
    discover_models: false
    models:
      glm-5.3-flash:
        context_length: 1310720
      glm-5.3:
        context_length: 1310720

几个关键字段:

  • key_env:只写环境变量名,真实密钥放在 .env。配置文件可以放心备份和分享。
  • transport:接口协议,可选 chat_completions、codex_responses(OpenAI Responses 风格)和 anthropic_messages。同一个网关后面的不同模型可以走不同协议,按上游实际支持的选。
  • models + context_length:手动声明可用模型和上下文长度。上下文压缩的触发点是按这个长度计算的,写错会导致压缩过早或过晚。
  • discover_models: false:不向网关拉取模型列表,只使用 models 里声明的模型。

为什么要拆成多个 named provider,而不是只写一个 provider: custom 再指定 api_mode?因为 Hermes 对普通 custom 端点很保守:如果域名不是已知的 OpenAI 或 xAI 地址,它会忽略 api_mode: codex_responses 并回退到 chat_completions。只有 named provider 上的 transport 才是 Hermes 认可的明确协议声明。这个细节直接影响提示词缓存能不能命中,单独写了一篇排查文章:Hermes 接入 New API 的提示词缓存排查。

旧版本使用 custom_providers: 列表(每项带 name 和 base_url),我的配置里至今还是这种写法。当前版本仍然兼容它,但源码中已标注为 legacy,新配置建议直接写 providers:。

引用时使用 custom:<name> 作为 provider:

1
2
3
4
5
6
7
model:
  default: grok-4.7
  provider: custom:newapi-grok
  aliases:
    grok: custom:newapi-grok/grok-4.7
    flash: custom:newapi-glm/glm-5.3-flash
    glm: custom:newapi-glm/glm-5.3

aliases 给常用模型起短名,切换模型时不用输入完整的 provider/model。

主辅模型分工

主模型负责真正的对话和工具调用,推理强度开到 high:

1
2
3
agent:
  max_turns: 150
  reasoning_effort: high

除了对话,Hermes 还有很多后台调用。这些任务不需要强推理,全部交给 glm-5.3-flash 并关闭推理:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
auxiliary:
  compression:          # 上下文压缩时生成摘要
    provider: custom:newapi-glm
    model: glm-5.3-flash
    reasoning_effort: none
  approval:             # 判断工具调用是否需要审批
    provider: custom:newapi-glm
    model: glm-5.3-flash
    reasoning_effort: none
  title_generation:     # 给会话生成标题
    provider: custom:newapi-glm
    model: glm-5.3-flash
    reasoning_effort: none
  curator:              # 审查技能使用情况,技能多时很耗时
    provider: custom:newapi-glm
    model: glm-5.3-flash
    reasoning_effort: none
  background_review:    # 后台复盘
    provider: custom:newapi-glm
    model: glm-5.3-flash
    reasoning_effort: none

这些任务的 provider 默认是 auto,也就是继承主模型。主模型越贵,这一步省下的钱越多,响应也更快。

选择辅助模型时有一个前提:上下文要足够长。压缩任务需要读入整段待压缩的对话,如果辅助模型的窗口比主模型小太多,压缩本身就会失败。这里用的 glm-5.3-flash 有 1310720 的上下文,比主模型还大。

上下文压缩

长任务的对话会越来越长,Hermes 在上下文用到一定比例时自动压缩:保留开头和最近的消息,把中间部分交给辅助模型生成摘要。

1
2
3
4
5
6
7
8
compression:
  enabled: true
  threshold: 0.5          # 上下文用到 50% 时触发
  target_ratio: 0.2       # 压缩后保留的近期尾部占阈值的比例
  protect_first_n: 3      # 开头固定保留的消息数
  protect_last_n: 20      # 尾部至少保留的消息数
  min_tail_user_messages: 1
  max_attempts: 3

这几个值基本是默认值,我没有调整。几个理解要点:

  • threshold 按模型的 context_length 计算。grok-4.7 声明了 500000,就是大约 25 万 token 时触发。
  • protect_first_n 保住任务最初的要求,protect_last_n 保住当前正在做的事,被压缩的是中间的过程。
  • 压缩是有损的。压缩后 Agent 对早期细节的记忆会变模糊,重要的结论应该写进记忆或文件,而不是指望它一直留在上下文里。

提示词缓存

Agent 每轮都会重复发送很长的系统提示词(人设、技能列表、记忆),如果上游能缓存这段固定前缀,费用和延迟都能明显下降。但这里有一个很容易误解的配置:

1
2
prompt_caching:
  cache_ttl: 1h

在当前版本中,顶层 prompt_caching 只控制 Anthropic 风格的缓存(给 Claude 请求加 cache_control 断点),对 Grok、GLM、GPT 不起作用。这几家的缓存机制各不相同:

模型缓存方式Hermes 侧要做的
Claude显式 cache_control 断点用 anthropic_messages,由 prompt_caching 控制
GPT / Grok前缀缓存 + prompt_cache_key 路由用 codex_responses,Hermes 自动生成稳定的 key
GLM上游自动缓存用 chat_completions,保持前缀稳定即可

所以对我这套 Grok + GLM 的组合来说,真正决定缓存的是 provider 的 transport 选择和网关的渠道路由,而不是 prompt_caching。完整的原理、取证方法和 New API 侧的坑,见 Hermes 接入 New API 的提示词缓存排查。

MoA:多模型参考

MoA(Mixture of Agents)让几个不同模型先各自给出意见,再由聚合模型综合后回答。我的配置:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
moa:
  enabled: true
  reference_models:
    - provider: openai-codex
      model: gpt-5.5
    - provider: openrouter
      model: deepseek/deepseek-v4-pro
    - provider: openrouter
      model: anthropic/claude-opus-4.8
  aggregator:
    provider: custom:newapi-grok
    model: grok-4.7
  fanout: user_turn
  degraded_reference_policy: loud

理解 MoA 的关键是它不会自动在每轮生效。正常对话只调用主模型;只有用 /moa 斜杠命令标记的那一轮,才会先把问题发给参考模型,再把它们的回答作为参考交给主模型。工具调用和任务结束仍然由正常的 Agent 循环控制。

fanout 控制在被标记的回合里多久向参考模型请求一次:

取值含义
user_turn每个用户回合只请求一次,最省钱(也是无效配置时的回退值)
per_iteration每次模型迭代都请求,工具调用多时成本成倍增加
every_n:<N>每 N 次迭代请求一次

degraded_reference_policy: loud 表示某个参考模型失败时明确提示,而不是静默降级,避免以为用了三家意见实际只用了一家。

我的用法是:日常对话不开 MoA,遇到方案选择、疑难排查这类需要多个视角的问题时,才手动用 /moa。

总结

  • 用 providers: 下的 named provider 接入自建网关,按协议拆分,配置里只写 key_env,context_length 要写准。
  • 主模型干正事,压缩、审批、标题等后台任务交给又快又便宜的辅助模型,并且辅助模型的上下文要够长。
  • 上下文压缩默认值就够用,但要记住它是有损的。
  • prompt_caching 只管 Claude;GPT、Grok、GLM 的缓存取决于 transport 和网关路由。
  • MoA 是按需工具,用 /moa 触发,fanout: user_turn 控制成本。

下一篇讲接入层和 Profile:一个网关进程如何同时服务多个聊天平台和多个角色。