写在前面
这是 Hermes Agent 架构系列的第三篇,讲模型层。整体分层见 Hermes Agent 自托管架构总览。
Agent 和普通聊天最大的区别是调用量:一次任务可能来回几十轮工具调用,再加上上下文压缩、标题生成、审批判断等后台调用。模型层的核心问题就是哪些调用值得用好模型,哪些用便宜模型就够了。
整体结构
所有模型调用最终都经过一个自建的 NewAPI 网关,Hermes 只认识网关地址和密钥,切换上游厂商不需要改 Hermes 配置。
用 named provider 接入自建网关
NewAPI 这类网关对外提供 OpenAI 兼容接口。在 Hermes 中,推荐在 providers: 下为网关声明带名字的 provider(named provider),并按协议拆开:
| |
几个关键字段:
key_env:只写环境变量名,真实密钥放在.env。配置文件可以放心备份和分享。transport:接口协议,可选chat_completions、codex_responses(OpenAI Responses 风格)和anthropic_messages。同一个网关后面的不同模型可以走不同协议,按上游实际支持的选。models+context_length:手动声明可用模型和上下文长度。上下文压缩的触发点是按这个长度计算的,写错会导致压缩过早或过晚。discover_models: false:不向网关拉取模型列表,只使用models里声明的模型。
为什么要拆成多个 named provider,而不是只写一个 provider: custom 再指定 api_mode?因为 Hermes 对普通 custom 端点很保守:如果域名不是已知的 OpenAI 或 xAI 地址,它会忽略 api_mode: codex_responses 并回退到 chat_completions。只有 named provider 上的 transport 才是 Hermes 认可的明确协议声明。这个细节直接影响提示词缓存能不能命中,单独写了一篇排查文章:Hermes 接入 New API 的提示词缓存排查。
旧版本使用
custom_providers:列表(每项带name和base_url),我的配置里至今还是这种写法。当前版本仍然兼容它,但源码中已标注为 legacy,新配置建议直接写providers:。
引用时使用 custom:<name> 作为 provider:
| |
aliases 给常用模型起短名,切换模型时不用输入完整的 provider/model。
主辅模型分工
主模型负责真正的对话和工具调用,推理强度开到 high:
| |
除了对话,Hermes 还有很多后台调用。这些任务不需要强推理,全部交给 glm-5.3-flash 并关闭推理:
| |
这些任务的 provider 默认是 auto,也就是继承主模型。主模型越贵,这一步省下的钱越多,响应也更快。
选择辅助模型时有一个前提:上下文要足够长。压缩任务需要读入整段待压缩的对话,如果辅助模型的窗口比主模型小太多,压缩本身就会失败。这里用的 glm-5.3-flash 有 1310720 的上下文,比主模型还大。
上下文压缩
长任务的对话会越来越长,Hermes 在上下文用到一定比例时自动压缩:保留开头和最近的消息,把中间部分交给辅助模型生成摘要。
| |
这几个值基本是默认值,我没有调整。几个理解要点:
threshold按模型的context_length计算。grok-4.7声明了 500000,就是大约 25 万 token 时触发。protect_first_n保住任务最初的要求,protect_last_n保住当前正在做的事,被压缩的是中间的过程。- 压缩是有损的。压缩后 Agent 对早期细节的记忆会变模糊,重要的结论应该写进记忆或文件,而不是指望它一直留在上下文里。
提示词缓存
Agent 每轮都会重复发送很长的系统提示词(人设、技能列表、记忆),如果上游能缓存这段固定前缀,费用和延迟都能明显下降。但这里有一个很容易误解的配置:
| |
在当前版本中,顶层 prompt_caching 只控制 Anthropic 风格的缓存(给 Claude 请求加 cache_control 断点),对 Grok、GLM、GPT 不起作用。这几家的缓存机制各不相同:
| 模型 | 缓存方式 | Hermes 侧要做的 |
|---|---|---|
| Claude | 显式 cache_control 断点 | 用 anthropic_messages,由 prompt_caching 控制 |
| GPT / Grok | 前缀缓存 + prompt_cache_key 路由 | 用 codex_responses,Hermes 自动生成稳定的 key |
| GLM | 上游自动缓存 | 用 chat_completions,保持前缀稳定即可 |
所以对我这套 Grok + GLM 的组合来说,真正决定缓存的是 provider 的 transport 选择和网关的渠道路由,而不是 prompt_caching。完整的原理、取证方法和 New API 侧的坑,见 Hermes 接入 New API 的提示词缓存排查。
MoA:多模型参考
MoA(Mixture of Agents)让几个不同模型先各自给出意见,再由聚合模型综合后回答。我的配置:
| |
理解 MoA 的关键是它不会自动在每轮生效。正常对话只调用主模型;只有用 /moa 斜杠命令标记的那一轮,才会先把问题发给参考模型,再把它们的回答作为参考交给主模型。工具调用和任务结束仍然由正常的 Agent 循环控制。
fanout 控制在被标记的回合里多久向参考模型请求一次:
| 取值 | 含义 |
|---|---|
user_turn | 每个用户回合只请求一次,最省钱(也是无效配置时的回退值) |
per_iteration | 每次模型迭代都请求,工具调用多时成本成倍增加 |
every_n:<N> | 每 N 次迭代请求一次 |
degraded_reference_policy: loud 表示某个参考模型失败时明确提示,而不是静默降级,避免以为用了三家意见实际只用了一家。
我的用法是:日常对话不开 MoA,遇到方案选择、疑难排查这类需要多个视角的问题时,才手动用 /moa。
总结
- 用
providers:下的 named provider 接入自建网关,按协议拆分,配置里只写key_env,context_length要写准。 - 主模型干正事,压缩、审批、标题等后台任务交给又快又便宜的辅助模型,并且辅助模型的上下文要够长。
- 上下文压缩默认值就够用,但要记住它是有损的。
prompt_caching只管 Claude;GPT、Grok、GLM 的缓存取决于transport和网关路由。- MoA 是按需工具,用
/moa触发,fanout: user_turn控制成本。
下一篇讲接入层和 Profile:一个网关进程如何同时服务多个聊天平台和多个角色。
