AgentRun 探秘：如何让 Agent 的模型又安全、又稳定、又可靠、又透明

anycodes8个月前 (12-08)AgentRun3540

在第一篇文章中，我们提到过一个真实用户的痛点："**我之前做过很多 AI 应用，流量少的时候还好，流量一多最头疼的就是模型的安全稳定。**"这不是个例，而是几乎所有 Agent 应用开发者都会遇到的核心问题。

模型突然变慢、账号欠费、被临时封禁、存在安全问题、频繁限流——任何一个问题都可能让你的 Agent 应用在生产环境中瘫痪。更棘手的是，这些问题往往发生在流量高峰期，造成的损失难以估量。**Agent 应用的可靠性，很大程度上取决于模型调用的可靠性。**

AgentRun 通过完整的模型管理和治理能力，系统性地解决了这个问题。让我们看看它是如何做到的。

## 从混乱到有序：统一的模型管理
在没有统一管理之前，开发者面临的是这样的困境：不同的模型分散在各处，有的在代码里硬编码，有的在配置文件中，有的是环境变量。想要切换一个模型？需要改代码、测试、重新部署。想知道用了哪些模型、每个模型的调用量和成本？只能从账单倒推。

![](https://intranetproxy.alipay.com/skylark/lark/0/2025/png/312880/1764606203752-d67364cf-4aaf-4b3b-bd80-be464e70bbdb.png)

如图所示，**AgentRun 提供了统一的模型管理界面**。所有接入的模型都在这里集中展示和管理，你可以清楚地看到每个模型的状态、配置、使用情况。需要调整某个模型的配置？直接在界面修改，立即生效，无需重启服务。需要查看某个模型的调用量和成本？所有数据一目了然。

这种统一管理的价值，不仅仅是方便。更重要的是，**它让模型从"散落的资源"变成了"可管理的资产"**。你可以清晰地掌握企业使用了哪些模型、每个模型的健康状态、成本分布、使用趋势，为优化决策提供数据支撑。

## 接入灵活：支持所有主流模型
如图所示，AgentRun 在模型接入方面提供了极大的灵活性。

![](https://intranetproxy.alipay.com/skylark/lark/0/2025/png/312880/1764606304524-59ffc644-4c03-423f-bc29-3653f144d6e2.png)

当你需要接入一个新模型时，可以通过搜索功能快速找到你想要的模型供应商——OpenAI、Anthropic、阿里云百炼、Minimax、智谱 AI 等主流供应商都已经内置支持。选择供应商后，可以看到该供应商提供的所有模型列表，选择你需要的模型，填入 API Key 等必要信息，就完成了接入。

但更强大的是**自定义创建能力**。如果你使用的是企业自建的私有模型，或者是 AgentRun 尚未内置支持的模型服务，可以通过自定义创建的方式接入。

![](https://intranetproxy.alipay.com/skylark/lark/0/2025/png/312880/1764606370799-4decd9a3-db72-41c0-ab22-a61f01100451.png)

只需要提供模型的 API 地址、鉴权方式、请求格式等信息，AgentRun 就能将其纳入统一管理。这种开放性确保了平台不会成为你的技术限制，而是真正成为你的技术赋能。

```mermaid
graph TB
    A[接入模型] --> B{选择方式}
    B -->|内置支持| C[搜索供应商]
    B -->|自定义| D[配置API信息]
    
    C --> E[选择模型]
    E --> F[填写API Key]
    
    D --> G[填写API地址]
    D --> H[配置鉴权方式]
    D --> I[定义请求格式]
    
    F --> J[接入完成]
    G --> J
    H --> J
    I --> J
    
    J --> K[统一管理]
    
    style A fill:#4169E1,stroke:#000,stroke-width:2px,color:#fff
    style J fill:#32CD32,stroke:#000,stroke-width:2px,color:#fff
    style K fill:#FFD700,stroke:#000,stroke-width:2px
```

## 模型治理：从单点到高可用
接入模型只是第一步，**如何确保模型调用的稳定性和可靠性，才是生产环境的核心需求。**这就是模型治理能力的价值所在。

![](https://intranetproxy.alipay.com/skylark/lark/0/2025/png/312880/1764606458336-7428f1cf-37ad-4790-b3b4-2939acbac554.png)

如图所示，AgentRun 提供了强大的模型治理能力，底层基于开源项目 LiteLLM 构建，并**无感部署在函数计算上**。这意味着你无需关心 LiteLLM 的部署、运维、扩缩容等问题，平台已经帮你处理好了一切。

**创建一个模型治理配置，你可以实现：**

**主备切换和 Fallback 策略**：配置主模型和多个备用模型。当主模型出现限流、超时或故障时，系统会自动切换到备用模型继续服务。你可以配置多级 Fallback 策略，比如主模型是 GPT-4，第一备用是 Claude-3，第二备用是 Qwen-Max。即使多个模型同时出现问题，也能保证服务不中断。

**负载均衡**：如果你有多个相同模型的实例或账号，可以配置负载均衡策略，将请求分发到不同的实例。这不仅能避免单点过载，还能有效规避单个账号的限流问题。系统支持轮询、加权、最少连接等多种负载均衡算法。

**智能路由**：可以根据请求的特征（比如 Token 数量、优先级、用户等级等）将请求路由到不同的模型。简单查询使用经济的小模型，复杂分析使用强大的大模型，在成本和效果之间找到最优平衡。

**熔断和限流**：可以配置熔断策略，当某个模型的错误率超过阈值时自动熔断，避免持续调用失败的模型浪费时间和资源。可以配置限流策略，保护模型不被突发流量击垮，也避免超出厂商的限额导致账号被封。

**重试机制**：当模型调用失败时，系统会根据配置自动重试。可以设置重试次数、重试间隔、指数退避等策略，最大化调用成功率。

所有这些能力，都是通过可视化界面配置，无需编写代码。配置完成后，立即生效，你的 Agent 就拥有了企业级的模型高可用能力。

## 安全透明：每一次调用都清晰可见
模型治理不仅要保证稳定性，还要保证安全性和透明度。

**安全方面**，AgentRun 提供了完整的安全围栏机制。所有模型调用在发送前都会经过内容审核，自动过滤敏感信息、违规内容。可以配置自定义的安全策略，比如禁止某些关键词、限制输出长度、脱敏处理等。所有的 API Key 和敏感凭证都经过加密存储，在传输和使用过程中严格保护，确保不会泄露。

**透明度方面**，AgentRun 提供了细粒度的监控和分析能力。每个模型的调用次数、成功率、平均延迟、Token 消耗都有详细记录。可以按时间、按 Agent、按用户等多个维度进行统计分析。当某个模型出现异常时，系统会自动告警并提供详细的诊断信息，帮助你快速定位和解决问题。

更重要的是，所有的治理策略执行过程都有完整的日志记录。当发生主备切换、熔断、限流等事件时，你可以在日志中看到完整的决策过程和执行结果。这种透明度让你对系统的运行状态有充分的掌控感，也为事后分析和优化提供了宝贵的数据。

## 两种使用方式：普通用户 vs 高级用户
AgentRun 的模型治理能力设计得很巧妙，**它既能满足普通用户的"开箱即用"需求，也能满足高级用户的"深度定制"需求。**

**对于普通用户**，你甚至不需要知道"模型治理"这个概念。当你在创建 Agent 时选择模型，平台会自动为你配置基础的治理策略——自动重试、基本的容错、简单的监控。这些能力默认开启，无感使用，你只需要关注 Agent 的业务逻辑即可。

**对于高级用户**，你可以深入到模型治理的各个细节进行定制化配置。可以精确设置每个模型的权重、超时时间、重试策略、熔断阈值。可以自定义路由规则，实现复杂的流量调度逻辑。更进一步，因为底层使用的是开源的 LiteLLM，**你甚至可以自己管理 LiteLLM 实例，进行更深度的定制化开发或二次开发**。比如实现自己的路由算法、添加自定义的中间件、对接企业内部的审计系统等。

这种"简单的简单，复杂的可能"的设计理念，让不同技术水平的用户都能在 AgentRun 上找到适合自己的使用方式。

## 真实案例：从频繁故障到稳定可靠
让我们看一个真实的案例。某电商企业开发了一个智能客服 Agent，最初直接调用 OpenAI 的 GPT-4 模型。上线初期运行良好，但随着业务增长，问题开始暴露：

**第一个问题**出现在一个周五的下午。OpenAI 的服务出现短暂故障，所有调用都超时失败。客服 Agent 完全瘫痪，大量用户投诉，客服热线被打爆。团队紧急切换到备用的 Claude 模型，但因为代码里硬编码了 GPT-4 的 API，切换过程花了 2 个小时，期间造成了严重的业务损失。

**第二个问题**发生在月底。由于流量激增，GPT-4 的调用量超出了账号限额，触发了限流。大量请求返回 429 错误，Agent 响应速度急剧下降。团队只能临时申请提额，但审批流程需要几天时间。

**第三个问题**是成本问题。所有查询都使用 GPT-4，但实际上 80% 的查询都是简单问题（查订单、查物流），根本不需要 GPT-4 的能力。成本居高不下，但不知道如何优化。

![](https://intranetproxy.alipay.com/skylark/lark/0/2025/png/312880/1764606907492-1b2d3ba6-16a9-459c-9cb2-2dee1f3a88cf.png)

**引入 AgentRun 的模型治理后，这些问题都得到了解决。**团队配置了完整的模型治理策略：主模型是 GPT-4，备用模型是 Claude-3 和 Qwen-Max。当 GPT-4 出现故障时，系统会在毫秒级自动切换到备用模型，整个过程对用户透明。配置了基于语义的智能路由，简单查询自动使用 GPT-3.5-turbo，复杂问题才使用 GPT-4，成本降低了约 50%，用户体验没有明显变化。设置了限流和告警策略，当接近限额时自动降低调用频率并通知团队，避免触发硬限流。

更重要的是，**团队对系统有了充分的掌控感。**通过可观测平台，可以实时看到每个模型的健康状态、调用分布、成本趋势。当出现异常时，能够第一时间发现并处理。从频繁故障、被动应对，变成了主动管理、稳定可靠。

> 为什么 AgentRun 选择基于 LiteLLM 构建模型治理能力，而不是完全自研？
>
> **首先，LiteLLM 是经过市场验证的成熟方案。**它支持 100+ 种 LLM API，统一了不同厂商的接口差异，这是需要大量适配工作才能达到的效果。选择 LiteLLM 意味着我们站在了巨人的肩膀上，可以更快地为用户提供价值。
>
> **其次，开源意味着透明和可控。**用户不用担心被平台锁定，如果有特殊需求，完全可以基于 LiteLLM 进行定制开发。这种开放性是 AgentRun "开放不锁定"理念的体现。
>
> **最重要的是，AgentRun 的价值不在于重复造轮子，而在于让好的轮子更好用。**我们将 LiteLLM **无感部署在函数计算上**，用户无需关心部署、运维、扩缩容等问题。我们在 LiteLLM 之上构建了可视化的配置界面、完整的监控体系、与 Agent 平台的深度集成。**我们让原本需要专业知识才能用好的工具，变成了人人都能用的能力。**
>