Agent 评估与安全
Agent 评估与安全
没有评估就没有工程化。Agent 评估正从"答对了吗"演进为多维度的系统评测；而安全则是 Agent 落地生产的底线。
评估的四大维度
(1) Agent 行为 (Behavior)
| 指标 | 说明 |
|---|---|
| 任务成功率 (Success Rate) | 是否达成任务目标 |
| Pass@k | k 次尝试中至少一次成功的概率 |
| 输出质量 | 流畅度、逻辑连贯性、事实准确性 |
| 延迟与成本 | TTFT（首 Token 时间）、端到端延迟、Token 消耗 |
(2) Agent 能力 (Capabilities)
| 能力维度 | 评估方式 |
|---|---|
| 工具使用 | 调用准确性、工具选择准确率、参数 F1 |
| 规划与推理 | 计划质量、步骤成功率、进度率 |
| 记忆与上下文 | 事实回忆准确率、跨会话一致性 |
| 多智能体协作 | 协作任务完成率、通信效率 |
(3) 可靠性 (Reliability)
- 鲁棒性：对输入扰动、错误输入的容错能力
- 幻觉检测：是否生成不存在的信息
- 错误恢复：执行失败时的回退与重试
(4) 安全与对齐 (Safety & Alignment)
- 有害内容防护、公平性、隐私合规
评估方法
| 方法 | 优势 | 局限 |
|---|---|---|
| 代码规则判定 | 确定性、可复现 | 对自由文本不友好 |
| LLM-as-a-Judge | 灵活、速度快 | 评判模型自身可能产生幻觉 |
| 人评 (Human-as-a-Judge) | 处理边缘案例 | 难以规模化、成本高 |
2025 年典型基准
| 基准 | 领域 | 特点 |
|---|---|---|
| SWE-bench | 软件工程 | GitHub Issue → 修复成功率 |
| WebArena | Web 导航 | 浏览器多步交互 |
| SWE-bench Multilingual | 多语言软件工程 | 覆盖 10+ 编程语言 |
| IDA-Bench | 数据分析 | 动态多轮指令，顶尖模型仅 ~40% |
| CORE-Bench | 科研复现 | 评估论文结果复现能力 |
评估的关键趋势
- 从静态到动态：单轮问答 → 多轮交互中指令的演化
- 抗数据污染：通过随机化变量和沙箱环境消除训练集记忆效应
- 超准确性：从"只看准确率"转向成本效率、鲁棒性、长期适应性等多面评价
- 标准化：Agentic Benchmark Checklist (ABC) 等最佳实践指南推进评估规范化
Agent 安全
Agent 安全是一个独立的大话题，此处列出核心要点。
安全层级
Layer 4: 审计层 → 日志、监控、异常检测
Layer 3: 权限层 → 审批流程、最小权限原则
Layer 2: 沙箱层 → 文件系统隔离、网络隔离、worktree
Layer 1: 输入层 → 注入防护、参数校验、敏感信息过滤核心原则
| 原则 | 说明 |
|---|---|
| 最小权限 | Agent 只获得完成任务所必需的最小权限 |
| 审批关卡 | 破坏性操作（rm -rf、git push –force、外部 API 调用）必须人工确认 |
| 沙箱隔离 | 文件访问限制在工作目录内，网络访问按需开放 |
| 输出审计 | 记录 Agent 的所有操作轨迹，便于回溯和问责 |
| 信任边界 | Agent 和外部系统之间的每一次交互都是不可信的，必须验证 |