研究多 agent 最大的坑是混杂变量太多。A 论文说多 agent 比单 agent 好 20%,但它的多 agent 用了更好的 prompt、更多工具、更多推理步数——而这些跟"多 agent"这个架构选择本身没有关系。
这篇论文做了干净的设计:5 种架构统一用 3-agent 规模(单 agent 除外),统一工具集,统一 prompt 模板,统一最大 LLM 调用次数。
单 Agent:一条推理链,一个决策中心。Independent:n 个 agent 独立行动,多数投票,零通信。Centralized:orchestor 分配 + 汇总,单点验证。Decentralized:agent 间多轮 debate。Hybrid:orchestor 分解 + peer review,两级协调。
跨所有配置,多 agent 较单 agent 的相对性能变化从 +80.8%(可分解金融推理)到 -70.0%(顺序规划)。一个统一的 scaling 模型达到 R2=0.373(cross-validated),加入 task-grounded 能力度量后提升到 R2=0.413。第一个跨任务、跨架构的定量模型。
一个显著的模式:当单 agent baseline 已经很强时,多加 agent 几乎不带来提升,甚至下降。协作的边际收益递减——多 agent 真正的价值在弥补单 agent 的不足,而非锦上添花。
在工具调用密集的任务上,多 agent 普遍产生了协作开销(coordination overhead)——通信成本、分解不完美、汇总信息损失叠加,超过了多脑并行的收益。这与"工具调用是多 agent 强项"的流行直觉直接矛盾。
没有集中验证的架构(Independent、Decentralized)更容易出现错误级联:一个 agent 的错误通过消息扩散到所有 agent。Centralized 和 Hybrid 因为 orchestor 的单点把关,错误传播被截断。
论文训练了一个架构选择器,在留出任务上达到 87% 准确率(从 1×单 agent + 4×多 agent 中选最优)。关键特征不是"任务有多难",而是任务的结构属性——可分解性、是否需顺序推理、工具调用密度。
| 架构 | LLM调用 | 通信 | 并行度 | 适合场景 |
|---|---|---|---|---|
| Single-Agent | O(k) | 0 | 1 | 连贯推理、顺序规划 |
| Independent | O(nk) | 1(投票) | n | 高可分解、答案多元 |
| Centralized | O(dnk) | d·n | n | 复杂分解、需要把关 |
| Decentralized | O(rnk) | r·n | n | 辩论收敛、去中心场景 |
| Hybrid | O(rnk)+O(r)+O(p) | r·n+p·m | n | 多层级、全局+局部 |
这篇论文最务实的贡献是打破了一个迷思:"多 agent 总是更好"是错的。几条可操作的 takeaways:
1. 先跑单 agent baseline。如果单 agent 已经很好了,多 agent 大概率没帮助,甚至有害。
2. 评估任务可分解性后再决定架构。连贯推理型任务,单 agent 就是最优解。
3. 工具密集型任务慎用多 agent。协作 overhead 叠加工具 token 开销,更慢更差。
4. 必须有验证机制。没有验证的 agent 系统就是错误放大器——要么 centralized orchestor,要么 peer review。
5. 架构选择可以自动化。87% 的预测准确率意味着不需要靠直觉拍脑袋。
R2=0.37 说明大部分方差仍未解释。实验固定在 3-agent 规模——agent 数量本身的 scaling 规律(2、5、10、50 个 agent)仍然未知,而这才是生产级系统真正关心的维度。