AgentPrune是什么
AgentPrune 是同济大学、香港中文大学等机构联合提出的针对大型语言模型（LLM）驱动的多智能体系统通信优化框架，通过“剪枝”技术，剔除冗余或有害的通信内容，降低通信成本提升系统性能。AgentPrune 将多智能体系统建模为时空图，基于低秩稀疏图掩码优化通信连接，通过一次性剪枝生成高效的通信拓扑。AgentPrune 在多个基准测试中表现出色，仅需传统方法 5.6% 的成本能达到相当的性能。能无缝集成到现有的多智能体框架中，如 AutoGen 和 GPTSwarm，实现 28.1% 到 72.8% 的 token 减少。
AgentPrune的主要功能
- 通信冗余识别与剪枝：AgentPrune首次识别定义了LLM多智能体系统中通信冗余的问题，通过一次性剪枝技术，剔除冗余有害的通信内容。
- 时空图建模与优化：将多智能体系统建模为时空图，包含空间边（同一轮对话中的通信）和时间边（跨轮对话中的通信），通过参数化图掩码进行优化。
- 低秩稀疏图掩码应用：基于低秩稀疏图掩码，促使通信结构更加稀疏，减少冗余、噪声以及恶意消息，同时增强对网络攻击的鲁棒性。
- 成本与性能优化：在多个基准测试中，AgentPrune以更低的成本（仅$5.6相比于其他系统的$43.7）达到与现有最先进的拓扑相当的效果，能无缝集成到现有的多智能体框架中，实现28.1%到72.8%的token减少。
- 对抗攻击防御：AgentPrune能成功防御两种类型的智能体对抗攻击，带来3.5%到10.8%的性能提升。
AgentPrune的技术原理
- 时空图建模：AgentPrune 将多智能体系统的通信结构建模为一个时空图，节点表示智能体，边表示通信连接，分为空间边（同一轮对话中的通信）和时间边（跨轮对话中的通信）。
- 参数化图掩码：AgentPrune 通过参数化图掩码来优化通信连接。图掩码的目标是通过分布近似和低秩稀疏性来反映通信连接的重要性。分布近似通过策略梯度方法最大化系统的效用，同时最小化通信冗余；低秩稀疏性则通过低秩约束促使通信结构更加稀疏，剔除冗余、噪声甚至恶意消息。
- 一次性剪枝：在训练初期，AgentPrune 对图掩码进行有限次优化，然后通过一次性剪枝剔除不重要的通信连接。具体来说，AgentPrune 根据图掩码的大小选择保留一定比例的最重要连接，生成一个稀疏的通信图。
- 优化后的通信图：在后续的通信过程中，多智能体系统将严格遵循这个优化后的通信图进行消息传递，降低通信成本，同时保持高效的性能。
AgentPrune的项目地址
- Github仓库：https://github.com/yanweiyue/AgentPrune
- arXiv技术论文：https://arxiv.org/pdf/2410.02506
AgentPrune的应用场景
- 多智能体系统优化：AgentPrune 可以无缝集成到现有的多智能体框架中，如 AutoGen 和 GPTSwarm，显著减少通信成本，同时保持或提升系统性能。
- 经济高效的通信拓扑：在多智能体系统中，AgentPrune 通过一次性剪枝技术，生成稀疏的通信拓扑，显著减少 Token 消耗。
- 复杂任务协作：AgentPrune 适用于需要多个智能体协作完成的复杂任务，如数学推理、代码生成和常识问答等。通过优化通信结构，AgentPrune 能提高任务完成效率并降低经济成本。
- 工业和企业级应用：在工业自动化和企业级应用中，AgentPrune 可以优化智能体之间的通信，减少资源浪费，提高系统的整体效率。