Circuit Tracer是什么
Circuit Tracer 是 Anthropic 推出的开源工具，用在研究大型语言模型的内部工作机制。Circuit Tracer 基于生成归因图（attribution graphs）揭示模型在生成特定输出时内部所经历的步骤。归因图能帮助研究人员追踪模型的决策过程、可视化特征之间的关系，测试不同的假设。Circuit Tracer 支持多种流行的开源模型，如 Gemma 和 Llama，基于 Neuronpedia 提供交互式可视化界面，方便用户探索和分析模型行为。
Circuit Tracer的主要功能
- 生成归因图：揭示模型决策路径，显示特征和节点间的影响关系。
- 可视化与交互：基于交互式界面，直观查看和操作归因图，便于理解和分享。
- 模型干预：修改特征值观察输出变化，验证模型行为。
- 支持多种模型：兼容 Gemma、Llama 等主流模型，便于对比研究。
Circuit Tracer的技术原理
- 转码器（Transcoders）：用预训练的转码器来生成归因图。转码器是一种神经网络组件，能将模型的内部特征转换为更易于理解和解释的形式。基于转码器，Circuit Tracer 能捕捉模型内部的特征和节点之间的关系。
- 直接效应计算（Direct Effect Computation）：Circuit Tracer 计算每个非零转码器特征、转码器错误节点和输入标记对其他非零转码器特征和输出 logit 的直接影响。
- 图修剪（Graph Pruning）：对生成的图进行修剪。修剪过程移除影响力较小的节点和边，只保留对模型决策有显著影响的部分。修剪参数（如节点阈值和边阈值）由用户自定义，控制图的复杂度和清晰度。
- 交互式可视化界面：提供一个基于 Web 的交互式可视化界面，用户在浏览器中直接查看和操作归因图。界面支持节点的标注、分组和注释，让用户更直观地理解和分析模型的内部机制。
Circuit Tracer的项目地址
- 项目官网：https://www.anthropic.com/research/open-source-circuit-tracing
- GitHub仓库：https://github.com/safety-research/circuit-tracer
Circuit Tracer的应用场景
- 模型行为研究：基于归因图分析模型的决策过程，理解在生成特定输出时的内部逻辑。
- 多语言模型分析：研究多语言模型（如 Llama）的内部表示，探索跨语言处理机制。
- 多步推理研究：分析模型在多步推理任务中的行为，揭示逐步推理的过程和逻辑。
- 模型优化与改进：基于干预功能测试不同假设，验证模型的某些行为是否符合预期，优化模型结构。
- 教育与分享：基于交互式可视化界面，将复杂的模型决策过程直观展示给他人，便于教学和交流。