扣子罗盘 – 扣子推出的 AI Agent 智能调优平台

扣子罗盘是什么

扣子罗盘是专为个人开发者及创业团队设计的工具平台，支持开发者快速搭建 AI Agent。扣子罗盘提供从开发、调试、评估到监控的全生命周期管理能力，涵盖 Prompt 开发、评测、观测等功能。基于可视化工具和智能调优，帮助开发者高效构建高质量 AI Agent，降低试错成本。扣子罗盘支持团队协作共享资源，提升开发效率。

扣子罗盘的主要功能

• Prompt智能中枢：支持Prompt调试、版本管理及多版本对比，提升开发效率。实现Prompt的服务化，便于集成和复用。
• 实时观测预警：通过Trace数据追踪和性能统计，实时监控系统运行状态。实时告警异常情况，智能打标数据，快速定位问题。
• 全链路评测体系：在AI Agent生命周期内沉淀评测集，覆盖端到端测试。精准评估AI Agent效果，确保性能和稳定性。

如何使用扣子罗盘

• 注册与登录：访问扣子的官方网站，按照提示完成注册和登录。
• 进入演示空间：登录后，找到扣子罗盘入口进入体验。
• 体验 Prompt 开发：登录后，默认进入 Prompt 开发页面。查看平台预设的 Prompt，单击“详情”了解 Prompt 的详细设计。
• 使用评测模块：
  • 创建评测集：
    • 在左侧导航栏，选择 评测 > 评测集。
    • 在评测集列表页面，单击“详情”查看已创建的评测集数据。
    • 示例测试数据由输入数据（input 列）和理想的预期输出数据（reference_output 列）两部分构成。输入数据作为评测对象的输入信息，预期输出数据作为评测标准参考。
    • 单击“关联实验”页签，查看这个评测集关联的实验结果。
  • 准备评估器：
    • 在左侧导航栏，选择 评测 > 评估器。
    • 在评估器列表页面，查看已创建的评估器。评估器支持版本管理，在发起评测实验时选择不同的评估器版本进行优化迭代。
    • 单击“详情”，查看评估器配置。在评估器配置页面，单击“调试”，输入构造的输入数据和标准输出数据，测试评估器效果。
  • 发起评测实验：
    • 在左侧导航栏，选择 评测 > 实验。
    • 在实验列表页面，查看已发起的评测实验。
    • 选择一个评测实验，单击“详情”查看评测结果。扣子罗盘支持对评测结果进行人工校准。选择要校准的目标数据，然后单击人工校准的编辑图标。
    • 单击“指标统计”查看实验报告。扣子罗盘根据实验结果自动生成可视化看板，方便对测试结果进行分析和决策。
• 使用观测功能：
  • 观测功能支持：
    • 平台提示词（Prompt）开发。
    • 扣子智能体。
    • 扣子 AI 应用的数据自动上报。
    • 集成 SDK 上报其他框架（如 Eino/Langchain）开发的 AI 应用。
  • 在 观测 > Trace 页面，选择时间范围、任务节点范围和观测对象，查看已上报的 Trace 数据。扣子罗盘提供不同维度的统计指标看板，能直观了解观测对象的运行情况和成本消耗。

扣子罗盘的应用场景

• 智能客服系统：开发智能客服对话模板，评测和观测优化客户咨询体验。
• 内容创作工具：辅助生成创意内容，评测质量并提升创作效率。
• 教育辅导系统：开发个性化学习工具，评测学生进度并优化教学内容。
• 医疗咨询系统：提供初步健康建议，确保咨询结果科学合理。
• 企业知识管理系统：快速回答内部问题，优化知识库提升信息获取效率。