Kiln AI是什么
Kiln AI是开源的 AI 开发工具，能简化大型语言模型（LLM）的微调、合成数据生成和数据集协作。Kiln AI提供直观的桌面应用程序，支持 Windows、MacOS 和 Linux，用户基于零代码方式对多种模型（如 Llama、GPT4o 和 Mixtral）进行微调，实现自动部署。Kiln AI提供交互式工具生成训练数据，支持基于 Git 的版本控制，方便团队协作。Kiln AI支持自动提示生成、多种模型集成，注重隐私，确保用户数据安全。Kiln AI的 Python 库开源，方便开发者集成到现有工作流中。
Kiln AI的主要功能
- 直观的桌面应用程序：支持 Windows、MacOS 和 Linux 系统，提供一键式安装和使用，设计简洁直观。
- 零代码微调：支持多种语言模型，如 Llama、GPT4o 和 Mixtral，自动无服务器部署模型。
- 合成数据生成：提供交互式可视化工具，用于生成训练数据。
- 团队协作：基于 Git 的版本控制，支持多人协作，适合 QA、PM 和领域专家共同参与数据集构建。
- 自动提示生成：支持从数据中自动生成提示，包括链式思考、少样本和多样本提示等。
- 广泛支持模型和提供商：支持基于 Ollama、OpenAI、OpenRouter、Fireworks、Groq、AWS 或任何兼容 OpenAI API 的模型。
Kiln AI的技术原理
- 基于 Git 的版本控制：用 Git 作为底层版本控制系统，支持多人协作和数据集的版本管理。数据集文件以 JSON 格式存储，支持并行协作和冲突解决。
- 无服务器部署（Serverless Deployment）：微调后的模型支持自动部署到云端或本地，无需手动配置服务器。支持多种云平台和本地环境。
- 交互式数据生成工具：提供交互式界面，帮助用户基于可视化工具生成高质量的合成数据。支持多种数据生成策略，如少样本学习、多样本学习等。
- Python 库集成：提供开源的 Python 库，方便开发者将数据集集成到现有工作流中。支持在 Jupyter Notebook 中使用，方便数据科学家进行深度分析。
- 多模型支持：基于适配器模式支持多种语言模型和平台，提供统一的 API 接口，方便用户切换不同的模型和提供商。
Kiln AI的项目地址
- GitHub仓库：https://github.com/Kiln-AI/Kiln
Kiln AI的快速入门
- 下载和安装：
- 桌面应用：基于提供的下载链接在MacOS、Windows和Linux上下载并安装免费的桌面应用程序。
- Python库：用 pip install kiln-ai 命令安装Python库，将数据集集成到自己的工作流程中，构建微调模型，在Notebook中使用Kiln AI，构建自定义工具等。
- 启动应用：
- 安卓完成后启动应用并按照引导创建项目、任务，连接到 AI 提供商（如 Ollama、OpenAI、OpenRouter 等）。
- 用示例任务快速体验，或根据需求定义自定义任务。
Kiln AI的模型和 AI 提供商
- Kiln支持的AI模型和提供商:
- 支持的提供商：Kiln AI与多种云服务提供商和AI模型兼容，例如OpenAI、Groq、OpenRouter、AWS、Fireworks等。用户需要提供自己的API密钥，系统不会访问用户的数据集。
- 兼容的服务器：用户能连接任何与OpenAI兼容的服务器，例如LiteLLM，用于vLLM等。
- 设置AI提供商：
- 初始设置：首次运行Kiln时，应用提示用户设置一个或多个AI提供商。至少需要一个提供商才能使用Kiln AI的核心功能。
- 添加或删除提供商：用户在“设置>AI提供商和模型”中添加新的提供商，或编辑~/.kiln_ai/settings.yaml文件删除已有的提供商。
- 模型的使用和添加：
- 推荐的内置模型：模型已经过测试，可与Kiln AI的各种功能兼容，使用起来非常简单，不会出现错误。用户只需在设置页面连接任何AI提供商，在运行屏幕上选择模型。
- 自定义模型：如果用户想使用不在列表中的模型，但模型是Kiln AI支持的AI提供商。用户需要在“设置>AI提供商和模型”中的“添加模型”使用模型，模型将出现在模型下拉菜单的“未测试”部分。
- 自定义OpenAI兼容服务器：如果用户拥有一个OpenAI兼容的服务器（例如LiteLLM、vLLM等），能在Kiln AI中使用。用户需要在“设置>AI提供商和模型”中添加一个“自定义API”。所有由该API支持的模型将出现在模型下拉菜单的“未测试”部分。
Kiln AI的合成数据生成
- 工作原理：
- 合成数据方式
- 零样本数据生成：根据任务定义直接生成数据，无需额外配置。
- 主题树数据生成：基于生成主题树（包括嵌套主题）快速生成广泛的数据。用户能选择自动主题生成或手动添加主题。
- 结构化数据生成：如果任务需要结构化输入或输出，生成的数据将遵循用户定义的 JSON 模式。所有生成的值都会进行验证，不符合模式的数据不会被保存。
- 生成选项：
- 模型选择：支持多种模型（如 OpenAI、Anthropic、Llama、Google、Mistral 等）和多种主机（如 Ollama）。用户根据需求选择合适的模型。
- 提示选项：在对一些示例进行评分后，解锁更强大的提示选项，如少样本、多样本、思维链提示等，提高生成数据的质量。
- 人工指导：
- 生成涵盖全球性话题的内容，不局限于美国本土。
- 生成西班牙语的示例。
- 针对模型难以分类的问题（如讽刺信息）生成特定的数据。
- 合成数据方式
- 迭代：
- 打开合成数据集选项卡。
- 选择高质量的模型（包含不够快且高成本的生产模型）。
- 开始生成展示问题的数据，使用人工指导功能和更好的模型确保输出质量。
- 手动删除风格不正确的示例。
- 合成数据工具能生成正确的数据（用模型和指导相结合），将生成规模扩大到数百个样本。
- 保存新的合成数据集。
Kiln AI的微调指南
- 步骤 1：定义任务和目标
- 任务定义：在 Kiln UI 中创建一个新任务，包括初始提示、要求以及输入/输出模式。
- 示例任务：生成新闻标题，给定新闻主题的摘要，生成不同风格的新闻标题。
- 步骤 2：使用合成数据生成训练数据
- 合成数据生成：提供交互式界面，快速生成高质量的合成数据集。
- 生成过程：在9分钟内生成920个训练样本，支持多模型和多提示策略。
- 提示技巧：使用高质量模型和详细提示（如多样本提示、链式思考）提高数据质量。
- 步骤 3：选择要微调的模型
- 支持的模型：
- OpenAI：GPT-4o 和 4o-Mini
- Mistral：Mixtral 8x7b MoE
- 其他：Llama 3.2（1b/3b/11b）、Llama 3.1（8b/70b）等
- 支持的模型：
- 步骤 4：启动微调任务
- 微调操作：在 Kiln UI 的“微调”选项卡中，选择模型、数据集和训练参数。
- 数据集分割：建议创建测试集和验证集，以便在微调完成后评估模型性能。
- 步骤 5：部署和运行模型
- 自动部署：微调完成后，系统自动部署模型，无需额外配置。
- 使用方式：基于 Kiln UI 的“运行”选项卡选择模型并使用。
- 步骤 6（可选）：在自有基础设施上训练
- 导出数据集：将数据集导出为常见格式，以便在自有基础设施上进行微调。
- 推荐平台：Unsloth 和 Axolotl，支持多种开源模型。
- 示例：使用 Unsloth 笔记本加载从 Kiln AI导出的数据集，在本地或 Google Colab 中进行微调。
- 后续步骤
- 评估模型：使用测试集和验证集评估微调模型的性能。
- 迭代改进：根据评估结果调整超参数、优化提示、修复错误，并重新微调。
- 数据策略：用“阶梯式”数据策略，从少量高质量样本逐步扩展到大量合成数据。
- 费用：Fireworks 和 OpenAI 的微调模型采用“无服务器”部署，按使用量收费，无固定成本。
Kiln AI训练推理模型指南
- 训练推理模型的关键步骤：
- 确保训练数据包含“推理”：用推理模型或链式思维提示生成训练数据，确保数据集中包含推理内容。
- 创建包含推理的训练数据集：在创建数据集时，筛选包含推理/思考的样本。
- 选择正确的训练策略：选择“最终响应和中间推理”训练策略，包含推理数据。
- 调用微调模型时使用适当的提示：建议用训练时使用的相同提示，获得最佳效果。
- 推理与链式思维的选择：
- 推理模型：适用于需要跨领域推理能力的场景，基于微调大型推理模型（如Deepseek R1）创建更小、更快的模型。
- 链式思维：基于简单的“逐步思考”提示提升输出质量，或自定义思考提示生成针对特定任务的训练集。
Kiln AI的应用场景
- 智能客服：智能客服系统生成客服对话数据集，微调语言模型提高回答准确性和相关性。
- 医疗领域：医疗领域的AI项目中，医生（领域专家）生成医学数据集，数据科学家进行模型微调，QA团队负责验证数据质量。
- 快速原型开发与实验：在开发文本生成工具时，用少样本提示和多模型支持，快速实验不同模型的生成效果。
- 教育：教育科技公司构建教育数据集，包括学生问题和答案，用在微调教育AI模型。
- 金融行业：金融行业进行风险评估模型的微调，所有数据本地处理，确保客户数据不被泄露。