RAG-FiT是什么
RAG-FiT（曾用名RAG Foundry）是英特尔实验室推出的开源框架，用在微调（fine-tuning）增强大型语言模型（LLMs）在检索增强生成（RAG）任务中的表现。RAG-FiT基于模块化设计，支持数据创建、训练、推理和评估四大功能模块。RAG-FiT能帮助用户快速创建适合RAG任务的数据集，用参数高效微调（PEFT）技术对模型进行优化，用多种RAG特定的评估指标衡量模型性能。RAG-FiT框架有高度的灵活性和扩展性，支持从数据选择、过滤到检索、提示生成等全方位的RAG用例，适用于问答系统、文本生成等多种应用场景。
RAG-FiT的主要功能
- 数据创建与处理：
- 数据加载：支持从Hugging Face Hub或本地源加载数据集。
- 数据预处理：包括数据过滤、归一化、聚合、信息检索、模板化提示生成等。
- 数据保存：处理后的数据以一致的格式保存，方便后续训练和推理。
- 灵活的处理流程：支持全局操作（如数据聚合、过滤）和局部操作（如单个样本的检索和文本处理）。
- 训练：
- 参数高效微调（PEFT）：用LoRA等技术对模型进行高效微调。
- 训练配置：支持自定义学习率、优化器、批量大小等训练参数。
- 模型推送：训练后的模型支持推送到Hugging Face Hub。
- 推理：
- 生成预测：在处理后的数据集上生成预测结果。
- 批量推理：支持对多个输入数据进行批量处理，提高效率。
- 评估：
- 多维度评估：支持多种评估指标，如EM、F1、ROUGE、BERTScore等。
- 自定义评估：用户能轻松实现自定义评估指标。
- 全局与局部评估：支持对每个样本进行局部评估，及对整个数据集进行全局评估。
RAG-FiT的技术原理
- 检索增强：
- 检索机制：基于检索工具从外部知识库中获取与输入问题相关的上下文信息。工具包括基于向量的检索系统（如Haystack、Qdrant）和其他检索框架。
- 上下文注入：将检索到的上下文信息注入到LLMs的输入中，帮助模型更好地理解问题背景，从而生成更准确、更有依据的答案。
- 模块化设计：
- 数据处理模块：负责数据的加载、预处理和保存。支持多种数据源和灵活的处理流程。
- 训练模块：用PEFT技术对模型进行微调，支持LoRA等高效训练方法。训练后的模型能保存或推送到Hugging Face Hub。
- 推理模块：在处理后的数据集上生成预测结果，支持批量推理。
- 评估模块：提供多种评估指标，支持对生成结果的多维度评估。
- 配置驱动的工作流：
- Hydra配置工具：使用Hydra配置工具实现层次化配置，支持用命令行覆盖配置值，方便远程作业运行。
- 配置文件：每个模块都有默认配置文件，用户能基于配置文件或命令行参数自定义工作流。
- 实验与评估：
- 实验环境：提供一个端到端的实验环境，支持快速原型开发和多种RAG技术的实验。
- 多维度评估：评估模块评估生成结果的准确性，还能评估检索结果的相关性和生成内容的忠实度（Faithfulness）和相关性（Relevancy）。
RAG-FiT的项目地址
- 项目官网：https://intellabs.github.io/RAG-FiT/
- GitHub仓库：https://github.com/IntelLabs/RAG-FiT
- arXiv技术论文：https://arxiv.org/pdf/2408.02545
RAG-FiT的应用场景
- 问答系统：基于检索外部知识库增强语言模型，为用户提供更准确、更相关的答案，适用于医学、法律等专业领域。
- 文本生成：结合最新背景信息生成高质量文本，如新闻报道、创意写作，提升内容的时效性和准确性。
- 知识图谱增强：检索知识图谱中的实体和关系，生成与图谱一致的文本，提高知识表示的准确性和可解释性。
- 多语言生成：跨语言检索知识库，生成多语言文本，满足多语言环境下的内容生成需求。
- 文档摘要：检索文档关键信息生成摘要，提高摘要的准确性和信息覆盖率，适用于科研、商业等领域。