了解 RAG 的基础

【重磅】 一键接入扣子、Dify，FastGPT等开发平台

立即开通>>

企业内部AI 先行者已通过扣子、Dify 等智能体开发平台积极探索 "人 + AI" 的效率革新。这些应用大多局限于小范围应用，基于此，我们打造一款开箱即用的 AI 门户-53AI Hub，让企业实现从 "场景级效率优化" 到 "企业级生产力重构" 的跨越....

• 删除重复内容以减少噪音并提高检索效率。
• 标准化文本格式（例如一致的大写字母、特殊字符的处理）。
• 考虑使用词干提取或词形还原来改善查询和文档之间的匹配。

• 尝试不同的块大小来找到上下文保留和检索粒度之间的最佳平衡。
• 考虑保留信息的逻辑单元而不是任意字符限制的语义分块方法。
• 实现块之间的重叠以维持跨边界的上下文。

• 向您的文档添加相关元数据（例如来源、日期、作者、类别），以实现更有针对性的检索。
• 考虑从文档中提取关键实体或概念并将其作为元数据包含在内。

• 探索不同的索引方法，例如倒排索引、向量索引或混合方法。
• 实施有效的更新机制，使您的索引保持最新信息。
• 考虑对大规模数据集使用分层索引以提高检索速度。

• 
  

• 提高检索质量

• 尝试不同的嵌入模型（例如 BERT、SBERT、DPR）以找到最适合您的领域的模型。
• 考虑在特定数据集上微调嵌入模型以提高相关性。
• 如果您的数据包含图像或其他非文本内容，请探索多模式嵌入。

• 将密集检索（使用嵌入）与稀疏检索（例如 BM25）相结合，以提高覆盖率。
• 实施重新排序步骤以进一步细化初始检索结果。
• 考虑使用查询扩展技术来提高召回率。

• 实现对话上下文跟踪以提高多轮交互中的相关性。
• 探索处理长格式查询或复杂信息需求的技术。

• 实施策略以确保检索到的文档多样化同时保持相关性。
• 考虑使用最大边际相关性（MMR）等技术来平衡新颖性和相关性。

• 
  

• 掌握 RAG 的快速工程

• 尝试使用不同的方式将检索到的信息合并到提示中（例如，前缀、后缀、交错）。
• 在查询、检索到的上下文和模型指令之间使用清晰的界限。

• 提供有关如何使用检索到的信息的明确说明。
• 在使用外部知识时包括引用或归因的指导。

• 制定从多个检索源综合信息的策略。
• 实施解决检索到的信息中的冲突或矛盾的技术。

• 根据查询和检索信息的性质实施自适应提示策略。
• 考虑在提示中使用少量示例来指导模型的行为。

• 根据输出质量和用户反馈定期评估和改进您的提示。
• 实施 A/B 测试来比较不同的提示策略。

• 
  

• 利用向量数据库实现高效的 RAG

• 向量数据库针对处理大规模相似性搜索进行了优化，这对于具有广泛知识库的 RAG 系统至关重要。
• 与传统数据库相比，它们提供明显更快的查询时间，特别是在高维空间中的最近邻搜索。

• 选择向量数据库时，请考虑数据大小、查询延迟要求和可扩展性需求等因素。
• 热门选项包括 Faiss、Milvus、Pinecone 和 Weaviate。每种方案都有各自的优势，因此请根据您的具体用例进行评估。
• 对于较小的数据集或原型，FAISS 或 Annoy 等更简单的解决方案可能就足够了，而较大的生产系统可能会受益于更强大的分布式解决方案，如 Milvus 或 Pinecone。

• 尝试不同的索引算法（例如 HNSW、IVF、PQ）来找到适合您用例的搜索速度和准确性之间的最佳平衡。
• 考虑精确和近似最近邻搜索方法之间的权衡。

• 选择符合您的数据和任务要求的嵌入模型。这可以是通用模型（如 BERT），也可以是特定领域的模型。
• 注意嵌入维数对存储要求和查询性能的影响。一些向量数据库在低维嵌入下表现更好。

• 利用向量数据库的元数据存储功能，实现强大的过滤和混合搜索功能。
• 在执行向量相似性搜索之前，根据元数据实现有效的预过滤以缩小搜索空间。

• 当有新信息可用时，制定有效更新向量数据库的策略。
• 考虑实施增量更新，以避免因微小更改而进行完全重新索引。

• 探索语义聚类等技术来组织向量空间，提高检索效率。
• 考虑对非常大的数据集采用分层方法，以实现有效的从粗到细的搜索。

• 利用支持混合搜索的向量数据库，将向量相似度与关键字或 BM25 样式匹配相结合，以提高检索质量。
• 尝试用不同的方式结合向量和关键字搜索结果。

• 对向量数据库性能实施全面监控，包括查询延迟、召回率和资源利用率。
• 定期分析查询模式并相应地调整索引策略或硬件资源。

• 对于大规模部署，请考虑硬件选择（CPU 与 GPU）对向量搜索性能的影响。
• 根据您的可扩展性和管理要求评估云托管解决方案与自托管选项。

• 对于涉及多种数据类型（文本、图像、音频）的应用程序，请考虑支持多模式索引和检索的向量数据库。
• 探索有效组合和查询不同模式的技术。

• 评估向量数据库的安全特性，特别是对于敏感应用程序。
• 考虑使用加密搜索或联合学习等技术来实现隐私保护的 RAG 系统。

• 在特定领域数据上微调语言模型，以提高目标领域的理解和生成。
• 在对更具体的任务进行微调之前，考虑先对大量领域内文本进行持续的预训练。

• 为您的特定用例开发模拟 RAG 过程（查询、检索到的上下文、期望的输出）的自定义数据集。
• 实施指令微调等技术来提高模型遵循提示中的特定指令的能力。

• 探索使语言模型在微调过程中更了解检索过程的方法。
• 考虑对检索和生成组件进行联合训练，以实现端到端优化。

• 微调模型以改善对生成风格、长度和内容的控制。
• 实施 PEFT（参数有效微调）等技术，以减少计算要求同时保持性能。

• 
  

• 实施高效的 RAG 管道

• 为经常访问的文档或查询结果实现缓存机制。
• 在可能的情况下预先计算嵌入和其他资源密集型操作。

• 实现异步检索以减少面向用户的应用程序中的延迟。
• 考虑对离线或大容量场景进行批处理。

• 为 RAG 管道的不同组件实现高效的负载平衡和资源分配。
• 优化内存使用情况，特别是对于大规模部署。

• 通过分析和分析来识别并消除 RAG 管道中的瓶颈。
• 考虑在资源受限的环境中使用轻量级模型或量化。

• 
  

• 评估与持续改进

• 实施一套多样化的评估指标，涵盖检索质量、生成质量和整体系统性能。
• 考虑自动指标（例如 BLEU、ROUGE、困惑度）和人工评估。

• 开发专门挑战 RAG 系统不同方面的测试集（例如，处理稀有信息、多跳推理）。
• 实施对抗性测试来识别潜在的故障模式。

• 建立一个强大的实验框架，以系统地比较不同的 RAG 配置。
• 实施在线 A/B 测试以进行真实世界的性能评估。

• 建立机制收集和整合用户反馈，以不断改进。
• 实施主动学习方法来确定系统需要改进的领域。

• 
  

• 处理极端情况和挑战

• 当无法检索高质量信息时实施后备策略。
• 开发模型的技术来承认不确定性或缺乏信息。

• 实施模型策略来识别和协调检索到的信息中的矛盾。
• 当无法得出明确的答案时，请考虑提出多种观点。

• 为非常庞大或快速变化的知识库制定有效的更新和维护策略。
• 实施版本控制和跟踪来管理知识库随时间的演变。

• 实施技术来识别和减轻检索和生成组件中的偏差。
• 定期审核您的系统是否存在公平性和代表性问题。

• 
  

• 探索先进的 RAG 架构

• 为需要多跳推理的复杂查询实现迭代检索生成循环。
• 探索思路链提示等技术来提高推理能力。

• 将 RAG 与其他技术（例如情境学习或小样本提示）相结合，以提高性能。
• 探索动态决定何时依赖检索与模型固有知识的架构。

• 扩展 RAG 以处理多模式输入和输出（例如文本、图像、音频）。
• 开发跨模态信息合成的检索和生成策略。

• 实现用户特定的知识库或检索偏好，以获得个性化体验。
• 探索平衡个性化与隐私考虑的技术。