我要投稿

RAG 中你需要知道的 5 种分块技术

发布日期：2024-09-29 18:53:14 浏览次数： 1884 作者：NLP轻松谈

分块在 RAG 应用中的重要性。对于提高 LLM 性能至关重要，能使 RAG 应用更智能、更快速、更高效。

固定大小分块

方法：将文本分割成固定大小的块，不考虑内容的自然断点或结构。
优点：简单、成本效益高。
缺点：缺乏上下文意识。
改进：使用重叠块，让相邻块共享部分内容。

递归分块

方法：先用主要分隔符（如段落）分割，如果块太大，再用次要分隔符（如句子）递归分割。
优点：尊重文档结构，灵活适用于各种场景。

基于文档结构的分块

方法：根据文档的自然分区（如标题或章节）创建块。
优点：对结构化数据（如 HTML、Markdown、代码文件）非常有效。
缺点：对缺乏明确结构的数据效果较差。

语义分块

方法：将文本分成有意义的单位（如句子或段落），向量化后基于余弦距离合并成块。
特点：当检测到明显的上下文转换时形成新块。

基于LLM的分块

方法：使用语言模型生成语义独立的句子或命题作为块。
优点：高度准确。
缺点：计算需求最高。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-05-27

MCP 深度解析

2025-05-27

用普通人能听懂的话聊聊 RAG

2025-05-27

企业RAG系统为何失败：谷歌研究提出"充足上下文"解决方案

2025-05-27

RAG 的饼，好像吃不下了。。。。

2025-05-27

太好用了！Roo终于出了一个我迫切想要的功能：Codebase Indexing

2025-05-27

Mem0智能记忆引擎：解决AI长期记忆难题

2025-05-26

深度解读AI逐步思考过程，是如何从认知模拟到智能升级！

2025-05-26

赢得企业RAG挑战赛的秘诀 —— 冠军方案剖析与感悟

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAG框架，都在这了!

2024-06-20

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

微软开源的GraphRAG解读

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

【RAG】给传统企业搞AI转型，RAG项目最难啃的骨头是啥？

2025-05-23

解锁AI时代的核心通关密码——为什么你必须搞懂RAG、Agent、MCP？

2025-05-16

如何设计 AI 与人的交互？以及为什么真正的创新必然是集中式的？

2025-05-15

随着大模型技术的发展——RAG技术有可能会被淘汰吗？

2025-05-14

AI知识库到底是什么？不同应用场景如何调参数配置？

2025-05-14

AI 全栈工程体系中，Prompt Engineering、AI Agent 和 RAG 如何协同工作？

2025-05-13

一文读懂RAG：AI的“外部知识库”如何让回答更精准？

2025-05-11

25种RAG架构大揭秘：AI项目如何选型？

2025-05-08

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB