我要投稿

RAG 中你需要知道的 5 种分块技术

发布日期：2024-09-29 18:53:14 浏览次数： 1887

作者：NLP轻松谈

微信搜一搜，关注“NLP轻松谈”

分块在 RAG 应用中的重要性。对于提高 LLM 性能至关重要，能使 RAG 应用更智能、更快速、更高效。

固定大小分块

方法：将文本分割成固定大小的块，不考虑内容的自然断点或结构。
优点：简单、成本效益高。
缺点：缺乏上下文意识。
改进：使用重叠块，让相邻块共享部分内容。

递归分块

方法：先用主要分隔符（如段落）分割，如果块太大，再用次要分隔符（如句子）递归分割。
优点：尊重文档结构，灵活适用于各种场景。

基于文档结构的分块

方法：根据文档的自然分区（如标题或章节）创建块。
优点：对结构化数据（如 HTML、Markdown、代码文件）非常有效。
缺点：对缺乏明确结构的数据效果较差。

语义分块

方法：将文本分成有意义的单位（如句子或段落），向量化后基于余弦距离合并成块。
特点：当检测到明显的上下文转换时形成新块。

基于LLM的分块

方法：使用语言模型生成语义独立的句子或命题作为块。
优点：高度准确。
缺点：计算需求最高。

【重磅】一键接入扣子、Dify，FastGPT等开发平台

立即开通>>

企业内部AI 先行者已通过扣子、Dify 等智能体开发平台积极探索 "人 + AI" 的效率革新。这些应用大多局限于小范围应用，基于此，我们打造一款开箱即用的 AI 门户-53AI Hub，让企业实现从 "场景级效率优化" 到 "企业级生产力重构" 的跨越....

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-05-27

MCP 深度解析

2025-05-27

企业RAG系统为何失败：谷歌研究提出"充足上下文"解决方案

2025-05-27

RAG 的饼，好像吃不下了。。。。

2025-05-27

Mem0智能记忆引擎：解决AI长期记忆难题

2025-05-26

深度解读AI逐步思考过程，是如何从认知模拟到智能升级！

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

90%企业不知道的RAG优化秘籍：Dify原生集成RAGflow

2025-05-05

解决 AI 代码幻觉！用 Context7 获取最新文档，支持 MCP 调用

2025-04-28

RAG应用必备！10种向量数据库全解析、Weaviate、Milvus、pgvector、Qdrant等热门工具谁更强？

2025-04-22

深度解读：LlamaIndex 实现 RAG 重排序的关键要点

2025-05-08

检索增强生成（RAG）深度教程

2025-04-21

深入 GraphRAG：构建更强大的知识增强问答系统的六大开源项目

2025-05-19

RAG系统中的向量数据库怎么选？很多人都忽视了

2025-05-15

RAG进阶：Embedding Models嵌入式模型原理和选择

2025-04-23

RagFlow文档解析过程分析

2025-04-26

RAG评估深度解析：LLM时代的全方位指南（1.5万字综述）

2025-04-24

大家都在问

【RAG】给传统企业搞AI转型，RAG项目最难啃的骨头是啥？

2025-05-23

解锁AI时代的核心通关密码——为什么你必须搞懂RAG、Agent、MCP？

2025-05-16

如何设计 AI 与人的交互？以及为什么真正的创新必然是集中式的？

2025-05-15

随着大模型技术的发展——RAG技术有可能会被淘汰吗？

2025-05-14

AI知识库到底是什么？不同应用场景如何调参数配置？

2025-05-14

AI 全栈工程体系中，Prompt Engineering、AI Agent 和 RAG 如何协同工作？

2025-05-13

一文读懂RAG：AI的“外部知识库”如何让回答更精准？

2025-05-11

25种RAG架构大揭秘：AI项目如何选型？

2025-05-08

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB