文本拆分（chunking）是上下文工程和 embeddings 流水线中被严重低估的关键环节，其对性能的影响远超预期。
• 固定大小拆分 📏：将文本均匀切分为固定长度（如200-500 tokens），实现简单，适合初学者，但可能破坏句子完整性。
• 递归拆分 🔄：层级分割文档，保留结构与上下文，适合复杂文档和多层次信息。
• 基于文档结构拆分 📄：利用段落、章节等自然边界，保持相关信息集中，但块大小差异大。
• 语义拆分 🧠：基于语义相似度动态分块，更精准但计算开销大。
• 后期拆分 ⏰：先做 embeddings 再拆分，能更好保存上下文信息，适合高级应用。
没有万能方案，选用策略需结合具体数据和任务。建议从固定大小带一定重叠开始，结合文档结构调整，技术文档优先考虑结构拆分，叙事文本可尝试语义拆分。
拆分策略不仅影响向量检索效果，更直接决定 LLM 获得的上下文质量，是现代 context engineering 的核心组成。
详情🔗 x.com/victorialslocum/status/1950116284022018077
详解与实践指导🔗 docs.weaviate.io/academy/py/standalone/chunking
高级 RAG 策略深度指南🔗 weaviate.io/ebooks/advanced-rag-techniques
文本拆分 向量检索 语义理解 上下文工程 RAG 人工智能
