MS

免费工具 · 在浏览器中运行

RAG 文本分块工具

为检索增强生成(RAG)切分文档,自选分块大小和重叠,并预览每一块。

快速解答

在 RAG 中,文档会被切分为文本块,再生成 Embedding 并存入向量检索。常见的起点是 200 到 800 个 Token 的块,加上 10% 到 20% 的重叠。本工具按段落和句子切分,避免把一个意思截成两半,并把每块的结尾重复放在下一块开头作为重叠。

使用方法

  1. 粘贴文档. 纯文本或 Markdown。
  2. 设置分块大小和重叠. 以估计 Token 计(每个约 4 个字符)。
  3. 检查并复制. 预览每一块及其大小,然后全部复制为 JSON。

常见问题

RAG 最佳分块大小是多少?

没有唯一答案。200 到 800 个 Token 是常见起点;小块匹配更精确,大块保留更多上下文。请用你自己的问题测试。

为什么分块之间要重叠?

让位于某块边缘的句子或观点也出现在下一块中,即使只检索到其中一块也不会丢失。

分块应该按段落吗?

尽量是。按段落和句子边界切分,能让每块都可读、有意义。

一定需要 RAG 吗?

不一定。如果文档能放进模型的上下文窗口,直接发送并配合提示词缓存会更简单,往往也更准确。

我的文档会被上传吗?

不会。分块在你的浏览器中完成。

什么是 RAG?

检索增强生成:针对每个问题,从你的文档中找出最相关的段落交给模型,让回答基于你的数据。

什么是 Embedding?

表示文本含义的一串数字。含义相近的文本得到相近的数字,向量检索就是靠它找到相关的文本块。

应该给每个文本块加标题或元数据吗?

应该。为每块加上文档标题、章节标题或来源,既能提高检索效果,也能让回答注明出处。

每个问题应该检索多少个文本块?

通常 3 到 10 个:足以覆盖答案,又不会让提示词塞满无关内容。请用真实问题测试。

分块大小会影响成本吗?

会。块越大、检索的块越多,每次提问的输入 Token 就越多。

相关内容