数据集切片中文本分段标识符有效性的问题。

[BillGaici20230401]

请教一个使用text文件创建知识库切片的问题，设置文本分段标识符为：##，分块大小：512，上传的文本文件内容中，每隔几行都会有一个##符号，最后解析结果发现，虽然每个块是按照##分割的，但没有严格按照##分隔块，很多块是两个##被分到一个块中，这个块中虽然包含两个预计分开的内容，但这两个预计分块的之间分隔符##被删除了。
看分隔符介绍中，说的要先按照分隔符分块，再按照大小（512）分。感觉它是先按照大小（512）分，再按照分隔符分了？是这样的吗？谢谢了！
本想缩小分块大小，但我的预计分块中，有个别块比较大。大部分块不超过256。这种情况如何分块才好呢？

[dosubot[bot]]

Hi @BillGaici20230401! I'm Dosu and I’m helping the ragflow team.

RAGFlow 的分块顺序确实是：先用分隔符（如 ##，注意要用反引号包裹）把文本切成片段，然后再把这些片段按顺序合并，直到每个块的 token 数不超过你设定的分块大小（如 512）。所以如果你的分段内容很短，系统会把多个分段合并进一个块，分隔符本身会被移除，这就是你看到“两个 ## 之间内容被合并且分隔符消失”的原因——不是先按大小分再按分隔符分，而是先分隔符、后合并块，和文档、源码描述一致 示例1 示例2。

如果你希望每个 ## 分段都单独成块，可以把分块大小设置得很小（比如 2），这样就不会合并多个分段，但这样会导致大块被截断。如果你的分段长度差异很大（大部分小于 256，少数很大），建议：1）适当调整分块大小，兼顾大块和小块；2）手动优化原始文本结构，让分段更均匀；3）对于结构化文档，可以考虑用 Manual 或 Paper 模板获得更细致的分块控制 参考。

多字符分隔符（如 ##）一定要用反引号包裹，否则会被当作单字符处理，甚至换行符等默认分隔符也会参与分段 说明。

总之，RAGFlow 的分块机制是先分隔符、后合并，分隔符不会保留在块中。分块大小和分隔符需要结合实际文本结构灵活调整。如果还有特殊需求，可以进一步探索 parser_config 的自定义能力或更细粒度的分块模板。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}   

[iamlotus]

this is exactly the solution.
reduce the block size to 1

[ZhenhangTung]

@BillGaici20230401 Hi, pls check our language policy. We’ll temporarily close this thread for now, but feel free to reopen or submit a new one in English — we’d love to help!

Thank you for your understanding!