一种文本分块方法、装置、存储介质及电子设备

本说明书公开了一种文本分块方法、装置、存储介质及电子设备，对原始知识文档分割得到的各初始文本块分别进行依存句法分析，得到各初始文本块的语义三元组，针对每个初始文本块，根据该初始文本块的语义三元组，构建语义网络图，所述语义网络图中的节点表示句子成分，边表示依存关系。根据所述语义网络图的图密度，确定该初始文本块的语义密度。本方法中，将抽象的语义密度转化为图结构，并通过图结构的图密度对语义密度进行量化，以便根据语义密度分割得到包含信息量相对均匀的文本块，提升大模型增强检索时的效果。
之江实验室
王聪 | 魏宁 | 姚柯璐 | 李超 | 薛均晓 | 林承君