基于大语言模型的多模态融合室内定位方法

一种基于大语言模型的多模态融合室内定位方法，通过融合多模态数据构建包含几何和纹理信息的室内环境稠密点云地图，利用大语言模型根据室内环境稠密点云地图生成各个场景语义文本描述，再将场景语义文本描述构建为场景语义树；当实时收到多模态指令触发时，通过对语义树快速搜索实现室内定位。本发明融合多模态数据并利用大语言模型生成场景语义文本描述，能够在运行态感知数据与语言指令触发条件下，实现单一模态输入的跨模态高效定位和多模态输入的高精度定位，显著提升复杂室内环境中的定位精确性和灵活性。
上海交通大学
裴凌 | 许景懿 | 项艳