一种适用于现实室内环境的机器人视觉语言导航方法

本发明涉及一种适用于现实室内环境的机器人视觉语言导航方法，包括以下步骤：获取环境信息和全景图片；对现实室内环境进行二维栅格地图构建，并将连续的室内环境转换成离散图；生成路径‑指令对训练样本并提取全景图片的图像特征信息，基于二者构建现实室内环境的视觉语言导航数据集；构建视觉语言导航模型，接收语言指令和当前环境信息指令，输出当前时刻下的下一步动作选择；以视觉语言导航数据集为训练数据，对视觉语言导航模型进行迁移训练；以ROS系统为基础，在机器人上实现视觉语言导航功能的部署。与现有技术相比，本发明具有适用于室内环境、能够极大地提高机器人在室内环境下的视觉语言导航任务的成功率，加速网络模型训练、适用性强等优点。
同济大学
刘成菊 | 陆理文 | 陈启军 | 王乃佳