一种基于语义点匹配的点云和图像同步方法及装置

本发明公开一种基于语义点匹配的点云和图像同步方法及装置，通过将相机拍摄的连续图像输入帧插值模型，对相邻帧图像进行补帧得到插帧图像，然后对得到的图像进行图像语义分割；通过将同频的激光雷达扫描的三维点云数据输入点云语义分割模型，进行点云语义分割；最后将点云分割结果映射到图像坐标系，通过语义点匹配算法来找到与同步时刻相符合且同步性最佳的同步图像。本发明实现了点云与图像数据的毫秒级同步，缩小了数据融合的同步误差，从而提升了下游的自动驾驶车辆在复杂路况下环境感知能力，并具有广泛实用价值。
之江实验室
黄崇栋 | 朱永东 | 黄倩