一种基于毫米波雷达与单目视觉融合的人体行为检测方法

本发明公开了一种基于毫米波雷达与单目视觉融合的人体行为检测方法，获取毫米波雷达与单目摄像头采集的信息，对毫米波雷达采集的中频信号进行预处理，构建距离‑多普勒特征图和距离‑角度特征图，将这两种特征图作为输入数据分别送到不同的CNN网络，并将提取的特征扁平化与连接，再送入到LSTM网络提取时间信息，在输出层完成人体行为检测。同时对单目摄像头采集的视觉信息进行预处理得到图像数据，利用CNN‑LSTM的网络模型进行自动特征提取，训练行为分类器。对毫米波雷达和单目摄像头进行联合标定，搭建融合系统实时获取人体动作数据，使用决策级平均加权得到融合后的检测结果，最终实现人体行为检测。本发明实现精准检测与较强的环境适应能力。
上海大学
曹炳尧 | 郭夏迪 | 臧晶晶 | 吴靖 | 刘玉婷