一种图像中多模态信息融合的行人检测方法、系统及终端

本发明公开了一种图像中多模态信息融合的行人检测方法、系统及终端，根据原始的平视图得到对应的俯视图；对俯视图上的每个点预测行人目标概率以及行人目标框宽度；通过平视图得到对应的深度图，基于深度估计行人目标框高度；将行人目标框宽度和行人目标框高度整合为目标候选框，并通过编码器统一编码到语义空间，得到平视图下的行人目标概率；对平视图以及俯视图的行人目标概率加权平均，得到最终的行人目标预测结果。本发明有效避免了平视图视角下的行人遮挡问题，有效去除复杂的背景干扰，适用于现实应用环境中多变的情况，增强检测鲁棒性，降低误检和漏检概率，有效提高视频图像中行人目标的检测能力。
上海交通大学
张重阳 | 罗艳