多视角人体运动捕捉方法、装置、系统、介质及终端

本发明提供多视角人体运动捕捉方法、装置、系统、介质及终端，包括：获取待捕捉对象的多视角视频信号及各视频信号对应的音频信号；基于所述音频信号消除所述多视角视频信号的时间差，以获取多视角同步视频信号；从所述多视角同步视频信号中提取对应的多视角2D人体关键点；获取所述2D人体关键点各个视角之间的关联信息；基于所述关联信息进行最优化计算，以获取3D人体姿态信息。本发明只需普通的RGB摄像头即可进行捕捉；缓解了自遮挡问题，具有更高的捕捉精准度；相较于使用惯性传感器进行运动捕捉具有较好的实时性、更低的使用门槛以及更大的识别范围且不限制人数；减少可穿戴设备，可以改善使用者的使用体验，并具有更高的活动自由度。
上海科技大学
梁瀚 | 黄程宇 | 张启煊 | 吴迪 | 许岚 | 虞晶怡