基于手势识别与语音交互的变电站安全培训方法及系统

本发明提供了一种基于手势识别与语音交互的模拟能力培训方法及系统，通过在VR系统中构建出对应培训的工程任务数据，基于VR虚拟仿真技术对技术人员进行培训；技术人员在VR系统范围内，佩戴上VR设备，基于语音交互方式，对VR系统进行操作交互，对给出的工程任务进行动手模拟操作；基于摄像头对技术人员的操作过程进行实时的记录，将对应操作的动作姿态进行记录分析，动作姿态包括手势动作与肢体动作。本发明基于VR虚拟仿真技术，实现了模拟现场的操作互动，增加培训的方式，采用VR设备的方式，节约了培训的成本，能够有效地模拟出各种复杂的环境情况，带来更好的培训效果。
国网上海市电力公司 | 上海交通大学
房丹 | 陈江伟 | 邵宇鹰 | 孙宁 | 徐韵 | 何诚硕 | 杨嘉禹 | 杨健