一种基于人群行为先验知识的双分支异常检测方法

本发明提供了一种基于人群行为先验知识的双分支行人异常检测方法，包括：利用社会力模型提取视频中人群的交互信息；利用多实例学习方法对视频中不同时间片段学习出异常得分；利用注意力模型捕获视频特征的全局依赖；利用双分支模型将原始视频和其对应的人群交互信息视频结合。本发明充分考虑人类对异常行为判断的先验信息，利用数量充足的正常和异常样本来学习人群行为的正常和异常模式，使得异常检测能在一定地语义层面上对视频中得人群行为进行识别，能很好地解决与适应由于样本数量不足和视频中人群得背景干扰带来的性能损失，更具有鲁棒性；该方法也不需要精确到片段级别的数据标签，即使训练对象是视频的片段，也只需要视频级别的标签。
上海交通大学
杨华 | 林书恒