一种基于注意力机制的多模态身份验证方法

本发明涉及一种基于注意力机制的多模态身份验证方法，包括：S1、采集多模态数据，包括人脸图像数据、指纹图像数据和声纹音频数据；S2、对于每个模态，构建对应的第一特征提取模型，对第一特征提取模型裁剪得到第二特征提取模型，采用第一特征提取模型对第二特征提取模型进行知识蒸馏训练，得到第三特征提取模型；S3、采用基于注意力机制的多模态特征融合模型对所有第三特征提取模型提取出的特征进行加权求和，得到融合特征；S4、计算待验证身份的融合特征与预先录入数据库中对应身份的融合特征之间的相似度，当相似度大于预测决策阈值时，则身份验证通过，否则身份验证不通过。与现有技术相比，本发明具有特征提取高效、可靠性高的优点。
同济大学
杜庆峰 | 李圣