视频字幕生成方法、装置及存储介质

本发明涉及一种视频字幕生成方法、装置及存储介质。该方法获取原始视频数据并采样得到视频帧；利用训练好的图像字幕模型生成帧字幕、利用目标检测模型获取每帧目标检测区域及相应的标签、利用视频编码器提取视频嵌入特征；从预先获取的知识图谱中导出子图作为额外的输入特征，并利用字幕时序编码器对每帧字幕进行时序特征编码得到相应的帧字幕嵌入特征；进行聚类和计数并利用区域时空编码器对经聚类和计数的区域特征进行编码，得到经聚类和计数的区域嵌入特征；将获取的多模态特征输入多模态解码器模型中，得到最终的视频字幕。与现有技术相比，本发明具有等优点。
同济大学
赵生捷 | 刘洪博 | 陈伟超 | 邓浩