基于房间布局的全景新视角生成方法、装置、设备和介质

本申请提供的一种基于房间布局的全景新视角生成方法、装置、设备和介质，通过获取一原始全景图像Is，使用一卷积神经网络提取出原视角特征图Fs和深度图Ds；并使用另一卷积神经网络估计室内场景的房间布局Ls；指定该原始全景图像一新视角，利用深度图Ds计算新视角与原视角之间的像素对应关系，从而将原视角特征图Fs转换为新视角特征图Ft，以及将原视角下的房间布局Ls转换为新视角下的房间布局Lt；将新视角特征图Ft和新视角下的房间布局Lt在信道维度上进行连接，并输入到一个卷积神经网络中生成新视角图像It。本申请可以实现全景新视角的生成，能够较好地保持房间布局结构，具有更好的图像质量，并且性能优于现有的方法。
上海科技大学
高盛华 | 许家乐