基于数字孪生与图像转换的数据增强方法及系统

本发明提供了一种基于数字孪生与图像转换的数据增强方法及系统，包括：步骤S1：通过路测摄像头拍摄获取视频数据，将获取的视频数据通过目标识别算法识别车辆在视频中的2D坐标、车型以及颜色数据，再经过映射函数获取车辆在虚拟世界中的坐标并进行三维重建；步骤S2：根据车辆在虚拟世界中的坐标和摄像头的坐标计算获得包围盒的屏幕坐标；步骤S3：利用粒子系统与shader构建的天气系统，并对车辆的车型与颜色进行随机替换，生成虚拟图片集；步骤S4：将虚拟数据集通过GAN网络生成内容码c与风格码s,通过组合不同的风格码实现图片转换成另外一种风格。
上海交通大学
杨旭波 | 胡泽宇