一种用于提升深度学习训练性能的数据交换方法及系统

本发明公开了一种用于提升深度学习训练性能的数据交换方法及系统，包括：S1：数据载入，对共享存储中的所有训练样本编号，根据当前训练轮次生成随机的训练序列；节点包括：GPU、CPU、本地存储、存储引擎；第一轮的训练样本按照训练序列载入对应节点的本地存储中；S2：判断当前轮次是否为最后一轮，若是，执行S3；若否，执行S4；S3：每个节点的GPU使用本地存储的训练样本，按照训练序列进行当前轮次的深度学习训练；S4：GPU按照训练序列进行当前轮次的训练，同时CPU将本轮次已训练的训练样本和其他节点进行数据交换，完成后重复执行S2。本发明在训练过程中，将训练样本交换到其下个轮次所属的节点，避免在训练时的跨节点访问。
之江实验室
梅飞 | 孔丽娟 | 朱春节 | 刘鹏