基于网络级模拟的自动并行策略搜索方法、介质及设备

本发明提供一种基于网络级模拟的自动并行策略搜索方法、介质及设备，所述方法包括：获取神经网络计算图，并基于所述神经网络计算图对初始网络模型进行拆分，获取多个节点子网络模型，形成小集群网络模型；获取各所述节点子网络模型的时间开销；基于各所述节点子网络模型的时间开销模拟大集群网络模型的时间开销；基于模拟的大集群网络模型的时间开销进行并行策略搜索，输出最优并行策略。本发明不仅支持模型并行与流水线并行场景下的模拟，可以覆盖到现有的全部并行训练场景，同时整网拆分的性能评测方案，提升了模拟的准确率与速度。