深度神经网络服务批处理调度方法、系统及GPU

本发明提供一种深度神经网络服务批处理调度方法、系统及GPU，所述深度神经网络服务批处理调度方法包括：构建包含多个批处理调度策略的批处理调度策略池；基于用户输入的服务质量要求信息和神经网络模型的类型确定对应的批处理调度策略，并配置所述确定的批处理调度策略；基于批处理调度策略的配置情况对所述神经网络模型执行服务调度。本发明可以为新兴的深度神经网络技术落地提供支持，可以构建具有商业意义的、基于模型多样性感知的深度神经网络服务批处理调度系统，面向用户简化神经网络推理调度服务的优化，优化整个神经网络的服务响应速度。