基于弹性批处理的推理引擎系统、方法及电子设备

本发明提供一种基于弹性批处理的推理引擎系统、方法及电子设备，所述基于弹性批处理的推理引擎方法包括：获取用户输入的待推理请求数据；获取最大并行批处理数量和待推理请求的数量；根据所述最大并行批处理数量和所述待推理请求的数量将所述待处理推理请求数据按需组织成为合适批处理大小的批处理数据，并唤醒深度神经网络推理引擎模块中与所述批处理数据的大小对应的子引擎，由所述子引擎处理所述待处理推理请求。本发明在无需增加硬件设备包括图形处理器等的前提下，极大化引擎系统的响应延迟速度和吞吐量。
上海交通大学
陈全 | 过敏意 | 崔炜皞 | 沈耀 | 姚斌