向量量化大语言模型的算子融合机制分配方法与系统

本发明提供一种向量量化大语言模型的算子融合机制分配方法与系统，所述方法包括以下步骤：获取布局数据，其中，布局数据包括解量化数据布局以及计算内核所需布局；基于布局数据计算得到数据混洗次数，并基于数据混洗次数与预设阈值进行比较，以动态响应决策机制，当数据混洗次数小于预设阈值，则采用第一决策机制，第一决策机制至少包括寄存器级别算子融合机制；当数据混洗次数大于或者等于预设阈值，则采用第二决策机制，第二决策机制至少包括共享内存级别算子融合机制。本发明的向量量化大语言模型的算子融合机制分配方法与系统，解决了数据在共享内存和寄存器之间频繁传输导致的带宽瓶颈和延迟问题，从而实现了更高效的解量化与计算融合。
上海交通大学 | 上海期智研究院
冷静文 | 黄佳薇 | 刘子汉 | 过敏意