语言模型的量化方法及电子设备

本发明提供一种语言模型的量化方法及电子设备，所述方法包括：确定量化的比例因子；基于神经网络参数和所述比例因子识别正常值和异常值；将神经网络模型的张量中的每相邻的两个位置配成一对，在配对中出现异常值时，将配对中的另一个值进行剪枝，并为该配对配置异常值标识符；对存在异常值的配对进行量化。本发明能够实现对大语言模型进行快速的量化，在加速其推理速度，减少运算所需开销的同时，保证模型的准确率与性能表现。