保护数据隐私的上下文学习方法

本发明公开了一种保护数据隐私的上下文学习方法。所述上下文学习方法包括：在对大语言模型进行预训练过程中，对训练数据的梯度实施自适应加噪处理；根据预训练得到的大语言模型和指定的格式指令，逐Token构建生成上下文示例，在构建生成上下文示例的过程中，Token生成时实施自适应加噪处理；在大语言模型推理过程中，将具备隐私保护的上下文示例与用户的输入内容进行拼接结合，形成带有提示的输入，输入到大语言模型中进行预测和推理。本发明的上下文学习方法中，通过自适应加噪策略动态调整添加噪声的尺度，这样一来，可以在保护隐私的同时减少对模型性能的影响，最终实现了增强隐私保护和优化模型性能的技术效果。
复旦大学
金玲飞 | 冯煜