乐清市盐盆街道纬五路222号乐清加速器B幢203

+86 15669738183

一种基于知识蒸馏的类别增量神经网络模型聚合方法

本发明提供一种基于知识蒸馏的类别增量神经网络模型聚合方法,具体包括以下步骤:步骤S1,获取聚合所需的增量类别信息以及聚合所得模型的具体结构信息;步骤S2,根据增量类别信息以及结构信息选择多个异构模型作为待聚合模型,并构建初始聚合模型;步骤S3,采用无监督数据对待聚合模型以及初始聚合模型进行类别增量模型聚合,并基于聚合时的类别增量蒸馏损失以及特征过滤损失更新初始聚合模型直至生成增量模型;该方法支持异构待聚合模型间的聚合任务,同时只需单轮聚合就能使聚合模型收敛,大大降低模型聚合过程中的通信成本。

More Posts

Send Us A Message