近日,华南师范大学工学部电子科学与工程学院(微电子学院)崔海霞教授团队在分布式边缘设备高效隐私模型训练的研究上取得重要进展。相关成果以“Communication-Efficient Federated Learning for Edge Computing with Gradient Leakage Defense”为题发表在计算机网络和通信领域三大顶级期刊之一《IEEE Journal on Selected Areas in Communications》(简称IEEE JSAC,中科院一区)上。2023级硕士研究生杨锡宏为第一作者,崔海霞教授为独立通讯作者,我校为第一完成单位。
文章链接:https://url.scnu.edu.cn/record/view/index.html?key=7422ddd7239bc7d1345d0b1f3ad33091
近年来,联邦学习已成为一种能够在跨边缘设备进行模型训练的隐私保护框架。然而,在资源异构、连接不稳定的边缘计算环境中,联邦学习仍易受梯度泄露攻击的威胁。尽管现有防御方案能够提供部分保护,但往往导致模型性能显著下降或通信开销增加。
针对上述问题,华南师范大学崔海霞教授研究团队提出一种面向边缘场景的风险感知联邦学习框架。一方面,该框架基于边缘设备的异构训练配置以及模型更新的梯度范数,进行隐私风险评估并启动适应性防御。具体来说,通过结合减性抖动量化技术,在量化压缩模型数据的同时向模型中注入可控高斯噪声,实现了可靠的隐私保护与超过50%的通信成本下降。另一方面,框架采用噪声感知聚合策略,实时调整客户端权重以减轻噪声更新带来的负面影响,从而在隐私性、通信效率和模型准确性之间实现联合优化。综上所述,本工作提出的训练框架兼顾了数据安全以及通信开销优化,在异构边缘设备的通用模型训练任务上具有巨大的潜力。
该工作得到了国家自然科学基金、广东省自然科学基金等项目的大力支持。
图1: 联邦学习训练模型及来自GLA的威胁示意图

图2:论文在IEEEXplore的截图信息