(图文|信息 编辑|辛西 审核|王欢)6月16日下午4:30,信息学院“Happy hour”活动2022年第14期学术交流会在逸夫楼C603会议室举行。受信息学院人工智能系王欢副教授邀请,武汉大学计算机学院叶茫教授作了一场关于“隐私保护的多源异构联邦学习”的精彩报告。这场学术交流会吸引了来自信息学院众多师生线上线下的参与。
叶茫教授主要从“互相关蒸馏的异构联邦学习”以及“噪声鲁棒的异构联邦学习”两方面开展专题报告。会议伊始,叶茫教授具体介绍了联邦学习的背景。在传统机器学习和联邦学习对比分析之中,叶教授给出联邦学习的定义:联邦学习是一种带有安全加密技术的分布式机器学习框架,能有效帮助多个机构在保护数据隐私的要求下,进行联合机器学习建模,他以人脸识别场景为例给在座的大家介绍了联邦学习的优势。
叶茫对自己在持续异构联邦学习方面所做的工作做了详细介绍。其中,叶教授主要讲述了持续异构联邦学习中的三个关键问题:模型异构、数据异构以及灾难性遗忘。针对这3个问题,叶教授给出具体解决思路。针对模型异构的问题,叶教授提出,利用随机数据输入至不同的参与模型进行知识蒸馏;针对数据异构的问题,提出利用互相关对比学习挖掘输入数据间的关系表达来减轻数据分布差异的影响;针对灾难性遗忘问题,提出利用持续学习平衡从他人和自身学到的知识来保持和提高本地数据的性能。对于这些解决思路,叶教授从私有数据和公共数据2方面实验结果论证了思路的优势所在。
叶茫教授介绍了自己在鲁棒异构联邦学习方向的工作。叶教授主要讲述其中3个关键问题:模型异构、本地噪声以及外部噪声。针对这3个问题,叶教授同样给出具体解决思路。针对模型异构问题,叶教授提出利用不相关数据输入至不同的参与模型进行知识蒸馏;针对本地噪声问题,提出利用反向交叉熵(RCE)对称地增强交叉熵来缓解本地更新过程中本地噪声带来的影响;针对外部噪声问题,提出根据客户端数据质量和模型性能,在合作学习时对客户端自适应重新加权。同样,叶茫教授也从私有数据和共有数据以及四种模型上的对比结果论证解决思路的优异性。
最后,叶茫教授教授对今天的内容进行关于对应的学习场景和解决方案的简要总结,并提出了未来关于联邦学习中统一方法基准、全面的隐私保护以及公平的联邦学习方面的展望。除了讲解联邦学习,叶教授介绍了其他方面的工作,如跨场景关键目标检索、文本图像跨模态匹配以及图像意图理解等。
报告结束,叶茫教授和在场师生就隐私保护的多源异构联邦学习方面进行了深入探讨。向金海老师提出了联邦学习的条件性问题,针对损失函数的设计问题与叶老师进行具体的意见交换,其中王玉龙老师、刘友发老师、邵佳老师就相关问题也积极参与了意见交换。在思想的火花激烈的碰撞之中,各位老师在不同的视角看待问题,收获颇丰,会议在欢快而热烈的交流氛围中落幕。
叶茫教授简介:
叶茫,武汉大学计算机学院教授、博士生导师。国家高层次青年人才(海外)、中国科协青年托举人才。主要研究方向计算机视觉、联邦学习等,发表国际期刊会议论文 60 余篇,其中第一/通讯作者发表 CCF-A 类论文 20 余篇,谷歌学术引用 3000 余次。主持湖北省重点研发计划、国家自然科学基金面上项目等10余项。获谷歌优秀奖学金、计算机视觉顶会 ICCV2021 无人机特定行人检索赛道冠军、2021年斯坦福排行榜 “全球前2%顶尖科学家”等荣誉。