学术科研

上海交通大学黄晓霖教授作“Learning Dynamics: the key to Understanding Generalization and Memorization”学术报告

发布日期:2025-02-24 发表者:陈治国 浏览次数:

   (文|信息 编辑|信息 审核|陈洪)2月21日上午,国家青年特聘专家上海交通大学黄晓霖教授做客信息学院“Happy Hour”, 线上为学院师生带来了题为“Learning Dynamics: the key to Understanding Generalization and Memorization”的学术报告,报告围绕“Learning Dynamics is crucial for Deep Learning”,“Dynamic Low Dimensionality for Generalization”,“Simulating Learning Dynamics for Memorization”三个模块展开,深入浅出地介绍了如何从learning dynamics的视角理解、分析和验证深度学习的泛化与记忆能力。首先,黄晓霖教授细致阐述了深度神经网络梯度轨迹的内在低维特性,揭示了该特性与对抗样本等现象的关联,提出了分布外检测的新方法。其次,他介绍了基于learning dynamics的数据重构思路和算法,分析了深度学习的记忆机制与unlearning策略,探讨了remaining-data-free unlearning的实现路径。最后,黄晓霖教授就参会师生关注的轨迹子空间刻画、machine unlearning等与大家进行了讨论交流。报告负责人表示,报告内容丰富,视野开阔,加深了参会师生对深度学习理论、算法和应用的理解。


   黄晓霖,上海交通大学教授, 博士生导师,国家青年特聘专家。分别在西安交通大学、清华大学获得学士(2006) 和博士学位(2012);之后分别在比利时鲁汶大学和德国埃尔朗根-纽伦堡大学工作。2016年加入上海交通大学任副教授、2023年晋升教授, 现任上海交通大学自动化系副主任。面向深度学习泛化性,在函数空间、优化方法、对抗攻击等方面进行了持续研究,发表机器学习领域顶刊JMLR论文5篇、IEEE TPAMI论文10篇,在Nature Review Methods Primers发表综述1篇,目前担任Machine Learning的Editor及ICLR、 CVPR、 ICCV、AAAI的Area Chair,承担科技部重点研发课题、自然基金面上项目、上海市科委人工智能专项等,并与华为、美敦力等公司进行了长期合作。