（图文| 图文陈蕊娟李秀婷 编辑|信息 审核|熊慧娟）11月21日上午，信息学院“Happy Hour”2024年度第20期学术交流会在一综B216会议室举行。受李秀婷副教授邀请，加拿大滑铁卢大学应用数学系Jun Liu教授（加拿大首席科学家）作了题为“Almost Sure Convergence of Stochastic Gradient Methods”的学术报告。报告吸引校内及其他院校众多师生广泛参与和交流。

   Jun Liu教授首先以人工智能发展的标志性成果AlphaGO、AlphaFold、ChatGPT等为背景，阐明了基于梯度的优化方法在深度学习中的重要性。他指出，随机梯度下降方法的分析对深度神经网络的泛化性提升亟具必要性，可极大提高大尺度优化问题的求解效率。接着，Jun Liu教授详细回顾了随机梯度下降方法的研究历程，尤其是关于该方法的收敛性和收敛速度的数学理论成果演化。

   考虑到现有文献针对随机梯度下降方法的收敛率分析多集中于期望收敛，而几乎必然收敛显然对确保实际应用中的任何随机算法依概率收敛更为重要。为此，liu Jun教授指出，他与合作者利用Robbins和Monro关于随机近似的经典超对称收敛定理，为随机梯度下降（SGD）、随机重球（SHB）和随机Nesterov加速梯度（SNAG）方法提供了统一的几乎必然收敛率分析方法。首次证明，对于强凸目标函数，这些随机梯度方法的几乎必然收敛率可任意接近其最佳收敛率。对于非凸目标函数，证明了平方梯度范数的加权平均几乎必然收敛于零，且收敛至算法的last- iterate。进一步，Liu Jun教授介绍了相比现有依期望的收敛率分析结果，表明所提出的统一分析方法也适用于随机梯度方法在一般凸光滑条件下last-iterate的几乎必然收敛率分析。

   Jun Liu教授的报告引发与会师生极大兴趣。交流环节，他与大家深入探讨了研究成果和未来发展方向。