随机梯度下降算法在高维回归问题中正则效应与泛化性能研究

Abstract: 随机梯度下降算法是求解机器学习问题中的常见算法。在高维学习问题中，随机梯度下降算法的迭代次数往往低于模型参数量，算法对于模型的产生隐式正则效应是模型具有良好泛化的主要原因。本次讲座，我们将研究随机梯度下降算法在不同学习情境下求解线性与简单非线性模型的泛化性能，并定量比较对应的离散算法。在线性模型中，我们将分别讨论算法在不同学习尺度（即样本数与问题维度不同依赖关系）与协变量偏移条件下的学习效率，尝试理解算法对于学习问题的适应性与涌现发生的条件。在非线性模型，我们将阐明算法能够自适应问题结构，突破一阶算法在离线情形下面临的统计-计算鸿沟（statistical to computational gap）诅咒，并能够自动实现统计推断。

CV: 方聪，在北京大学智能学院担任助理教授（博导）兼研究员。方聪于2019年在北京大学获得博士学位，先后在普林斯顿大学和宾夕法尼亚大学进行博士后研究。方聪的主要研究方向是机器学习基础理论与算法，已发表包括PNAS、AoS、IEEE T.IT、JMLR、COLT、NeurIPS、PIEEE 等30余篇顶级期刊与会议论文，担任机器学习顶级会议NeurIPS、ICML领域主席（Area Chair），团队获得2023年度吴文俊人工智能自然科学奖一等奖。