带偏差随机优化算法的稳定与泛化性能

Abstract: 随机优化通常使用带偏差的梯度估计来提高算法的鲁棒性、通信效率或计算速度。代表性的算法包括零阶随机梯度下降 、裁剪随机梯度下降和具有延迟的随机梯度下降。本次报告引入通用框架来研究带偏差随机优化算法的算法稳定与泛化性。在此基础上，我们研究了零阶随机梯度下降 、裁剪随机梯度下降等算法的学习理论。

CV: 雷云文，香港大学数学系的助理教授。他的主要研究兴趣包括学习理论和优化，主要集中在算法稳定性分析、深度学习以及随机优化等主题。研究成果发表在包括IEEE TIT、TPAMI、JMLR、ACHA、COLT、NeurIPS、ICML、ICLR等主流期刊与会议。