Keynote Speech 1 and 2
Friday, Aug. 23, 2024
Location:
Weizhen Building，Ziyou Campus，Northeast Normal University（东北师范大学自由校区惟真楼）
Time:
9:00 a.m. — 9:50 a.m.
Host:
Yi Chang, Jilin University
Zhenguo Li
华为诺亚方舟AI基础理论实验室
Title:
生成式人工智能的应用：从卫星通信、AIGC到定理证明
Abstract:
生成模型通过对数据的建模，并从大量数据中压缩学习数据的高维分布和内蕴结构，从而使能各种应用，如数据压缩，艺术创作，定理证明等。在这个报告中，我将分享三个生成式AI项目：AI数据压缩与编码，文生图基础模型PixArt，以及自动定理证明系统LEGO-Prover。首先，我们将看到生成模型技术（Flow, VAE, Autoregressive）与信息编码技术的有效结合逼近香农定律、实现数据无损压缩、形成新一代基于AI的图像压缩标准JPEG-AI、并使能卫星图片通信；接着，我们将讨论如何通过技术创新从零构建一个低成本高质量的文生图基础模型，包括数据构建、模型架构、训练策略、采样、评估等；最后，我们将分享大语言模型在数学定理证明上的一个实践 -- 借助于形式化验证系统如Lean和Isabelle，LEGO-Prover可以从零开始或者从已被证明的定理库中学习如何证明定理、自动发现和生成可复用的引理，并在评测基准MiniF2F上取得了当前业界最好的成绩。可以预见，随着生成式AI尤其是大模型技术的不断发展，随着行业数字化进程的不断推进，越来越多的应用领域将发生AI范式转移。
CV:
李震国博士是华为诺亚方舟AI基础理论实验室主任，香港科技大学计算机科学和工程系的兼职教授。在加入华为之前，他曾在哥伦比亚大学电气工程系担任副研究员。他在北京大学获得数学学士和硕士学位，在香港中文大学获得机器学习博士学位。他的研究兴趣包括机器学习和人工智能。他入选 AI 2000 Most Influential Scholars (by Aminer) ，Top 2% Most Highly Cited Scientists (by Stanford University)，并担任 NeurIPS 2023 和 ICLR 2024 领域主席。
Time:
10:00 a.m. — 10:50 a.m.
Host:
Xiangyu Chang, Xi'an Jiao Tong University
Qian Lin
Tsinghua University
Title:
Towards a statistical understanding of deep neural network: beyond the kernel regime
Abstract:
当前关于神经网络的泛化能力的研究主要分为两类：忽略了神经网络动力学性质的Holder理论以及针对较宽神经网络发展的神经正切核理论。我们将简单地回顾一下这些理论近期的结果及其一些有趣的推论，进一步它们所面临的一些挑战和一些可能的解决方式，比如近期关于神经网络的动力学行性质的“一步”分析。如果时间允许，我们会提出“自适应核理论”，一个可能用来解释神经网络有效性的理论。
CV:
林乾，清华大学统计学研究中心副教授, 2010年在麻省理工数学系获得博士学位。2017年8月至今在清华大学任教。主要研究方向为高维充分性降维，机器学习中的核方法，深度学习的数学理论等。