大模型机理分析初探-- In-context learning和数据合成机理分析

Abstract: 近年来，大模型技术呈现出突飞猛进的发展态势，然而与之相比，大模型基础理论分析却处于相对滞后的状态。本研究聚焦于大模型机理分析展开深入探究，一方面对In-context learning（ICL）隐式更新机理进行剖析，并从对比学习视角出发对Transformer结构加以改进；另一方面针对当前流行的合成数据生成过程进行数学建模，并从反信息瓶颈这一新颖视角对数据合成进行理论分析。希望能够为ICL以及大模型合成数据设计提供全新的见解与思路，助力大模型相关应用更好地发展。

CV: 刘勇，中国人民大学，长聘副教授，博士生导师，国家级高层次青年人才。长期从事机器学习基础理论研究，共发表论文100余篇，其中以第一作者/通讯作者发表顶级期刊和会议论文近50篇，涵盖机器学习领域顶级期刊JMLR、IEEE TPAMI、Artificial Intelligence和顶级会议ICML、NeurIPS等。曾获中国人民大学“杰出学者”、中国科学院“青年创新促进会”成员、中国科学院信息工程研究所“引进优青”等称号。主持/参与国家自然科学面上/基金青年、科技部重点研发、北京市科技计划中央引导地方专项、北京市面上项目等项目。