Tutorial

Abstract:   自从OpenAI发布了ChatGPT，大语言模型(LLM)引起了社会各界广发关注和遐想，同时也衍生了各种大模型的应用场景开发热潮。大语言模型的构建是一个复杂而又精细的巨系统，它不仅牵涉到数据质量、算力分配，而且同样取决于工程技艺、算法实现细节等。这个报告主要讨论构建大模型的一些技术问题，比如, 大模型基本组件，数据清洗，分词(Tokenization), 对齐(Alignment) 等。同时从Scaling Law和Compression角度来讨论理解大模型的机理。最后报告也试图分享个体或学术届在大模型研发的机会和作为，以及未来通用人工智能的潜在方向。

Abstract:   In the first part of this talk, I will discuss some theoretical studies on deep learning with a focus on approximation, generalization, optimization, and representation. In particular, I will cover error analysis with over-parameterization. In the second part, I will delve into sampling and generative learning via and SDE and ODE.