科学机器学习 (Scientific Machine Learning)

课程时间地点

    三教508,单周周二3-4节(10:10-12:00),每周周四3-4节(10:10-12:00)

课程简介

    在现代科学和工程领域,基于偏微分方程的计算模型扮演着核心角色。随着技术的发展,如何通过数据驱动方法或机器学习技术来优化这些计算模型,比如改进建模并进行不确定性量化,或者加快设计优化、进行实时控制,已成为近几十年来的研究焦点。本课程将深入探讨如何将机器学习技术应用于求解基于偏微分方程的复杂工程和科学问题,这一领域也常被称为科学机器学习。本课程强调跨学科技能和实践能力,旨在培养学生在科学和工程领域中综合运用传统和新兴计算方法的能力,以解决科学和工程中的实际问题。该课程目标受众包括理工科的研究生、博士生和高年级本科生。

参考书

    Athanasios C. Antoulas, "Approximation of Large-Scale Dynamical Systems"
    Rasmussen, Carl Edward, "Gaussian processes in machine learning"

课程大纲

    第1章 简介 (Introduction)
      1.1 科学机器学习简介 (Introduction to Scientific Machine Learning) [课件] [练习]
      1.2 含参数的偏微分方程 (Parametric Partial Differential Equations) [课件] [练习]
    第2章 降阶模型 (Reduced-Order Models)
      2.1 基于投影的降阶模型 (Projection-Based Reduced-Order Models)[课件] [练习]
      2.2 本征正交分解 (Proper Orthogonal Decomposition)[课件] [练习]
      2.3 基于平衡截断法的降阶模型 (Balanced Truncation Model Reduction)[课件] [练习]
      2.4 基于矩匹配的降阶模型 (Model Reduction by Moment Matching)[课件] [练习]
      2.5 针对非线性系统的降阶模型 (Reduced-Order Models for Nonlinear Systems)[课件] [练习]
      2.6 数据驱动的降阶模型 (Data-Driven Reduced-Order Models)[课件] [练习]
    第3章 高斯过程 (Gaussian Processes)
      3.1 高斯过程回归 (Gaussian Process Regression) [课件] [练习]
      3.2 协方差函数 (Covariance Functions) [课件] [练习]
      3.3 模型和超参的选取 (Model and Hyperparameter Selection)[课件] [练习]
      3.4 贝叶斯优化 (Bayesian Optimization) [课件] [练习]
      3.5 再生核希尔伯特空间 (Reproducing Kernel Hilbert Space) [课件] [练习]
      3.6 高斯过程求解偏微分方程 (Solving PDEs with Gaussian Processes) [课件] [练习]
    第4章 机器学习 (Machine Learning)
      4.1 神经网络基础 (Fundamentals of Neural Networks) [课件] [练习]
      4.2 神经网络求解偏微分方程 (Solving PDEs with Neural Networks) [课件] [练习]
      4.3 基于神经网络的代理模型 (Neural Network-Based Surrogate Models) [课件] [练习]
      4.4 强化学习 (Reinforcement Learning) [课件] [练习]

课程要求

    两次作业(60%),每次作业有理论推导和上机练习;
    期末报告(40%),选一篇文章阅读、重复数值实验、报告或做相关科研并报告(1-3人一组)。

反问题与数据同化 (Inverse Problems and Data Assimilation)

课程简介

    反问题与数据同化的最基本形式是研究如何从数据中估计模型参数。通常,数据会提供有关这些参数的间接信息,同时也受到噪声的影响。本课程将讲授简洁的数学理论和一系列计算方法,这些理论和方法可以用来确定噪声数据对解的准确性的影响,确定需要什么类型的观测来准确确定参数,还可以用来研究参数估计的不确定性。本课程强调学生实践能力,旨在培养学生在科学和工程领域中处理不确定性和复杂数据的能力,以解决地球科学、物理学、工程、医学、金融等领域中实际问题中的反问题和数据同化挑战。该课程目标受众包括理工科的研究生、博士生和高年级本科生。

参考书

    Daniel Sanz-Alonso , Andrew Stuart and Armeen Taeb “Inverse Problems and Data Assimilation”

课程大纲

    第1章 简介 (Introduction)
      1.1 贝叶斯反问题和数据同化简介 (Introduction to Bayesian Inverse Problems and Data Assimilation)[课件] [练习]
      1.2 数学基础 (Mathematical Foundations)[课件] [练习]
    第2章 贝叶斯反问题 (Bayesian Inverse Problems)
      2.1 贝叶斯反问题的适定性 (Well-Posedness of Bayesian Inverse Problems)[课件] [练习]
      2.2 线性贝叶斯反问题 (Linear Bayesian Inverse Problems)[课件] [练习]
      2.3 非线性贝叶斯反问题 (Nonlinear Bayesian Inverse Problems)[课件] [练习]
        2.3.1 基于输运的方法 (Transport-Based Methods) [课件] [练习]
        2.3.2 马氏链蒙特卡洛方法 (Markov Chain Monte Carlo Methods)[课件] [练习]
        2.3.3 变分推理方法 (Variational Inference)[课件] [练习]
    第3章 数据同化 (Data Assimilation)
      3.1 贝叶斯滤波和平滑问题的适定性 (Well-Posedness of Bayesian Filtering and Smoothing) [课件] [练习]
      3.2 线性数据同化问题 (Linear Data Assimilation Problems)[课件] [练习]
      3.3 非线性数据同化问题 (Nonlinear Data Assimilation Problems)[课件] [练习]
        3.3.1 卡尔曼滤波 (Kalman Filtering) [课件] [练习]
        3.3.2 粒子滤波 (Particle Filtering) [课件] [练习]
    第4章 扩散模型 (Diffusion Models)
      4.1 扩散模型 (Diffusion Models)[课件] [练习]
      4.2 条件扩散模型 (Conditional Diffusion Models) [课件] [练习]

课程要求

    两次作业(50%),每次作业有理论推导和上机练习;
    期末报告(50%),选一篇文章阅读、重复数值实验、报告或做相关科研并报告(1-3人一组)。

Lecturer


Semester Course
Spring 2025 Inverse Problems and Data Assimilation, Peking University
Autumn 2024 Scientific Machine Learning, Peking University
Spring 2024 Inverse Problems and Data Assimilation, Peking University

Teaching Assistant


Quarter Course
Winter 2018 AA 214B: Numerical Methods for Compressible Flows, Stanford
Winter 2019 AA 214B: Numerical Methods for Compressible Flows, Stanford
Spring 2020 AA 109Q: Aerodynamics of Race Cars, Stanford (Course designer/guest lecturer)
Spring 2022 ACM 11: Introduction to Computational Science and Engineering, Caltech (Guest lecturer)