统计物理学与现代深度网络学习技术之间存有诸多渊源。统计物理学致力于探究世界是如何从微观层面演化而来的,而深度学习的生成式技术恰恰是对这一过程的反演。故而,我们能够将当下的深度学习理论与技术视作反演统计物理学,亦可将其称为仿真物理学。
本系列文章希望从整体上整理一下统计物理学与深度学习之间的渊源,让我们能够感受到深度学习理论与技术的物理学基因。目前版本未做太多校验,仅供爱好者学习,如有错误,欢迎大家提出。
我把这个系列文章统一命名为《统计物理学与深度学习的跨学科对话》。
第一部分 基础理论对话
第1章 统计物理与深度学习的共同语言
1.1 统计物理的核心范式:熵、相变、蒙特卡洛方法
1.2 深度学习的本质:高维空间中的概率分布建模
1.3 交叉点:从Ising模型到神经网络能量函数的映射
第2章 统计力学中的关键概念在深度学习中的重生
2.1 熵与信息论:从热力学熵到KL散度
2.2 相变现象:模型训练中的临界行为(如损失函数突变)
2.3 平均场理论:消息传递算法与变分推断的物理类比
第二部分:方法论的迁移与演化
第3章 采样技术的革命:从Metropolis-Hastings到MCMC深度学习
3.1 蒙特卡洛方法:对比吉布斯采样与对比散度算法
3.2 朗之万动力学:随机梯度下降的物理诠释
3.3 退火策略:模拟退火与学习率调优的协同
第4章 自旋玻璃理论启发的深度学习模型
4.1 复杂能量景观:局部极小与鞍点问题的物理分析
4.2 Hopfield网络:记忆存储与吸引子的统计力学解释
4.3 现代扩展:基于能量模型(EBM)的复兴
第三部分:物理启发的深度学习架构
第5章 玻尔兹曼机及其后裔
5.1 受限玻尔兹曼机(RBM):概率图模型的物理实现
5.2 深度信念网络(DBN):层级相变的计算诠释
5.3 量子化尝试:量子玻尔兹曼机的探索
第6章 场论与生成模型的融合
6.1 重整化群(RG)思想:深度网络的特征粗粒化
6.2 扩散模型:从Fokker-Planck方程到去噪过程
6.3 拓扑数据分析:持续同源性与特征空间几何
第四部分:优化与泛化的物理视角
第7章 统计物理框架下的优化理论
7.1 动力学系统视角:优化轨迹的相空间分析
7.2 涨耗定理:梯度噪声与泛化能力的关联
7.3 集体变量方法:网络参数空间的降维策略
第8章 相变理论指导的模型设计
8.1 临界现象:批归一化与训练动力学的关联
8.2 逾渗理论:Dropout与网络稀疏化的物理模型
8.3 对称性破缺:注意力机制的自组织原理
第五部分:前沿探索与应用实践
第9章 物理启发的突破性案例
9.1 AlphaFold2:基于能量函数的蛋白质结构预测
9.2 神经朗之万动力学:物理模拟器与神经ODE的结合
9.3 非平衡态系统:持续学习中的熵产生机制
第10章 工具与实践指南
10.1 开源工具链:PyTorch中的统计物理模块实现
10.2 实验设计:通过XY模型理解Transformer的远程关联
10.3 工业级应用:基于Ising模型的推荐系统优化
附录与扩展资源
A. 数学基础补充:李雅普诺夫稳定性、随机微分方程
B. 经典论文导读:Parisi、Hinton、LeCun的关键文献
C. 物理-深度学习交叉领域研究机构与数据集
D. 代码实践:JAX实现的自旋玻璃神经网络训练