神经网络的训练本质是一个优化问题，其核心目标是通过迭代调整参数，使模型在给定任务上的表现逐步逼近最优。这一过程包含前向传播、损失计算、反向传播和参数更新四个核心环节，通过循环迭代实现模型性能的持续提升。本文将系统解析神经网络训练的迭代机制，结合数学原理与工程实践，探讨其技术细节与优化策略。

一句话总结

梯度消失是指在深层神经网络训练过程中，反向传播时梯度逐层变小，导致前面层几乎学不到东西，模型难以有效训练。

一、基础概念：什么是梯度？

深度学习计算图是一种图形化表示神经网络中计算流程的方法。它由节点和边组成，节点代表计算操作，边代表数据流动。每个节点接收输入数据并进行一些计算操作，然后将结果传递给其他节点。

偏微分方程(PDE)是描述物理现象的基础数学工具。在简化几何形状的理想条件下，某些PDE问题可获得精确解析解。然而对于具有复杂边界和多维几何特征的实际工程问题，解析解通常难以获取或根本不存在。

传统求解PDE的主流方法是有限元法(FEM)。该方法将计算域离散化为网格单元，通过计算各单元间的相互作用来估算局部区域内的PDE残差。求解过程从初始近似解开始，通过迭代优化不断调整节点状态参数（如位置、应力、温度等物理量），直至系统收敛到稳定配置。

尽管有限元法在工程领域取得了巨大成功，但其高度依赖于网格质量和离散化精度，在处理复杂几何形状、多尺度问题或高维空间时面临计算效率和精度挑战。这些局限性促使研究人员积极探索新型求解策略，物理信息神经网络(PINN)作为一种新兴方法应运而生。

深度学习就是搭建多层神经网络的一种机器学习方法。那学习是个啥呢，学习就是不停的迭代更新设定参数的过程。

1、深度学习的概念

人工智能 → 机器学习 → 神经网络（包括浅层和深层）。

• “神经网络”是一个更广的概念，深度学习是它的一个特殊情况（多层结构）。有些浅层神经网络（1~2层）不能算深度学习。

简介

你还记得我们上一篇文章中提到的循环神经网络（RNN）吗？(回顾一下：