在人工智能领域，深度学习技术凭借其强大的深度函数逼近能力，不仅可以为机器人运动规划、聚变等离子体预测与控制等复杂的受控智能系统提供超越传统方法的服务，还不断推动着技术边界的拓展，在众多工程和科学任务中展现出卓越性能，赢得广泛认可与青睐。然而，在深度学习的广泛应用背后，也面临着不小的挑战。其核心问题之一在于解决大规模优化问题，即训练拥有数百万甚至数十亿个决策变量的深度神经网络（NNs）。这一过程不仅复杂耗时，而且深度学习模型的训练损失图景往往高度退化，存在多个局部和全局最小值，并进一步导致模型的...