一、选题背景和意义：
深度神经网络（Deep Neural Networks，DNN）可以理解为有很多隐藏层的神经网络，又被称为深度前馈网络（DFN），多层感知机（Multi-Layer perceptron,MLP）。激活函数是深度神经网络中不可或缺的部分，人工神经网络中激活函数的主要作用是提供网络的非线性表达能力。如果一个神经网络中神经元仅仅是线性运算，那么即使增加网络的深度和宽度也依旧是线性映射，难以有效建模实际环境中非线性分布的数据。在神经网络中引入激活函数相当于加入非线性因素，可以有效避免多层网络等效于单层线性函数，提高模型表达力，使模型更有区分度。激活函数通常有如下一些性质：非线性（提高模型表达力），可微性（方便求梯度），单调性（损失函数为凸函数）等。深度神经网络的模型表达能力依赖于激活函数的选择。
在传统的神经网络中，sigmoid函数和Tanh函数是最常用的两个激活函数，被视为神经网络的核心。但这两个函数需要指数等复杂计算，收敛较慢，且容易饱和导致梯度消失现象。ReLU是现在被广泛使用的激活函数，它对梯度下降的收敛有巨大的加速作用。但当一个很大的梯度通过ReLU神经元反向传播时，可能会导致神经元无法再被其他任何运算节点再次激活，这个ReLU单元在训练中将不可逆转的死亡。
目前，在研究激活函数领域已取得很大的进展，但引发了一个问题，即：对于不同的神经网络是否有各自最合适的激活函数。自适应激活函数在网络的训练过程中，不断的调整自身形状，以寻找适合该网络的最优激活函数。
本课题通过数值测试不同激活函数对数值表现形式的影响，以设计自适应格式来选择激活函数，可以加速训练的过程。
二、课题关键问题及难点：
（1）系统自学偏微分方程数值解相关内容；
（2）学习熟练运用Python语言编程；
（3）数值测试不同激活函数对数值表现形式的影响；
（4）考虑依赖于物理模型的深度神经网络对激活函数的影响；
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
