- 文献综述（或调研报告）：
文献综述
深度学习网络（Deep Learning Network, DLN）在模式识别，图像分类等多种任务场景中已经展现出了非常优异的表现[1]。然而，这种基于非线性激活函数并以模拟量作为结果输出的系统仍属于第二阶段的神经网络[2]。而如今，神经网络正在逐渐过渡到第三阶段：使用事件驱动的异步网络来处理离散的脉冲信息。传统的深度学习需要大量标记的数据样本，并且无法持续地对外界输入变量进行学习，因此无监督的神经网络[3][4]正在成为研究的热点。被监督的深度学习网络虽然受到生物神经系统中神经元对信号的处理和突触对信号的传递的启发，却以计算科学作为发展导向；与之形成对比的是无监督的神经网络，其中最具代表性的是脉冲神经网络（Spiking Neural Network, SNN），用时间和脉冲频率来对信息进行编码，采用仿生的神经元模型和局部的权重更新方式来构造网络，在某些静态的图像识别任务上已经达到了可以和传统深度学习相当的准确率，并且在面向动态输入，实现终身学习等任务场景中具有非常大的潜力[2]。
深度学习网络中需要存储大量的参数用于前馈推断和反向传播。尽管一些改进的网络结构，例如卷积神经网络中的卷积层和池化层[5][6]，可以有效减少训练所需参数，从而缓解大量参数的存储和传输给硬件系统带来的压力；然而随着任务复杂度的增加，网络深度也逐渐增加，庞大的参数量仍然成为了深度学习发展的屏障。传统的存算分离的冯bull;诺依曼计算机架构，由于有限的数据传输带宽，在传输大量数据参与运算的情况下将会产生非常大的延时，伴随着多余的能量损耗[7][8]。随着一系列新型非易失存储器件的出现，如忆阻器（Memristor）[9][10], 磁隧道结（Magnetic Tunnel Junction, MTJ）[11], 铁电隧道结（Ferroelectric Tunnel Junction, FTJ）[12]等，以及异质集成工艺的逐渐成熟，存内、近存计算这类新型技术为神经网络的硬件加速提供了解决方案。
具有多个稳定阻态的忆阻器可以在一个单元内存储多个比特的信息，从而便于实现信息的高密度存储；更值得注意的是，由于这种模拟特性，基于忆阻器构成的交叉阵列（Crossbar），模拟计算（Analog Computing）[8]可以实现大规模向量和矩阵乘法运算的硬件加速，例如深度神经网络中前馈计算的加权求和[13][14]。大量的研究也将忆阻器用于构造人工突触单元[15][16][17][18][20]，通过施加脉冲改变器件电导以实现权值更新。尽管基于忆阻器阵列的神经网络可以完成对于模式和图片的识别及其他任务，并且在功耗和集成度等方面具有非常大的优势。然而由于忆阻器器件在线性度、对称性、器件到器件的参数波动和器件耐久度等方面尚有缺陷，网络的识别率对比在CPU、GPU上的运算结果仍有差异，因而目前大量的研究工作仍在通过材料创新和工艺优化等手段改善器件特性[8][21][22][。
近年来，忆阻器也被用来构造人工神经元。脉冲神经网络的主要构成单元为突触和神经元。突触作为上一级神经元到下一级神经元之间信号传输的途径，其传输强度由突触权重决定。突触权重通过Hebbian学习这类无监督的局部学习算法在网络训练过程中被不断更新，最常用的权重更新算法是脉冲时间相关的突触可塑性（Spike-time-dependent Plasticity, STDP）[23][24]，训练过程根据前后神经元的脉冲发放相对时间来调节权重。生物神经元主要由细胞体（Soma）、树突（Dendrite）、轴突（Axon）等几部分组成。其中树突上的突触接收其他神经元传来的输入信号，输入信号在细胞体处被积累，产生的动作电位（Action Potential, AP）沿轴突传递到下一个神经元。神经科学研究用不同的微分方程组构造了不同的神经元模型，以描绘各种神经元细胞的脉冲发放模式。例如Leaky Integrate-and-Fire （LIF）模型，Izhikevich模型和Hodgkin-Huxley模型等[25][26]。
除了通过STDP规则导致的突触权重演化，生物神经系统中还存在其他类型的调节机制，例如神经元的固有可塑性（Intrinsic Plasticity, IP）[27] [28]，来协同维持网络的动态演变和稳态。局部的权重更新规则容易使网络被少数极其活跃的神经元所主导，因此需要引入稳态可塑性（Homeostatic Plasticity）来让神经元的脉冲发放速率保持在一个目标范围内。这种可塑性应当具有合适的反应时间：如果稳态可塑性很快发生，它将抑制神经系统用来传递信息的活动的瞬间波动。稳态固有可塑性被用于人工神经网络以改善网络性能，例如用于递归神经网络（Recurrent Neural Network, RNN）的自组织和优化。Lazar在[29]提出单纯地使用STDP这类Hebbian规则会造成神经元的过度增强或过度衰竭，导致只有少部分神经元参与了信息处理的过程；而结合稳态可塑性不仅提高了网络的稳定性，而且能让网络发现输入序列的时间结构。Triesch在[30]中通过动态调节神经元S型脉冲发放速率函数的参数，使神经元发放速率的均值和方差维持在目标值，让发放速率随输入激励呈现指数型分布，从而最大化激励与神经元之间的信息传递效率，实现固有可塑性机制；Triesch还通过结合稳态可塑性和STDP对单个神经元进行训练，解决了非线性独立成分分析问题[31]（Independent Component Analysis, ICA）。而后很多研究工作[32][33]将这种稳态可塑机制用于对水库计算（Reservoir Computing, RC）的优化。
根据LIF模型的定义，神经元的阈值影响到其脉冲发放速率，这对不同学习算法下的网络识别性能都会产生很大的影响。虽然提高阈值可以减少由于神经元过度活跃和非理想的脉冲序列带来的误差，但是需要更多的积分时间来触发神经元发放脉冲，放大了由于神经元过度抑制带来的误差[34]。尤其在多层的脉冲神经网络中，需要调整不同层神经元的阈值使传递信号的强度（脉冲频率）保持在相对稳定的范围，以避免神经元活动随着层数加深逐渐消失或者爆炸增长[35]。神经元脉冲发放阈值的调节是实现网络稳态可塑性的方式之一，需要结合输入数据样本和突触权重参数等其他因素综合分析。基于转化的训练方法通过将已训练的深度学习网络的权重缩放并进行归一化来得到脉冲神经网络的突触权重；在此方面Diehl提出了权值和阈值的平衡算法来使神经元保持合适的脉冲发放速率[34]，Abhronil等人提出Spike-Norm算法将VGG和ResNet转化为脉冲神经网络，并验证了此算法能够得到与原网络相当的准确率和收敛速度[36]。而针对无监督学习的单层或多层感知网络， Querlioz和Diehl分别在[37],[3]两篇文章中采用了不同的神经元阈值动态调节方法实现了单层网络的内稳态。
在忆阻器被广泛应用前，神经形态计算电路采用CMOS工艺设计的神经元单元[38]，主要分为积分、脉冲产生和反馈三部分，实现LIF模型。[39]通过引入银纳米薄膜使得器件电极之间的导电细丝（Conductive Filament, CF）可以快速的成型和恢复，类似离子通过细胞膜通道的移动，而因而导电细丝高度代表的神经元膜电位，具有LIF神经元行为特征。Pickett在[40]构建的神经元电路中，用氧化铌（NbOx）阈值开关型忆阻器模拟离子通道在膜电位驱动下的开合，实现了Hodgkin–Huxley神经元模型，并且[41]验证了通过调节电路单元中的电容电阻参数，这样的人工神经元结构可以模拟大部分的生物神经元放电模式。阈值开关器件更多被用于震荡神经元的设计[19][42][43]，实现输出脉冲频率随输入信号幅值的单调变化，构成具有模式识别等功能的神经网络。神经元固有稳态可塑性的硬件实现是一个非常值得探索的方向。Dalgaty等人提出了一种利用忆阻器的随机特性实现稳态可塑的神经元[44]，其通过监测目标脉冲发放速率和实际速率，动态施加脉冲来保持神经元一定的活跃程度，并且通过递归神经网络的仿真验证了设计可行性。Qu在[45]文中提出通过调节LIF模型神经元的漏电流大小以实现对神经元兴奋性的稳态调节：通过在每一层中添加了一个发放固定频率脉冲的稳态神经元，并用忆阻器将层中的每一个兴奋神经元与稳态神经元相连，来控制了漏电流的大小。稳态神经元和兴奋神经元发放脉冲的时间关系影响到忆阻器的电导变化，从而实现系统稳态。
如何在不引入过多冗余的外部电路和复杂的控制算法的条件下实现人工神经元的固有稳态可塑性还仍旧是一个有待深入探索的研究方向。由于神经元脉冲发放阈值对发放速率的直接影响，网络训练过程中对于阈值参数的动态调节同样是实现固有稳态可塑性的有效解决方案。因此，如何协同器件创新，利用忆阻器器件特点来设计有效的阈值可调神经元单元，将是该毕业设计的主题。
格式
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
