文献综述
深度学习的研究最早由Hinton教授在2006年提出，他提出来深度置信网络，之后深度学习的不同模型逐渐被提出并广泛应用于模式识别以及自然语言处理上。话题检测与话题追踪[1]起源于早期面向事件的检测与跟踪（Event Detection and Tracking，简写为EDT），TDT检测与跟踪的对象从特定时间和地点发生的事件扩展为具备更多相关性外延的话题。下面将从深度学习的研究和发展和话题检测与跟踪的研究两方面来梳理总结。
- 深度学习发展和研究
2006年开始，深度学习作为机器学习领域中对模式进行建模的一种方法已经成为机器学习研究的新领域。深度学习旨在使机器学习更接近其最初目标——人工智能。
近年来，各大会议致力于深度学习原理和应用的研究。2013年声学，语音和信号处理国际会议讨论关于语音识别和相关应用的深度神经网络学习的新类型；2010，2011，2012年神经信息处理系统讨论深度学习和无监督特征学习；2011，2013年机器学习国际会议讨论关于音频，语音和视觉信息处理的学习结构，表示和最优化。
高校团队和各大企业也逐渐将此项技术作为研究热点，例如多伦多大学研究组、斯坦福大学研究组、加拿大蒙特利尔大学研究组、纽约大学研究组、百度公司、微软公司的邓力团队、Google的团队、阿里巴巴以及中科院自动化公司和研究单位。
最开始F.Rosenblatt提出感知机这一单层前向人工神经网络；1974年Paul Werbos提出反向传播算法，解决由简单的神经网络模型推广到复杂神经网络模型中线性不可分的问题；1984 年日本学者 K.Fukushima 等基于感受野概念提出神经认知机，即卷积神经网络的一种特例，Y．Lecun等提出卷积神经网络；2006年，Hinton提出深度置信网络，提出在有监督学习训练前先进行无监督学习训练，然后将学到的参数作为有监督学习的初始值；M.D.Zeiler提出反卷积网络模型；R.Salakhutdinov提出深度玻尔兹曼机。随后深度结构算法模型不断被提出，如2013年Wan Li提出drop connect规范网络，解决了过拟合问题。
深度学习大部分模型以基础的几种核心模型为基元，如受限玻尔兹曼机（RBM），自动编码器（AE），卷积神经网络（CNN）。
RBM由1985年D.H.Ackley等提出的统计力学的随机神经网络实例玻尔兹曼机(BM)发展而来的．BM具有强大的无监督学习能力，能够学习数据中复杂的规则，但是它无法确切计算BM所表示的分布。为了解决这个问题，Smolensky引入了受限玻尔兹曼机，他将BM原来的层间连接进行限定，使得同一层中不同的节点互相独立，只有层与层之间的节点才有连接，这样就可以较为容易地求得它的概率分布函数。
Y．Bengio等在2007年通过理解DBN的训练策略的成功之处，即通过无监督预训练来更好地初始化所有层的权值从而减缓深度网络的优化困难的问题，并通过将深度置信网（DBN）结构中的RBM建筑块替换成AE来验证基于AE的深度结构的想法。1989年Yan Lecun等基于前人工作，提出了一个可以将BP成功用于训练深度网络的结构—CNN。它组合局部感受野、权重共享、和空间或时间上的子采样这3种结构去确保平移和变形上的不变性。
深度学习在文本处理方面的研究也在不断进行，主要集中在三个方面，即文本的表示、文本聚类和文本分类中。尤其随着网络舆情领域研究的深入，大量的研究集中在如何利用神经网络对短文本进行处理。孙昭颖[2]等人利用word2vec 模型学习文本中词语之间潜在的语义关联，用多维向量表示单个词语,并结合深度学习卷积神经网络,对稀疏高维的原始向量进行特征提取,以此得到特征更为集中、有效的低维文本向量，之后进行聚类，取得了较好的效果。李枫林[3]等人分析了传统的文本表示方法以及基于深度学习的文本表示方法，阐述了后者的优越性。Xu[4]等人利用无监督降维的方式将原始向量嵌入到二进制代码中，然后利用卷积神经网络模型学习向量的深度特征，并将此特征作为聚类算法的输入，测试后该方法得到的聚类结果更为优良。
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
