文 献 综 述
摘要：奇异值分解(SVD)是高光谱数据处理中常用的一种基础算法。高光谱遥感图像具有很高的光谱分辨率，能够提供丰富的图像和光谱信息，但其数据量庞大，数据处理十分困难。奇异值分解对数据进行特征分解，来降低数据维度，以便高效的存储和处理数据。本文阐述了奇异值分解、基于Spark的云计算平台、云计算高光谱遥感大数据的研究现状，解释了奇异值分解的原理，并说明了现有的单机上奇异值分解的求解算法。
关键词：高光谱数据 奇异值分解 Spark云计算 分布式并行
- 引言
高光谱遥感数据光谱分辨率高，能在电磁波谱的可见光、近红外、中红外、短波红外等电磁波谱范围内获取许多非常窄的光谱波段信息，从而得到光谱连续的影像数据，因而被广泛应用于众多领域，是当前对地观测、深空探测和定量遥感领域研究的国际前沿。随着星载/机载高光谱遥感探测技术的不断发展，遥感数据的数据量以指数级增长。特别是高光谱遥感图像的光谱和空间分辨率不断提高，高光谱遥感探测任务每天产生的巨大数据量给数据处理带来了巨大的挑战[1-3]。
高光谱图像的算法复杂度高，现有的单机环境很难满足这类海量级的数据规模的存储和高效处理需求，数据处理模式迫切需要向分布式并行方式进行优化。
- 研究现状
2.1奇异值分解研究现状
奇异值分解是高光谱数据处理中常用的一种基础算法，主要用于特征分解。为了解决高光谱图像数据量庞大、维度高、效率低等问题，采用奇异值分解的算对高光谱数据进行降维处理。用少量的奇异值，就可以表示出图像的特征信息，便于还原原始数据，极大的减少了数据处理的工作量。王佰玲等[4]人通过采用改进的奇异值分解模型，使得该平台上的双对角距阵奇异值分解算法得到完全并行化，对于大尺寸矩阵，性能已经完全达到了与处理器个数成线性比例关系，说明该算法已经具有很好的并行度；Tan Chao[5]提出了一种基于Spark的K-SVD算法（K-SVD-P）分布式并行优化的实现方法。结果表明，K-SVD-P不仅具有良好的加速比，而且保留了图像的纹理等细节。
SVD方法的核心思想在于降维处理，使高维矩阵转换为低维矩阵，从而更加易于处理计算数据。通过迭代的方法，不断减小矩阵规模降低维度，直到可以直接使用SVD运算。分解的子矩阵的SVD运算相互之间是完全独立的，因此可以并行处理，从而加快数据的处理速度[6]。
2.2基于Spark云计算平台关键技术研究现状
矩阵乘法的单机算法虽然有了很大进展，但是由于单机硬件发展的限制，不能满足大数据处理的要求。虽然一些学者提出了很多基于多核的并行处理方法，但是这些方法都是基于多线程，不能容易地移植到能处理TB和PB级数据的集群中[7]。
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
