文献综述（或调研报告）：
本课题针对需求变化具有周期波动模式的备件库存优化问题进行研究，通过建模为马尔可夫决策过程(Markov Decision Process, MDP)，采用强化学习算法，实现备件库存的动态优化。故主要对备件库存优化和强化学习在马氏决策问题中的应用这两个方向的文献进行了收集整理。
1.备件库存优化
备件库存优化管理最早起源于军事和高科技领域,尤其是那些备件价格高、停机损失和后果严重的重工业企业，后来这些研究成果逐渐应用到民用，尤其是流程工业。文献[1]将备件库存管理的研究方向划分为备件分类、备件需求预测、备件库存控制策略与模型、备件库存控制方法等几个方面，并在此基础上一一展开进行了说明。
基于分类的备件库存优化。文献[5]将备件分为通用备件和专用备件，在此基础上建立了随机需求下备件的库存模型。文献[7]则是将备件分为可修备件和不可修备件，以生产系统的可靠性指标为目标，建立了相应的数学模型。
基于需求预测的备件库存优化。文献[4]研究具有多元马氏需求转移特征的多产品库存模型的优化问题，通过建立多产品马尔可夫需求预测模型，确定了各种产品需求间的关系。文献[10]则针对有限计划期内需求率与回收率相关的情况，提出连续时变需求的可维修备件库存模型。文献[16] 运用数值积分的方法绘制出消耗量及延期交货量变化曲线并分析备件需求率和周转速率对消耗量和延期交货量的影响.
基于备件控制策略的库存优化。文献[3]是与运输策略的联合优化，从单点零备件库存优化,多点库存转运和库存与运输联合优化三个方面对零备件库存优化问题进行了研究。文献[6]是基于（R,S）策略的优化，在定期检查库存水平的基础上建立数学模型，降低库存成本。文献[14]则是与设备状态维修策略的联合优化，针对需进行定期功能检测的设备，研究其基于状态的维修策略与备件库存策略联合优化方法。
基于模型的库存优化，大部分的库存优化问题都离不开建模，其中大部分都是建立在马尔可夫过程的基础上，文献[2]、[15]、[17]、[18]、[19]都涉及这一过程，其中文献[2]和[17]均是在PH分布和MAP的基础上建立的库存模型，而文献[2]和[15]均采用了(s,S)的库存模型进行论证，文献[18]是对批量马尔可夫达到过程进行了描述，文献[19]是在需求相互转移的环境下，考虑带有多元马尔可夫需求的库存系统(t, R) 型决策问题。
除了以上提到的几个方面，关于备件库存优化的研究主要还集中在多阶库存、动态规划等，其中文献[8]、[9]、[11]都是围绕着这两个方面展开的，文献[8]利用边际效应对备件在各个保障站点的分配方案进行优化，文献[9]针对多阶库存进行了基于Agent的建模与仿真，文献[11]构建了以备件保障概率为目标的多级库存优化模型并对目标函数特性进行分析。
2.强化学习在马氏决策问题上的应用
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
