一种利用优先经验回放深度Q-Learning的频谱接入算法

针对认知无线传感器网络中频谱接入算法的频谱利用率不高、重要经验利用率不足、收敛速度慢等问题，提出了一种采用优先经验回放双深度Q-Learning的动态频谱接入算法。该算法的次用户对经验库进行抽样时，采用基于优先级抽样的方式，以打破样本相关性并充分利用重要的经验样本，并采用一种非排序批量删除方式删除经验库的无用经验样本，以降低能量开销。仿真结果表明，该算法与采用双深度Q-Learning的频谱接入算法相比提高了收敛速度；与传统随机频谱接入算法相比，其阻塞概率降低了6%~10%，吞吐量提高了18%~20%，提高了系统的性能。     

海上无线网状网中基于Q-Learning的自适应路由算法

针对海上无线网状网通信环境复杂多变、船舶节点具有特殊移动模型等特点，提出一种基于Q-Learning的自适应路由（Q-Learning Based Adaptive Routing，QLAR）算法。综合考虑海上无线电波传播特性、船舶航程信息以及相应海区气象信息等因素的影响，提出链路可靠性、链路稳定性和节点航程相似度等概念，并对链路状态进行评估；然后，根据链路状态评估结果，利用Q-Learning算法寻找源、目的节点间最稳定的路径以传输数据分组；最后，利用OPNET搭建仿真平台对算法进行测试。仿真结果表明，与4种对比算法中性能最优的算法相比，QLAR算法最高可提升分组投递率4.89%，降低平均分组时延17.42%，减少归一化路由开销21.99%。     

基于深度强化学习的协作通信中继选择

协作通信是无线传感器网络(Wireless Sensor Network，WSN)实现数据可靠传输的关键技术，而协作通信技术的关键在于中继方案的选择。为此，提出了一种基于深度强化学习的协作通信中继选择算法(Deep Q-Learning Based Relay Selection Scheme,DQ-RSS)。首先，将WSN中具有中继选择的协作通信过程建模为马尔科夫决策过程，并采用Q学习在未知网络模型的情况下获取最佳中继选择策略；其次，针对高维状态空间下Q学习收敛时间长的问题，采用DQN(Deep-Q-Net)算法来加速Q学习的收敛。对比仿真实验结果表明，DQ-RSS在中断概率、系统容量和能耗方面均优于现有的中继选择方案，且能够有效节省收敛时间。     

基于Q-Learning的多功能雷达认知干扰决策方法

针对多功能雷达和认知电子战的快速发展所导致传统干扰决策方法难以适应现代化战争的问题，提出了一种基于Q-Learning的多功能雷达认知干扰决策方法。通过对比认知思想和干扰决策原理，将Q-Learning运用于认知干扰决策中并提出了认知干扰决策的算法步骤。以某多功能雷达为基础，通过分析其工作状态及对应干扰样式构建雷达状态转移图，通过仿真试验分析了各参数对决策性能的影响，为应对实际战场提供参考。仿真了在新状态加入下的决策过程、实际战场中转移概率对决策路径的影响以及四种主要干扰决策方法的决策性能对比。试验表明，该方法能够通过自主学习干扰效果完成干扰决策，更加贴合实际战场，对认知电子战的发展有一定的借鉴意义。     

Q学习算法在多十字路口交通信号控制模型中的运用分析

在城市多十字路口交通环境、面对复杂和瞬息万变的交通条件之间的相互作用,通常采用的交通信号控制方法常常暴露出效率低和实用性差。一个采用以Q学习为基础的交通信号控制模型,提出了处理没有规律和瞬息万变的交通流量的问题。利用专业的自主学习—Q学习中固有的,自主适应能力的最优控制策略应对的不同交通条件。这个模型的主要优点是没有固定的数学控制模型,正好适合这个环境。在仿真环境下的实验研究结果也说明该算法是切实可行、有效的。     

发电商基于Q—Learning算法的日前市场竞价策略

电力市场仿真可以研究市场规则、市场结构对价格形成的影响和市场参与者的动态行为。初步建立了用智能多代理模拟日前市场发电商竞价策略的模型,采用Q-Learning算法优化自身策略。改进了增强学习算法中探索参数的选取。使程序在开始阶段以较大的概率进行新的搜索,避免过早陷入局部最优。改进了阶梯形报价曲线的构造方法,减小了计算量,提高了计算速度。