摘要
为应对未来智能化空战对无人机自主决策能力提出的迫切需求,解决在复杂高动态环境下传统方法决策效率低、策略鲁棒性差的问题,提出一种结合分层强化学习与两阶段训练范式的无人机空战自主决策新框架。首先,设计了一种分层决策架构,将端到端的庞大决策空间进行策略性解耦:上层利用深度Q网络(DQN)学习高层战术决策,将原始连续动作空间压缩为有限的离散战术指令集,有效降低了学习复杂度;下层通过多模式控制和状态驱动机制,将高层战术意图实时精确映射为具体的飞控指令序列,确保决策的可执行性与物理安全性。其次,提出并实现了一种“专家模仿-自博弈进化”的两阶段训练方法:第1阶段,构建了基于SECA规则架构的专家对手,智能体通过与其对抗进行模仿学习,获得高质量的初始策略和先验知识;第2阶段,智能体转入虚拟自博弈环境,通过与其历史最优版本持续对抗,驱动策略不断突破初始专家知识的局限。最后,搭建高保真空战仿真环境对本文方法性能进行实验验证。研究结果表明,与传统DQN及其他基准算法相比,所提方法可以有效提升智能体学习训练的奖励收敛性能和最终对抗胜率,有效提升无人机智能体空战对抗水平。
Abstract
To address the urgent demand for the autonomous decision-making capability of unmanned aerial vehicles in future intelligent air combat and to solve the bottlenecks of low decision-making efficiency and poor strategy robustness of traditional methods in complex and highly dynamic environments, this paper proposed a novel framework for the autonomous decision-making of unmanned aerial vehicles in air combat combining hierarchical reinforcement learning and a two-phase training paradigm. Firstly, this paper designed a hierarchical decision-making architecture to strategically decouple the vast end-to-end decision space. The upper layer utilized a deep Q-network (DQN) to learn high-level tactical decisions, compressing the original continuous action space into a finite set of discrete tactical commands, which effectively reduced the learning complexity; the lower layer mapped the high-level tactical intentions into specific flight control command sequences in real time through multi-mode control and state-driven mechanisms, which ensured the executability and physical safety of the decisions. Secondly, a two-phase training method of “expert imitation and self-game evolution” was proposed and implemented. In the first phase, an expert opponent based on the SECA rule architecture was constructed, and the agent obtained high-quality initial policies and prior knowledge through imitation learning by fighting against it; in the second phase, the agent transitioned into a virtual self-game environment to continuously fight against its historically optimal versions, which drove the policy to continuously break through the limitations of initial expert knowledge. Finally, a high-fidelity air combat simulation environment was built to experimentally verify the performance of the proposed method. The research results indicate that, compared with the traditional DQN and other baseline algorithms, the proposed method effectively improves the reward convergence performance during the agent learning and training and the final confrontation winning rate and effectively enhances the air combat confrontation level of the unmanned aerial vehicle agent.
随着无人机(unmanned aerial vehicle, UAV)技术的不断发展以及现代空战形态的深刻演变,空中作战呈现出作战节奏快速、信息高度饱和、对抗复杂动态剧烈等特点,单纯依靠传统的人为操控飞行器作战模式已难以满足现代空战需求[1-3]。在此背景下,开展无人机自主空战机动决策研究,实现无人机自主智能感知态势并规划决策攻防机动,已成为当前占据空战决策技术制高点的迫切需求,也是未来智能化战争发展的必然趋势[4-6]。
对于自主空战机动决策,当前常用方法包括基于博弈论方法、基于优化理论方法,以及基于人工智能方法。基于博弈论方法主要包括微分对策、矩阵对策,以及影响图等方法。车竞等[7]针对双机空战机动决策问题,基于基本机动动作和攻击与防御准则构建双方空战支付矩阵,并基于矩阵博弈方法进行仿真求解。刘昊天等[8]利用矩阵对策法,结合对抗双方态势信息建立支付博弈模型,并基于对局迭代方法求解策略。周思羽等[9]将随机决策理论与影响图方法相结合,基于5种典型机动准则设计以在特定决策时刻给出决策方案。基于优化理论方法主要包括动态规划方法、遗传算法,以及贝叶斯推理方法等。Mcgrew等[10]针对单机空战机动决策问题,基于近似动态规划方法来求解二维空间中的机动策略,具有良好的实时决策效果。邓可等[11]将矩阵博弈与遗传算法相结合,首先基于矩阵对策求解空战初始策略范围,然后利用遗传算法来求解最优空战机动策略,一定程度上提升了空战决策效率与准确性。孟光磊[12]等针对单机空战决策问题,分析提取影响空战对抗态势的典型因素,基于因素之间的因果关系构建基于动态贝叶斯的空战决策网络,仿真验证了该方法的有效性。基于博弈论方法求解空战决策问题的优势在于其数学建模明确清晰,求解简单直观,但是其实时性效果较差且容易出现计算量激增的问题;基于优化理论方法的优势在于其方法适应性较强,易扩展,但是其实时性效果也较差且容易陷入局部最优;基于人工智能方法的学习能力较强,且具有良好的决策实时性,可以有效提升空战决策自主智能化水平,目前基于强化学习的智能空战决策方法正在逐渐受到国内外相关研究人员的广泛关注与研究。
强化学习方法主要分为基于价值的[13-15]和基于策略[16-17]的强化学习。基于价值的强化学习主要是通过学习动作的价值来决定后续的动作执行,而基于策略的强化学习则是直接学习智能体的不同策略,如基于策略梯度的方法。Li等[18]针对单机空战机动决策问题,结合专家经验来改进强化学习决策方法,构建专家经验重播缓冲区并结合导弹攻击区构建,仿真结果显示该方法具有良好的决策适应性。廉云霄等[19]针对多机协同空战决策问题,基于图注意力机制来融合处理多源观测信息,并在此基础上利用改进的时空信息融合方法来聚合战机和时序信息,最后基于强化学习方法进行求解,仿真结果显示该决策方法使得多机群体具有良好的协同性。倪浩等[20]针对无人机智能空战决策问题,首先利用自博弈方法来获得有效的空战交互数据,其次基于域随机化方法来提升决策鲁棒性,仿真结果显示该决策方法显著提升了无人机空战决策的泛化性和鲁棒性。
基于强化学习方法的空战决策虽然可以赋予战机智能体更加自主智能的机动决策能力,但是现有的空战决策端到端模型的动作空间巨大,导致策略难以收敛且缺乏可解释性。其次,仅依赖简单的对抗学习环境来进行策略训练,所得到的智能体能力难以确保可以应对复杂多变的空战环境且易陷入局部最优[21]。针对上述问题,本文首先提出设计一种分层强化学习框架以将决策过程解耦,该框架的核心创新在于将端到端的决策过程策略性解耦为高层战术学习与底层动作执行,上层利用深度Q网络(deep Q-network,DQN)学习抽象的战术意图,从而将巨大的原始动作空间压缩为有限的离散战术指令集,从根本上缓解了策略难以收敛的问题。底层则通过基于多模式控制和有限状态机的驱动机制来将高层战术实时转化成具体的机动动作指令组合。这种分层设计不仅大幅降低了学习复杂度,还增强了决策过程的模块化和可解释性。其次,在训练方法层面,研究设计专家模仿-自博弈训练进化的两阶段训练机制,以解决稀疏奖励环境下的学习效率和策略固化问题。第1阶段,构建了基于SECA规则架构的专家对手,智能体通过与其对抗进行模仿学习,获得高质量的初始策略和先验知识,以有效克服强化学习“冷启动”难题;第2阶段,智能体转入虚拟自博弈环境,通过与其历史最优版本持续对抗,驱动策略不断突破初始专家知识的局限,探索更优和鲁棒性更强的战术策略。
1 问题描述
本文首先对红蓝双方空战场景以及无人机动力学模型进行定义描述,在此基础上,给出空战决策马尔可夫决策模型,主要包含状态空间、动作空间、奖励函数机制,以及状态转移函数的定义设计,为后续的空战机动决策算法设计奠定模型基础。
1.1 空战无人机动力学模型
无人机自主空战主要指对抗双方通过机动占位来获取有利的攻击态势,并适时发射导弹攻击目标的作战模式[22-23]。无人机空战过程主要为:在目标搜索与跟踪阶段,无人机重点在于搜索目标,在捕获目标后开始跟踪,以寻找最佳攻击时机。在捕捉到目标的基础上,无人机需要根据实际情况及时动态调整机动策略来确保处于最佳攻击位置和导弹发射时机,并伺机发射导弹攻击目标。在完成导弹打击之后,无人机需要根据任务完成情况迅速分析是否需要重新进入空战攻击阶段或撤出战场。无人机作为空战对抗的主体,其机动行为决策对空战结果具有至关重要的影响,本文主要采用六自由度模型[1]来建立无人机运动与动力学模型,无人机的运动学方程为
(1)
式中:(x,y,z)为无人机的空间位置,γ、χ分别为无人机速度向量v相对于地面坐标系的航迹偏角和航迹倾角。
无人机的动力学方程为
(2)
式中:F为发动机推力,Z为阻力,m为无人机质量,g为重力加速度,n为过载,φ为无人机滚转角。无人机的运动控制量主要为过载、滚转角速率和油门指令,针对不同的空战态势通过生成不同的控制指令组合来适时做出不同的机动动作以占据有利的空战对抗态势。在底层控制器生成连续控制量时,根据当前飞行状态动态调整控制指令上下限,即
(3)
式中:为控制器当前计算所得到的过载值,clip(·)为截断函数。同时,飞机的滚转角速率限制为, rad/ s。
飞机在机动过程中的安全迎角保护如下:
(4)
式中:ni为经物理限制后的法向过载指令,α为当前攻角。
飞机在战术机动选择时,考虑当前状态下的最小转弯半径限制为
(5)
式中:V为飞机速度,g为重力加速度,nmax为当前最大可用过载。在位置追踪、角度追踪等追踪类机动过程中,若所需转弯半径小于Rmin,则自动切换为其他能量管理机动模式,以避免执行不可行的机动指令。
基于深度强化学习的智能空战机动决策学习的整体研究框架如图1所示。
1.2 空战决策马尔可夫模型
本文将空战机动决策问题建模为一个马尔可夫决策过程(Markov decision process, MDP),其核心要素定义如下。
图
1
自主智能空战机动决策学习整体框架
Fig.
1
Overall framework of autonomous intelligent air combat maneuver decision-making learning
1.2.1 状态空间
状态向量在时刻t定义为
(6)
式中:(xb,yb,zb)、(xr,yr,zr)分别为蓝方和红方在北东地(North east down, NED)坐标系下的位置坐标;vb、vr分别为蓝方和红方战机的地面速度;ψb、ψr分别为蓝方和红方的进攻角(即其速度矢量与目标视线之间的夹角)。
基于空战状态空间,红、蓝双方空战对抗之间的相对态势计算如下:
1)红、蓝双方相对位置矢量为
(7)
2)红、蓝双方之间的间隔距离为,红方的进攻角为
\begin{equation}\psi _{r}=\arccos\left(\frac{v_{r}\cdot r}{\left\|v_{r}\right\|\cdot \left\|r\right\|}\right)\end{equation}
(8)
1.2.2 动作空间
动作空间为离散集合,表示不同的基础空战机动模式为
(9)
式中,每个动作at对应一种预定义的战术机动[24]。其中:0为加速,1为定航迹角爬升,2为位置追踪,3为角度追踪,4为高YoYo机动,5为低YoYo机动,6为半滚倒挂,7为大回环,8为赫伯斯特机动,9为F-pole机动,10为眼镜蛇机动。这些机动由底层控制器解析为具体的过载、滚转指令执行。
1.2.3 奖励函数
奖励函数R(st,at,st+1)旨在引导智能体学习优势空战态势,主要由环境态势奖励和终局奖励构成。
1)环境态势奖励
环境态势奖励Re为
(10)
式中:Ra为角度优势奖励,Rd为距离优势奖励,Rv为速度优势奖励,Rh为高度优势奖励,wa、wd、wv、wh分别为各个优势奖励的权重。
①角度优势奖励Ra为
\begin{equation}R_{a}=1-\frac{\left|\psi _{r}\right|+\left|\phi _{r}\right|}{2\pi }\end{equation}
(11)
式中,φr为红方的逃离角,此项奖励机制鼓励战机指向敌机并规避敌机的机头指向。
②距离优势奖励Rd为
(12)
式中:ds为对比标准攻击距离,本文将其设置为10 km;do为距离尺度因子,本文将其设置为100 km。
③高度优势奖励Rh为
(13)
式中,hs为对比标准空战高度,本文将其设置为2 000 m。
④速度优势奖励Rv为
(14)
式中,vs为对比标准空战速度,本文将其设置为1 Ma。
2)空战终局奖励
空战终局奖励Rt为
(15)
3)总体空战奖励
总体空战奖励Rs为
(16)
式中,we、wt分别为环境态势奖励和空战终局奖励权重。若强调空战过程中的态势控制能力(如持续占据优势位置),则应提高we,使智能体更关注实时态势变化;若强调最终胜负结果(如尽快击落敌机),则应提高wt,鼓励智能体以达成击落或避免被击落为首要目标。在奖励设置中,需保证weRe和wtRt在数值尺度上相匹配,避免某一项奖励主导整个奖励信号,导致策略偏向单一目标。在实际训练中,通过进行多组权重实验仿真试验的对比分析,本文设定we=0.7,wt=0.3,该权重设定本质上是对过程奖励与结果奖励的权衡,旨在较好地平衡对抗胜率与态势控制效果。
1.2.4 状态转移函数
状态转移函数由红、蓝双方空战环境决定:
(17)
在红、蓝双方空战对抗过程中,红方接收空战态势信息st,并执行动作at,空战对抗环境发生变化,状态发生迁移st+1。自主机动决策的目标是基于当前所观察到的态势信息,通过决策映射函数机制输出每架飞机在时刻t应该执行的动作。
2 基于分层强化学习的空战机动决策
本文主要研究构建分层强化学习框架,将智能体的决策过程进行宏观战术决策与微观动作执行解耦,首先研究构建了上层的基于深度Q网络的机动决策训练与策略学习方法来输出宏观战术机动策略,随后聚焦在底层研究基于多模式和状态驱动的连续动作生成控制方法以生成有限动作指令组合来控制动作输出。
2.1 基于深度Q网络的机动决策训练与策略学习
本文主要采用深度Q网络算法来研究自主空战机动决策问题,其主要采用双网络结构,包含评估网络Q(s,a;θ)和目标网络Q(s,a;θ-),网络结构为多层感知机,即
(18)
式中:。
以学习最优动作价值函数Q*为决策目标,该函数需满足贝尔曼最优方程为
(19)
式中,γ=0.99为折扣因子,用于权衡当前与未来奖励。
在学习训练过程中,使用回放缓冲区D存储智能体的经验元组et=(st,at,rt,st+1),训练时从中均匀采样一个小批次的经验B~Uniform(D)以打破数据之间的相关性。通过最小化均方时序差分误差来训练评估网络为
(20)
其中目标值y由目标网络计算:
使用Adam优化器以学习率α=0.01更新参数θ,每经过150次训练步,将评估网络的参数复制给目标网络θ-←θ以稳定训练过程。采用ε-贪婪策略来选择动作,以平衡探索与利用,即
(21)
在训练过程中,探索率从初始值0.9线性衰减。通过上述MDP建模与DQN训练框架,智能体能够通过与仿真环境的交互,自主学习在复杂空战态势下选择最优战术机动的策略。高层策略πhigh是一个参数化的策略,其输入为状态st,输出一个离散的机动指令mt为
\begin{equation}m_{t}=\pi _{\mathrm{high}}(s_{t};\theta \mathrm{)∈A}\end{equation}
(22)
式中:A为离散的机动指令集合,每个指令对应一种空战基本战术动作;θ为DQN网络的参数,该层级的目的是根据当前态势选择最有利的战术机动类型。
2.2 基于多模式和状态驱动的底层动作生成控制
底层控制器是一个确定性函数F,它将高层的离散机动指令mt和当前飞机的连续状态xt以及目标敌机的连续状态xtarget映射为具体的动力学模型的连续控制量ut,即
\begin{equation}u_{t}=F(m_{t},x_{t},x_{\mathrm{target}}\mathrm{)}\end{equation}
(23)
式中,为生成的控制向量(其中:为法向过载指令,用于控制飞机爬升或俯冲;为滚转角速率指令,用于控制飞机滚转与转弯;为油门指令,通常被设置为固定值)。
底层控制器可以建模为一个六元组(M,X,U,G,F,τ)。其中:M为输入机动指令集合,即高层动作空间;X为系统状态,包括本机状态xt和目标状态xtarget;U为输出控制指令空间;G:M×X→U为基本动作生成器,为大多数机动指令提供连续控制律;M×X×τ→U×τ为序列动作生成器,处理需要分阶段执行的复杂机动(τ为内部状态(标签)集合)。
2.2.1 基本动作生成器G的详细控制律
对于非序列机动,控制器G直接根据指令和当前状态计算ut:
1)模式1&2:能量管理(加速/爬升)
①模式1(加速):
(24)
式中:nz=cos(γ)主要是为了平衡重力以保持高度,是为了改平机翼。
②模式2(定航迹角爬升):
(25)
式中:γdes=25°为期望航迹角,tc为控制时间常数,设定为1 s,以调节响应速度。
2)模式3&6:追踪(位置/姿态)
①模式3(位置追踪-比例导引):相对位置与视线角为
(26)
在弹道系计算加速度指令:
(27)
转换至速度系并补偿重力:
(28)
解算最终控制指令:
(29)
②模式6(姿态追踪):针对目标姿态追踪机动模式,首先计算目标在机体系下的方位:
(30)
在得到目标的确切方位信息之后,计算姿态误差角:
(31)
结合目标姿态追踪的姿态误差角,计算生成角速率指令并转换如下:
(32)
3)模式4&5:YoYo机动(高/低),YoYo机动通过追踪一个虚拟点来实现。
虚拟点位置为
(33)
式中:sign=+1表示高YoYo,sign=-1表示低YoYo;η为增益系数;pvirtual=pt+[0,0,Hc]T作为新模式3的目标,调用位置追踪控制律。
2.2.2 序列动作生成器F的详细控制律
对于序列机动(模式7~11),控制器F维护一个内部状态tag=[tag0, tag1]∈B2来管理机动执行阶段。
1)模式7:半滚倒挂(Split-S)
①阶段1(tag0=True):滚转至倒飞为
(34)
式中,nz=2表示轻微拉起,辅助滚转。若|φ|>160°,则tag0=False。
②阶段2(tag0=False, tag1=True):倒飞状态下拉为
(35)
式中,nz=9表示大过载,向下机动。若θ>0°,则tag1=False。
③阶段3(tag0=False, tag1=False):
(36)
2)模式8:大回环
①阶段1:拉起进入筋斗
(37)
式中,主要是为了保持机翼水平。
②阶段2:在顶点附近滚转180°,即
(38)
③阶段3:改平并进入平飞为
(39)
3)模式9(赫伯斯特机动)。赫伯斯特机动是一种大迎角、快速机头指向变化的超机动动作,适用于空战对抗中快速改变机头指向以抢占攻击角度,主要将其分为3个阶段。
①阶段1:快速拉起进入大迎角,当迎角α>30°时,则进入下一阶段,具体的控制律为
(40)
②阶段2:机头快速偏转,当偏航角变化率>30 °/s且持续1 s之后则进入下一阶段,控制律为
(41)
③阶段3:改出并恢复稳定飞行状态,使得飞机的迎角α<10°且滚转角|φ|<20°,控制律为
(42)
4)模式10(F-pole机动)。F-pole机动是一种在导弹攻击中使用的规避与占位复合机动,通过侧向机动维持对敌角度优势的同时规避敌方武器攻击。
①阶段1:飞机侧向滚转并拉起以快速建立侧向位移,使飞机滚转角达到约55°~65°范围,控制律为
(43)
②阶段2:飞机保持侧滑,在维持侧向位移的同时调整机头指向目标,在此过程中,飞机的滚转角速率与前一阶段保持一致,同时保持飞机的侧滑角约为5°左右,在视线角变化率<1°/s时则进入阶段3。
③阶段3:飞机改平并恢复对目标的稳定追踪,此时飞机的控制律和赫伯斯特机动的阶段3的控制律保持一致。
5)模式11(眼镜蛇机动)。眼镜蛇机动是一种典型的过失速机动,通过快速拉起至大迎角后迅速改出,用于快速减速并迫使后方敌机冲前。
①阶段1:飞机快速拉起至大迎角,使飞机迎角迅速增加至约70°~90°范围,控制律为
(44)
②阶段2:飞机保持大迎角状态,并迅速减速,具体的控制律为
(45)
③阶段3:当飞机的空速下降至原速度的60%左右或持续1 s之后,快速改出并恢复小迎角飞行状态,控制律为
(46)
底层控制器的总入口函数如下:
(47)
通过这种分层与分模块的设计,驱使高层DQN在简化的抽象动作空间中高效学习战术决策,而底层动作控制则确保这些战术决策能够被安全、可靠且符合物理规律地执行。这两部分通过明确的接口at和ut进行耦合,共同构成了一个完整、高效的空战智能体。
3 基于预训练规则对手的自博弈强化学习训练
为实现红方DQN智能体的战术能力从“基础认知”到“突破优化”的递进,训练过程分为“规则对手对抗训练”与“自博弈强化学习”两个紧密衔接的阶段。首先,以基于SECA架构构建的蓝方规则对手为训练对象,在对抗训练阶段,智能体通过ε-贪心策略选择动作并存储经验至预训练经验池,同步优化DQN网络参数,最终使智能体形成对空战环境的基础认知。在此基础上,进入自博弈强化学习阶段,以预训练成果为初始化,构建动态对抗MDP,采用“当前智能体vs历史最优智能体”的对抗模式,通过迭代流程实现策略优化,促使智能体更加高效地学习空战机动策略。
3.1 基于SECA规则架构的专家对手对抗训练
基于专家系统的状态-事件-条件-动作(state-event-condition-action, SECA)分层决策框架,将蓝方规则型对手的决策逻辑形式化建模为六元组模型,统一规则的抽象描述、可视化表达与机器部署格式。蓝方专家规则对手的SECA决策模型MB=(IDB,QB,EB,CB,AB,ΠB),其中:IDB为蓝方的唯一标识号;QB={q1,q2,···,q8}为有限战术状态集合;EB={e1,e2,···,e6}为触发状态转换的事件集合,基于战场态势变化生成;CB={c1,c2,···,c5}为状态转换的条件集合,量化事件触发后的判定标准;AB={a1,a2,···,a8}为蓝方可执行的动作集合;ΠB:QB×EB×CB→QB×AB为状态转换函数,满足(ab,q′b)=ΠB(qb,eb,cb),表示当前状态qb下,触发事件eb且满足条件cb时,蓝方执行动作ab并转换至新状态q′b。蓝方战术状态集合、作战事件集合见表1、2。
表
1
空战战术状态
Tab.
1
Tactical states of air combat
表
2
空战作战事件
Tab.
2
Air combat events
从表2可以看出,事件e1中的高度过低预警值设定为3 km,速度过低预警值设定为80 m/s;事件e2、e3中的敌我间距中远程与近距离的界定值设定为5 km;事件e4中的方位角过大判定条件设定为天线瞄准角α>60°;事件e5中的被敌方咬尾的判定条件设定为天线瞄准角α>120°且目标进入角αe>150°。
蓝方判定条件集合见表3。
表
3
空战判定条件
Tab.
3
Air combat judgment conditions
蓝方机动动作集合包括:a1为加速,a2为爬升,a3为位置追踪,a4为角度追踪,a5为高YoYo机动,a6为低YoYo机动,a7为半滚倒挂,a8为大回环,各类动作含义及生成控制方式同前述章节。
基于表1~3的核心元素定义,蓝方规则对手的状态转换规则通过SECA规则描述语言形式化,关键规则示例见表4。
表
4
空战规则
Tab.
4
Air combat rules
表4将表1~3中的所有状态集合、事件集合,以及条件集合按照SECA决策模型的决策链条进行串联结合以形成具体的机动规则,如表4中的规则链q2→e3→
c1→\begin{equation}a_{3}\end{equation}→\begin{equation}q_{4}\end{equation}所示,该规则表示蓝方初始处于远距机动状态,在触发敌我双方间距逐渐缩小至近距范围内事件时,满足机动能量较高的条件下开始执行位置追踪机动动作以寻求在尽可能短的时间内来捕捉到合适的攻角,并迁移至攻击交互状态来打击对方。图2清晰地展示了蓝方状态机的决策逻辑流程,每个节点代表一个状态,连线上的标签表示事件→条件→动作,最终指向继任状态。通过这种形式化的描述和状态迁移图,蓝方规则策略的逻辑变得清晰、严谨且易于理解和复现。它展示了如何根据空战态势(事件和条件)在不同的战术状态之间进行切换,并为每个状态选择合适的战术动作。
c1→\begin{equation}a_{3}\end{equation}→\begin{equation}q_{4}\end{equation}所示,该规则表示蓝方初始处于远距机动状态,在触发敌我双方间距逐渐缩小至近距范围内事件时,满足机动能量较高的条件下开始执行位置追踪机动动作以寻求在尽可能短的时间内来捕捉到合适的攻角,并迁移至攻击交互状态来打击对方。图2清晰地展示了蓝方状态机的决策逻辑流程,每个节点代表一个状态,连线上的标签表示事件→条件→动作,最终指向继任状态。通过这种形式化的描述和状态迁移图,蓝方规则策略的逻辑变得清晰、严谨且易于理解和复现。它展示了如何根据空战态势(事件和条件)在不同的战术状态之间进行切换,并为每个状态选择合适的战术动作。
基于上述蓝方专家对手规则建模,使红方智能体与其进行对抗训练,其核心是让红方DQN智能体通过与蓝方SECA规则对手交互,学习战场态势感知、动作价值评估,以及最优决策生成,具体过程形式化如图2所示。
图
2
状态迁移图
Fig.
2
State transition diagram
定义对抗训练的马尔可夫决策过程(MDP)M=(S,AR,AB,P,R,γ)。其中:状态空间S包括红方状态sR(t)、蓝方状态sB(t)与环境状态。红方状态sR(t)与前述章节中的状态空间保持一致,蓝方状态sB(t)与sR(t)结构一致,新增SECA状态qB(t)∈QB,环境状态sE(t)=[d(t),α(t),αe(t),ΔE(t)],即包含敌我距离、方位角、敌方方位角和能量差;动作空间AR为红方DQN智能体的控制指令集合,,即包含法向过载、滚转角速率和导弹发射指令等,动作空间AB为蓝方SECA规则对手的动作集合aB(t)=∏B(qB(t),eB(t),cB(t));状态转移概率P(s′(t)|s(t),aR(t),\begin{equation}a_{B}\end{equation}(t))由红、蓝双方对抗交互而决定,奖励函数与前述章节中所述奖励机制保持一致。对抗训练的数据流通过时序采样与经验回放池存储实现,具体过程见算法1。

3.2 基于虚拟自博弈的空战机动决策强化学习
结合基于SECA规则架构的专家对手对抗训练,对抗训练阶段的核心目标是让智能体预先熟悉对抗环境,而后续的自博弈是为了突破固有专家知识经验,两者通过初始化迁移与对手迭代实现衔接。将自博弈过程建模为动态对抗马尔可夫决策过程(dynamic adversarial MDP, DAMDP),形式化表述为
\begin{equation}M_{\mathrm{SP}}=(S,A,P_{\mathrm{SP}},R_{\mathrm{SP}},\gamma ,\Theta \mathrm{)}\end{equation}
(48)
式中:S为状态空间,与对抗训练阶段一致,包含红方状态、蓝方状态与环境状态;A为动作空间,双方采用统一的动作空间a(t)=[nz(t),,\begin{equation}λ_{m}\end{equation}(t)];PSP为自博弈状态转移概率,由双方智能体的动作共同决定PSP(s′(t)|s(t),\begin{equation}a_{1}\end{equation}(t),\begin{equation}a_{2}\end{equation}(t)),其中\begin{equation}a_{1}\end{equation}为当前智能体动作,\begin{equation}a_{2}\end{equation}为历史最优智能体动作;RSP为自博弈奖励函数,与前述章节中的奖励函数机制保持一致;γ为折扣因子,平衡即时奖励与长期收益;Θ为策略池,存储自博弈迭代过程中所有历史智能体的网络参数Θ={\begin{equation}θ_{0}\end{equation},\begin{equation}θ_{1}\end{equation},···,\begin{equation}θ_{k}\end{equation}},\begin{equation}θ_{k}\end{equation}为第k轮迭代的智能体参数。
策略池存储自博弈迭代过程中所有有效策略网络参数,其动态更新为
(49)
式中:Θk为第k轮迭代后的策略池,W(k)为第k轮当前智能体(参数θk)对抗历史最优智能体(θb)的胜率,Wb为当前历史最优胜率,Δω=0.05为胜率提升阈值。
从更新后的策略池中选择胜率最高的策略作为新的历史最优,即
(50)
同时更新历史最优胜率:。
自博弈的初始化依赖对抗训练阶段的输出为θ0=θpre,其中θ0为初始智能体参数,θpre为对抗训练后红方DQN的网络参数。自博弈训练阶段初始经验池为D0=Dpre,其中D0为初始经验池,Dpre为对抗训练阶段存储的经验元组集合。在迭代对抗过程中,随机生成对抗初始态势,当前智能体采用ε-贪心策略选择动作为
(51)
历史最优智能体采用纯贪心策略选择动作以对抗压力稳定为
(52)
红、蓝双方执行动作并更新状态,计算自博弈奖励并判定终止条件,存储经验元组至当前轮经验池。策略更新过程为:从当前轮经验池中随机采样批量经验B={(si,ai,RSP,s′i, donei)},目标值计算yi为
(53)
式中,\begin{equation}θ_{k}^{-}\end{equation}为当前轮目标网络参数,与当前网络参数的关系为软更新。
采用时序差分(temporal difference, TD)损失函数,同时增加策略正则化项避免策略与预训练基础偏差过大,即
(54)
式中λ为正则化系数。
采用Adam优化器最小化损失函数,更新当前网络参数为
(55)
式中:α为学习率,为损失函数对θk的梯度。
4 仿真实验与结果分析
4.1 实验参数设置
本文主要针对红、蓝双方空战对抗仿真实验进行仿真参数设置,实验基于Python3.7和PyTorch框架搭建空战仿真平台,并基于名为“SNAKE”的开源软件进行空战对抗仿真实验。
本次实验采用DQN算法进行空战机动决策学习训练,相关的网络参数、训练参数见表5、6。
表
5
相关网络参数说明
Tab.
5
Description of relevant network parameters
表
6
相关训练参数说明
Tab.
6
Description of relevant training parameters
在红、蓝双方的空战对抗场景中,双方空战战场环境参数见表7。
表
7
对抗场景初始态势参数设置
Tab.
7
Initial situation parameter settings of confrontation scenario
4.2 决策方法性能对比实验
为更好地验证本文所提决策方法的有效性和优越性,将本文提出的改进决策方法IDQN与原始DQN方法和PPO基线算法进行对比,对比的指标主要包含决策方法在智能体学习训练过程中的累积奖励的变化情况以及对抗胜率比例的变化情况,在每一轮的对抗训练中,红、蓝双方的初始态势随机初始化,具体的仿真情况如图3、4所示。
图
3
不同方法奖励变化情况对比
Fig.
3
Comparison of reward changes of different methods
图3展示了3种不同决策方法在智能体学习训练过程中的奖励累积变化情况,所有方法的学习训练共进行了5个线程的仿真试验,图中的变化曲线为5个线程实验数据的平均值变化曲线,阴影区域为所有线程实验数据的最大值和最小值组成,同时也对数据做了平滑处理以更好地观察奖励数据变化趋势。
从图3可以看出,原始DQN方法的训练奖励虽然最终达到稳定的收敛水平,但是本文提出的改进DQN决策方法展现出更快的收敛速度并最终收敛到更高的奖励水平且其波动变化范围更小,其奖励曲线从一开始就处于更高水平,这证明了专家预填充提供了高质量的初始数据,克服了DQN的“冷启动”问题并保证了学习训练过程的整体稳定性。其次本文决策方法的奖励变化曲线平滑、快速上升至一个明显更高的平台,且波动范围最小。这证明了“分层架构”通过缩减决策空间,降低了学习难度,使策略优化过程更加高效和稳定。标准PPO的奖励变化曲线变化幅度波动性较大且最终收敛水平较低,这也间接表现出在本文设定的高动态空战对抗决策仿真实验中,在线策略的PPO算法在样本效率和训练稳定性上存在不足,而离线学习与精心设计的数据复用机制可以在一定程度上加快提升智能体的学习性能。
图4中展示了本文提出的改进DQN算法、原始DQN算法,以及PPO算法各自在智能体训练过程中的对抗胜率的变化情况。从图4可以看出,IDQN的对抗胜率可以达到更高的数值约为0.80,且其负率最终降至约为0.05,这表明了本文提出的决策方法可以使得智能体具有更强的对抗能力。相比之下,基准PPO方法胜率曲线增长缓慢且伴随反复,胜率、负率、平局率三者长期交织,表明智能体始终在探索基础战术,未能形成稳定、高胜率的优势策略。DQN方法的胜率、负率、平局率三者在前期也存在交织变化现象,虽然最终胜率变化高于负率和平局率,但是增长的幅度不是很明显。本文所提的决策方法在训练早期,胜率即快速脱离随机水平并持续上升,负率相应迅速下降。这对应了智能体通过模仿专家,迅速掌握了基本的攻防转换和战术决策能力。中期以后,胜率曲线以更稳定的斜率增长,平局率开始显著下降,这表明智能体通过自博弈训练机制开始学习到更加稳定且有效的空战对抗策略。最终,智能体的胜率稳定在约0.80的高位水平,显著高于传统DQN的0.43和基准PPO的0.40。对抗胜率的变化情况对比实验表明本文方法可以有效实现智能体性能的稳健提升,并极大提升智能体的空战对抗能力。
图
4
不同方法对抗胜率变化
Fig.
4
Variation of confrontation winning rate of different methods
为更好地对比本文决策方法的决策性能,将分别采用本文决策方法、传统DQN方法,以及基准PPO算法所控制的智能体分别与一个共同的对手进行对抗,并在每次仿真对抗回合中都采用随机的初始态势参数设置。仿真对比的重点主要包括两个指标:效率成本比(越低越好,反映消耗的导弹数量与消灭的目标数量之比)以及每个决策步骤的CPU时间(越低越好,表示决策速度越快)、对抗胜率。经过5次仿真试验取平均值以减少随机性,详细对比结果见表8。
表
8
空战决策指标对比
Tab.
8
Comparison of air combat decision-making indicators
从表8可以看出,效率成本比综合反映了决策方法所控制的智能体利用导弹击杀对手的情况优劣,可以看出本文方法的效率成本比平均为0.36,这反映出了本文决策方法所控制的智能体可以使用更少的导弹数量来击杀对手。单步决策耗时表示从状态输入到动作输出的计算时间,反映出了算法的实时性,本文决策方法的平均决策耗时为1.23 ms,少于基准PPO算法耗时,但多于原始DQN算法耗时,这主要是由于本文决策方法所采用的分层决策机制和两阶段训练机制在一定程度上增加了决策时间,但是在对抗胜率指标的效果衡量中可以看出,本文决策方法的平均对抗胜率达到约78.5%,高于原始DQN算法和基准PPO算法的平均对抗胜率,这也进一步验证了本文决策方法可以使得飞机智能体在满足空战高动态环境下的实时性要求的情况下具有更强的空战对抗能力。
4.3 决策方法对比消融实验
为进一步验证本文所提方法决策机制的有效性,将本文提出的改进决策方法IDQN与两种变体进行对比:ECM(expert confrontation method,移除自博弈,全程与专家对手对抗)和SGM(self-game method,移除专家引导,全程自博弈训练)。对比的指标主要包含决策方法在智能体学习训练过程中的累积奖励的变化情况以及对抗胜率比例的变化情况,在每一轮的对抗训练中,红方智能体的对抗初始态势在攻角角度劣势的变化范围[90°,120°]内随机初始化以更进一步检验智能体的对抗性能,具体仿真如图5、6所示。
图
5
不同训练机制奖励变化情况对比
Fig.
5
Comparison of reward changes of different training mechanisms
图5展示了3种不同方法机制的奖励变化情况。从图5可以看出,本文的决策方法虽然收敛速度较慢,但最终所达成的奖励收敛水平最高,而ECM方法受限于和固定专家对手的对抗训练,因而其容易陷入局部最优,ECM训练机制初期收敛较快,但很快陷入平稳变化阶段,其最终达成的奖励稳定收敛水平最低,这正是其策略被固定专家局限的体现。相比之下,自博弈方法奖励变化速率较快,这可能是由于另外两种方法中都结合了专家对手的对抗训练机制,因而需要更多的训练步长来达到收敛水平,SGM训练机制在整体训练过程中通过自我探索能够有效提升智能体奖励收敛水平且高于ECM训练机制,这显示出了该方法的探索训练的有效性,但是同样其最终奖励收敛水平也低于本文决策方法,且其中后期的变化波动幅度也大于本文的决策方法,这表明本文决策方法可以综合利用专家知识和有效探索的优点,在保证平稳变化提升的同时来达到更高的奖励收敛水平。
图
6
不同训练机制对抗胜率变化情况对比
Fig.
6
Comparison of confrontation winning rate changes of different training mechanisms
图6展示了3种不同决策方法机制的对抗胜率变化情况。从图6可以看出,ECM方法由于直接全程和专家对手进行对抗训练,因而其对抗胜率一直处于较低水平(胜率被限制在约0.20的较低水平),而其平局率占比最大,这可能是由于专家对手较为强大,因而其对抗情况一直处于劣势水平,这表明仅向固定专家学习,智能体最多只能达到与专家性能相近的水平,无法激发智能体学习到较好的应对策略。相比之下,SGM方法的对抗胜率变化情况较好(最终胜率约0.40),虽然其胜率优于ECM训练机制,但是其胜率、负率,以及平局率三者变化幅度较为接近,策略波动大、不稳定,这反映了从零开始的自博弈探索效率低下,且容易陷入策略循环。本文提出的决策方法的对抗胜率最终达到最高水平约为0.60,显著高于ECM和SGM训练机制,且其平局率和负率也降至较小范围内,这有效证明“两阶段训练”是一个有机整体:第1阶段(ECM)提供了高质量的策略起点和搜索先验,使第2阶段的自我博弈能够在一个更高的基础上,更高效地探索超越已知专家知识的策略空间,从而学得既稳健又强力的策略。
4.4 空战场景策略仿真实验
为突出验证本文所提出决策方法的机动策略的有效性,开展红、蓝双方空战机动决策场景仿真实验,空战双方的初始态势依据表7中的相关指标随机初始化,其中蓝方智能体由本文所提出的决策方法进行训练控制,红方智能体由原始DQN方法控制训练,具体的仿真场景如图7所示。
图
7
红、蓝双方空战对抗场景
Fig.
7
Air combat confrontation scenario between red and blue sides
从图7(a)可以看出,在初始状态下,红、蓝双方战机相互对峙并将机头指向对方以试图寻找攻击时机。从图7(b)可以看出,红、蓝双方在相互接近的过程中,蓝方战机预先执行F-pole机动来迷惑对方的同时寻找合适的攻击角度,此时红、蓝双方互发导弹攻击,而红方此时开始施展置尾降高机动来规避导弹攻击。从图7(c)可以看出,蓝方通过F-pole机动预先消耗了红方导弹能量,最后凭借偏置规避机动成功躲避红方导弹攻击,而红方此时也成功规避了蓝方导弹攻击,但此时蓝方机头改变幅度较小,因此先于红方捕获到合适的攻击角度并发射导弹攻击,而红方此时也再次执行U形转弯机动来规避导弹攻击。
从图7(d)可以看出,红方在成功规避蓝方的第2 波导弹攻击之后,开始再次向蓝方发射导弹攻击,而蓝方此时也执行U形转弯机动来规避导弹攻击。从图7(e)可以看出,在前期空战交互之后,红、蓝双方均没有有效击杀对方,而红方此时开始爬升以试图占据高度优势,而蓝方此时试图借助赫伯斯特机动来爬升的同时改变机头指向来寻找合适的攻击角度,此后蓝方战机通过眼镜蛇机动来适当减速保持对红方的角度追踪并最终成功击杀红方(图7(f))。
为进一步验证本文决策方法的有效性,开展了红、蓝双方空战对抗以及关键指标分析仿真实验,其中:红方为我方战机,蓝方为对手战机。具体仿真实验情况如图8所示。从图8(a)可以看出,红、蓝双方的初始态势为双机相互对峙,此时红、蓝双方需要通过合理有效的机动决策来形成有利的攻击态势以达成有效击杀对方的作战目的。从图8(b)可以看出,蓝方在初始时刻开始执行小范围的回转盘旋机动(图8(b)中右侧黄色框所示),以迷惑红方的同时来适时寻找合适的机动角度,而红方此时在逐渐逼近蓝方的同时先后发射3枚导弹(图8(b)中左侧黄色框所示),以试图从远距离来击杀蓝方。
从图8(c)可以看出,蓝方在面对红方的导弹攻击时,顺势从回转机动中撤出并向一侧进行偏置规避机动来躲避红方的多枚导弹威胁,最后蓝方成功规避掉红方的导弹攻击。从图8(d)可以看出,在蓝方成功规避红方的导弹攻击之后,蓝方由于施展了偏置规避机动,因而红方此时成功咬住蓝方尾部,并同时开始爬升以占据高度优势来寻求合适的攻击角度,而蓝方开始向前加速以试图摆脱红方。从图8(e)可以看出,蓝方在加速摆脱的同时开始执行大回环机动来拖曳红方,而红方此时开始从一定高度向下俯冲以换取机动能量来试图捕捉有利攻角(图8(e)中黄色框所示),同时蓝方加大回环机动幅度来干扰红方并成功破坏了红方的进攻态势。从图8(f)可以看出,红方在俯冲未达成有效的攻击角度之后,利用蓝方的回转机动成功绕至其右侧后方并开始爬升来逼近蓝方尾部,而蓝方此时试图加速脱离红方的追击,但是红方此时已成功拉近与蓝方的距离并达成导弹发射角度条件,最终成功发射导弹击杀蓝方(图8(f)中黄色框所示)。
图
8
红、蓝双方空战对抗场景
Fig.
8
Air combat confrontation scenario between red and blue sides
图9展示了红、蓝双方空战过程中的整体机动轨迹和相关指标变化情况。图9(a)对应图8所示的整体空战轨迹变化情况,从图9(a)可以看出,红、蓝双方在相互接近的过程中,整体上呈现出相互缠绕交互的动态对抗态势,与图8所描述的各个阶段的空战对抗过程保持一致。从图9(b)可以看出,红方的态势得分在整体上高于蓝方,这表示红方的机动决策更加合理有效,以更好地营造有利的攻击态势。从图9(c)~9(f)可以看出,红方的高度优势在大部分时间都高于蓝方,且红方的攻角角度一直小于蓝方,这表示红方能够更好地瞄准蓝方。红方在前期的速度提升主要在于追击蓝方以更好地咬住蓝方的侧翼薄弱区域,而后期的速度降低主要是为了更好地扭转机头来改变对抗态势,最后的速度上升是为了确保完成击杀任务。综合图9的指标变化情况可以看出,随着前期红、蓝双方间隔距离的不断缩近,红方一直占据着高度优势,同时红、蓝双方的速度交织变化情况展示出了前期红、蓝双方追击过程的剧烈性,且对抗全程红方一直占据着攻角优势,这也表明红方一直在蓝方的后方及侧翼范围内来寻找合适的攻击角度。在空战对抗后期,蓝方在一定时间内拉开了与红方的间隔距离,但红方合理利用高度与速度能量之间的转化来再度拉近与蓝方的间隔距离,并在最后成功达成有利的攻击角度条件,这进一步验证了本文所提出的决策方法的机动决策有效性,有力提升了无人机智能体的空战机动能力。
图
9
红、蓝双方空战对抗相关指标对比
Fig.
9
Comparison of relevant indicators of air combat confrontation between red and blue sides
5 结论
1)设计了一种分层决策架构,通过上层深度Q网络(DQN)学习宏观战术指令,下层采用多模式控制与状态驱动机制将指令转化为连续动作,有效解耦了决策过程,降低了学习复杂度与计算负担。
2)提出“专家对抗—自博弈进化”两阶段训练范式。首先利用基于SECA规则构建的专家对手为智能体提供高质量初始策略。随后通过虚拟自博弈使其持续与历史最优策略对抗,推动策略突破专家知识局限,提升了策略的适应性与鲁棒性。
3)仿真结果表明,相比传统DQN与PPO等基准方法,本文方法在奖励收敛速度、最终收敛水平,以及稳定性方面均显著提升,消融实验进一步证明了两阶段训练机制的有效性,表明本文方法在提升决策实时性的同时,显著增强了无人机在动态空战环境中的对抗能力。

