摘要
针对工业互联网中数据海量、有效信息与冗余信息混杂,且传统入侵检测方法忽略网络流量间复杂关联性的问题,为提升工业互联网场景下入侵检测系统的特征提取能力与检测准确性,提出一种堆叠循环卷积自编码器和头部注意力机制的工业互联网入侵检测方法。首先,利用卷积自编码器提取流量数据的空域特征,降低流量数据的冗余性;同时,引入二维卷积层和循环填充方式,通过对原始数据进行升维和空域拓展,扩大卷积核对数据的感受野,进而提高特征提取能力;其次,利用头部注意力机制提取流量间的相关性信息,并根据不同注意力头提取到的相关性信息的重要程度分配注意力头权重,在判断网络流量类型时考虑最重要的相关性信息;最后,在UNSW-NB15数据集上,与传统入侵检测方法及基于传统时序神经网络的入侵检测方法等进行二分类、多分类对比实验。实验结果表明,所提方法在二分类任务中准确率达99.18%,在多分类任务中准确率达87.36%,优于传统入侵检测方法。所提入侵检测方法在工业互联网场景中能有效对网络入侵进行检测。
Abstract
To address the problems of massive data, the mixture of effective and redundant information in the industrial internet, and the neglect of complex correlations among network traffic by traditional intrusion detection methods and to improve the feature extraction ability and detection accuracy of intrusion detection systems in industrial internet scenarios, this paper proposed an intrusion detection method for the industrial internet stacking circular convolution autoencoder and head attention mechanism. Firstly, a convolutional autoencoder was used to extract the spatial features of traffic data and reduce the redundancy of traffic data. Meanwhile, a two-dimensional convolutional layer and a circular padding method were introduced to expand the receptive field of the convolutional kernel on the data by increasing the dimension and expanding the spatial domain of the original data, thereby improving the feature extraction ability. Secondly, the head attention mechanism was utilized to extract the correlation information among the traffic, and attention head weights were assigned according to the importance of the correlation information extracted by different attention heads to consider the most important correlation information when determining the types of network traffic. Finally, binary classification and multi-classification comparative experiments were conducted with traditional intrusion detection methods and intrusion detection methods based on traditional time-series neural networks. Experimental results show that the intrusion detection method proposed in this paper achieves an accuracy of 99.18% in the binary classification task and 87.36% in the multi-classification task, which outperforms traditional intrusion detection methods. The proposed intrusion detection method can effectively detect network intrusions in industrial internet scenarios.
工业互联网深度融合5G、大数据等新一代信息技术,全面连接人类、设备、系统,已成为数字经济的新型基础设施。在国家高质量发展战略部署下,数以千万计的工业设备和传感器接入工业互联网。而针对工业互联网的网络安全事件频发,如2015年乌克兰电力系统攻击事件、2020年台湾CPC公司网络攻击事件,使得保护工业互联网的基础设施和网络安全成为一个关键问题[1]。作为一种旁路式部署的检测机制,网络入侵检测系统(intrusion detection system,IDS)能够有效监控和检测整个工业网络中的异常事件或网络攻击。互联网在工业经济中的扩张与发展使入侵检测成为研究人员关注的焦点[2]。
依据检测方法的不同,IDS分为误用入侵检测和异常入侵检测。误用入侵检测的检测原理决定了其无法识别新型攻击,且具有规则库更新维护成本高、滞后性强等问题,在现代网络环境下具有明显的局限性,因此目前研究人员的研究重点为异常入侵检测。Alazab等[3]使用飞蛾-火焰优化算法作为搜索算法,为IDS生成有效的特征子集,使得作为分类器的决策树算法在该特征子集上获得最佳性能。丁红卫等[4]以降低数据维度和消除冗余信息为目的,提出了一种基于深度自编码器网络和误差反向传播算法的入侵检测模型,通过逐层学习网络数据的分布规则,获得数据的低维特征,并通过使用正则化修正和添加噪声的方式避免模型过拟合。Imrana等[5]针对传统IDS对网络攻击尤其是U2R攻击和R2L攻击的误报率较高的问题,提出了一种基于双向长短期记忆网络(long short-term memory network,LSTM)的IDS,双向学习网络流量的时序信息。实验结果表明,该系统优于传统基于LSTM的IDS。Mushtaq等[6]提出了一种基于自编码器(autoencoder,AE)和LSTM的入侵检测模型,利用AE和LSTM提取网络流量的最佳特征,进而对网络流量进行分类。Zhao等[7]提出了一种基于轻量级深度神经网络的物联网IDS,在数据预处理阶段,为避免原始流量特征高维导致模型复杂度高,采用主成分分析(principal component analysis,PCA)算法实现特征降维。在分类模块中使用扩展压缩结构、逆残差结构等方式实现有效的特征提取。郭志民等[8]提出了一种基于特征降维的多头注意力机制Transformer模型,并应用于网络入侵检测,该模型考虑了入侵行为的时间相关性,实验结果表明,该模型在多个数据集上表现良好。Basset等[9]提出了一种多尺度残差时间卷积网络提取网络流量的时空信息,并引入改进的注意力机制计算特征重要性得分,帮助模型在学习过程中专注于重要信息。
尽管上述研究取得了一定成果,但在工业互联网场景下应用仍存在局限性。一方面,工业互联网通常由大量设备、传感器和控制系统组成,产生了海量数据,且数据中混杂大量与表征网络行为类型相关性较弱的冗余特征[10]。而工业领域许多关键系统需要实时响应和决策。冗余信息在干扰网络行为类型有效表征的同时增加了IDS数据推理时间成本。部分研究未充分考虑冗余信息的影响,特征提取针对性不足。另一方面,网络行为通常具有时序相关性[11],部分研究未考虑流量数据的相关性,丢失时序信息。尽管部分研究使用循环神经网络(recurrent neural network,RNN)及其变体网络学习时序特征,但在具有大规模数据的工业互联网场景下可能会出现梯度消失和爆炸[12]的问题。虽然注意力机制能有效避免这一问题,但针对IDS注意力机制的应用研究大多集中于提取流量数据全局信息,缺乏对流量数据间时序相关性的进一步分析。
综上,为应对工业互联网中存在的网络安全问题,针对IDS应用所面临的挑战,本文提出堆叠循环卷积自编码器和头部注意力机制(circular convolutional autoencoder and head attention mechanism,CCAE-HAM)的入侵检测方法。该方法利用循环卷积自编码器(circular convolutional autoencoder,CCAE)提取网络流量空域信息,通过头部注意力机制(head attention mechanism,HAM)融合时域信息,从时空角度全面分析网络流量,实现网络攻击的精准检测。在卷积自编码器(convolutional autoencoder,CAE)中引入二维卷积层以扩大对原始数据的感受野,这一升维处理能够更有效地提取网络数据空域特征。同时,在二维卷积层引入循环填充方式,在空域上对原始数据进行拼接延展,使卷积核能够跨越数据边界提取信息,进一步提升空域特征提取能力,避免冗余信息进入后续处理模块,影响最终检测性能。之后,提出一种HAM,以实现网络流量间相关性的特异性提取。该机制考虑到各类流量在同一特征提取角度下的相关性差异,综合流量特征和注意力分数矩阵,为每个注意力头赋予不同的权重,以获得时序相关性对于流量类型判别的贡献大小,进而提升对流量数据之间相关性差异的捕获能力。
1 空域特征提取
特征提取旨在去除原始数据中的噪声和冗余部分,保留关键信息。有效的特征提取能够加快模型的训练和推理速度,提高模型的泛化能力。
目前常用的特征提取方法很多,如PCA、支持向量机、自编码器等。然而,这些方法应用于工业互联网入侵检测存在局限性。PCA算法难以应对特征复杂且非线性相关的工业互联网数据[13]。支持向量机在处理大规模非线性数据时则面临计算复杂度过高[14]的问题。而自编码器作为一种自监督学习算法,通过训练学习数据的关键特征,可以充分拟合非线性相关的工业互联网数据[15]。然而,传统的自编码器可能无法充分捕捉到网络流量的空域局部特征,导致空间信息的损失。
CAE凭借卷积操作对局部信息的感知实现对网络流量空域特征的提取,包含编码和解码两个模块,式(1)为编码过程,式(2)为解码过程。
(1)
(2)
式中:f(·)、g(·)分别为卷积层和反卷积层,W、WT分别为卷积层和反卷积层中卷积核的权重矩阵,b、c分别为卷积层和反卷积层中的偏置项,E(·)、D(·)分别为编码模块和解码模块中除卷积层和反卷积层之外的网络层,x为输入样本,h为CAE提取到的网络流量空域特征,y为CAE根据样本特征解码后所得的还原样本。
为提升CAE对网络流量空域特征的提取能力,本文采用二维卷积层替代原始的一维卷积层。现有基于深度学习的IDS大多将网络流量处理成一维特征向量的形式(通常包括协议类型、服务类型、失败登录次数等特征),并直接进行网络流量类型判定。目前的公开数据集,如UNSW-NB15[16]等也为一维特征向量的形式。然而这种一维数据形式限制了CAE对空域信息特征的提取。具体而言,在相同的卷积核尺寸下,一维卷积核对数据特征的感受野远远小于二维卷积核,这意味着经过同样的卷积操作后,二维卷积核可以比一维卷积核提取到更多的局部信息,如图1所示,其中X为流量中的特征,D表示维度。尽管可以通过堆叠多层一维卷积层来扩大信息提取广度,但会导致网络复杂度增加。另一方面,网络流量的数据特性也使CAE对其进行二维卷积操作具有可行性。与语音信号、图像信号等连续信号不同,网络流量的数据特征具有语义独立性,在语音和图像数据中,每个数据(像素)通常没有单独的含义,需要结合上下文或组合其他数据来表达具体含义。而在网络流量中,每个特征(如目的端口、协议类型等)都具有具体含义。这种语义独立性使得改变网络流量的数据顺序并不会破坏特征之间的相关性。
为进一步提高卷积核对空域信息的提取度,本文采用循环填充方式[17]替换传统卷积层中的复制填充方式。循环填充通过在特征图边缘填充远距离边缘的数据,实现了特征图的拼接,从而使卷积核在进行卷积操作时能捕捉到特征图边缘特征之间的相关性信息,避免了复制填充中因卷积核作用于相同数据而带来的计算冗余问题。循环填充的计算函数为:
(3)
(4)
式中:n×n为特征数量,An×n为输入卷积层的原始特征图矩阵,k为卷积核尺寸,p为边界填充尺寸。
图
1
卷积核感受野对比
Fig.
1
Comparison of receptive fields of convolutional kernels
对于卷积核尺寸为k的卷积层,其循环填充后的特征图尺寸见式(5),循环填充示意如图2所示。
(5)
图
2
循环填充示意
Fig.
2
Schematic diagram of circular padding
基于二维CCAE的空域特征提取模块的完整结构如图3所示。
基于二维CCAE的空域特征提取模块包含编码器和解码器两个模块,通过将输入和输出之间的重构误差最小化来学习网络数据的紧凑表示,利用均方误差(mean square error,MSE)衡量输入和输出之间的重构误差。编码器的低维度输出保留了原始数据的关键信息,实现对网络数据空域特征的提取。
2 时域特征融合
注意力机制是一种模拟人类视觉和认知过程的方法,最初由Vaswani等[18]提出,被广泛应用于自然语言处理、计算机视觉等领域。注意力机制通过直接建模时域信息捕捉不同数据间的相关性,避免了传统的循环神经网络的梯度消失或爆炸问题。同时,该机制具有并行计算能力,使得其在具有海量复杂数据,且实时性要求高的工业互联网入侵检测任务中更具优势。
多头注意力机制是注意力机制的一种变体,通过引入多个注意力头对序列信息进行子空间表示,以不同视角提取序列不同部分的相关性。在入侵检测任务中,多头注意力机制通过捕捉网络流量间的相关性来融合时域特征。不同类型的流量之间的相关性信息可能不同,如DoS攻击流量在短时间连接频次、单次连接传输字节量两类特征上呈现强相关性,而其他流量在该角度下相关性可能较弱。原始的多头注意力机制为注意力头赋予相同权重,可能导致提取关键时域特征的注意力头贡献不明显,进而误判网络流量的类型。因此,为提高多头注意力机制的精细建模能力,本文提出一种HAM。在原始机制的基础上,综合注意力分数矩阵和经过加权和计算后的值矩阵计算生成每个注意力头的贡献权重,以抑制相关性较弱信息的干扰。HAM的计算过程如图4所示。
图
3
空域特征提取模块
Fig.
3
Spatial feature extraction module
图
4
头部注意力层计算过程
Fig.
4
Calculation process of head attention layer
设输入HAM的数据为P∈Rm×n,将P乘以3个不同的权重矩阵(WQ∈Rn×d、WK∈Rn×d、WV∈Rn×d,其中d为后续得到查询矩阵、键矩阵、值矩阵的矩阵维度),得到查询矩阵Q∈Rm×d、键矩阵K∈Rm×d、值矩阵V∈Rm×d,然后将Q与K进行缩放点积与Softmax归一化,得到注意力分数矩阵fscore(Q,K),最后将fscore(Q,K)与V相乘计算加权和,获得该注意力头下融合时域特征的输出特征矩阵。上述过程计算式为:
(6)
(7)
并行进行多次上述计算,获得多个注意力头下的fscore(Q,K)和对应的fAttention(Q,K,V)。如图4所示,将多头注意力产生的编码输出经过两个线性变换层(W0,W1∈Rd×N,其中N为注意力头数),再进行相加和Softmax归一化,得到多个注意力头的贡献权重WHead。计算WHead和fAttention(Q,K,V)的哈达玛积,输出带注意力头权重的编码输出fHA(Q,K,V)。计算式为:
(8)
(9)
式中*为哈达玛积。
最后,利用式(10)将多个注意力头进行拼接和线性变换,输出HAM的编码输出。
(10)
式中:WL为线性变换的权重矩阵;Concat(·)为拼接函数,用于拼接多个注意力头;fheadn为不同注意力头的带注意力权重的编码输出;为第i头注意力头的权重矩阵,在具体实现中,通常由3个线性变换层的权重矩阵切分获得,以降低模型复杂度。
基于HAM构建的时域特征融合模块如图5所示。
图
5
时域特征融合模块
Fig.
5
Temporal feature fusion module
尽管HAM可以融合数据的时域特征,但机制本身无法学习输入数据的位置信息,因此在网络流量进入头部注意力层前,先对其进行位置编码以嵌入位置信息。位置编码嵌入公式为:
(11)
(12)
式中:Y∈Rm×n为输入空域特征样本,r为当前空域特征样本在输入特征样本Y中的位置,j为当前样本的特征位置,fPE(r,i)为位置编码结果,P∈Rm×n为嵌入位置信息后的特征样本。
将位置编码后的流量数据传入头部注意力层以融合时域特征,然后应用多层感知机(multilayer perceptron,MLP)巩固模型的建模能力,提高模型的分类性能。由于堆叠多个网络层的深度网络在拟合过程中同样可能出现梯度消失或梯度爆炸的问题,因此在模型中间穿插残差连接和层归一化层。
3 CCAE-HAM
CCAE-HAM的完整结构如图6所示。
图
6
CCAE-HAM完整结构
Fig.
6
Complete structure of CCAE-HAM
对原始的入侵检测数据集进行数据预处理操作,使用独热编码方式将数据集中类似传输层协议(如TCP和UDP)等字符型数据特征转换为数值属性。在处理完所有字符型数据特征后,对全局数据按数据特征列进行最大最小值归一化,将数据映射到统一的[0,1],加快模型的收敛速度。归一化公式为
(13)
式中:x′为归一化之后的结果,xmax代表该特征列中的最大数值,xmin代表该特征列中的最小数值。
将预处理后的数据传入空域特征提取模块进行训练,待模型训练结束后保存模块参数,以供后续时域特征融合模块调用。
调用训练好的空域特征提取模块,将编码器输出作为空域特征传入时域特征融合模块做进一步处理。最后,将模块输出传入Softmax层,对网络流量进行类型判定。
4 实验
4.1 实验环境与评价指标
实验硬件环境与软件环境见表1。
表
1
实验环境
Tab.
1
Experimental environment
为评估所提方法的性能,采用分类任务常用的评价指标作为参考,主要有准确率A、精确率P、召回率R和F1分数,其计算式分别为:
(14)
(15)
(16)
(17)
式中:TP为模型正确识别为攻击样本的样本数量,FP为模型错误将正常样本识别为攻击样本的样本数量,TN为模型正确识别为正常样本的样本数量,FN为模型错误将攻击样本识别为正常样本的样本数量。
4.2 实验数据集
UNSW-NB15数据集是一个广泛应用于网络入侵检测领域的公开数据集,包含了来自不同攻击类型和正常活动的网络流量数据,每个样本均包含了实际网络通信中的各种特征,如目标端口、协议类型、数据包大小、连接次数、连接建立时间等。该数据集包含多种类型的网络入侵行为,涵盖了工业互联网中常见的攻击类型如DoS(拒绝服务攻击)、Fuzzers(模糊攻击)等,适配本文研究场景[19]。UNSW-NB15数据集中各类型样本分布见表2。
表
2
UNSW-NB15数据集样本分布
Tab.
2
Sample distribution of UNSW-NB15 dataset
4.3 调参实验
通过调参实验调整模型超参数,以达到模型的最佳性能。实验选取注意力头数、空域特征维度数等关键超参数进行,结果见表3。
表
3
调参实验结果
Tab.
3
Results of parameter tuning experiment
通过实验观察,固定注意力头数为4和空域特征维度为16,在训练集上得到了最佳模型性能。注意力头数表示模型对数据特征关注的角度数量,增加注意力头数通常认为可以提高模型对数据集的拟合能力。但实验结果表明,注意力头数增至8时,模型性能反而下降。这是因为在多头注意力机制的具体实现中,为了降低模型复杂度,不同的注意力头共享一个线性变换层,并根据注意力头数对权重矩阵进行切分,这一操作使得注意力头数的增加会导致注意力头维度的减少,尽管模型对数据的关注角度增多,但注意力头提取到的相关性信息却随维度的减少而减少。同时,实验结果表明,空域特征维度为16时已充分提取网络流量的关键特征。
在固定上述超参数的基础上,模型其他超参数根据实验以及经验确定,具体设置见表4。
表
4
模型超参数设置
Tab.
4
Model hyperparameter settings
4.4 消融实验
CCAE-HAM主要由两个模块构成,因此进行两组消融实验。消融实验1是固定时域特征融合模块,通过调整空域特征提取模块,观察该模块对整体模型性能的影响;消融实验2是固定空域特征提取模块,通过调整时域特征融合模块,观察该模块对整体模型性能的影响。
4.4.1 消融实验1
保持时域特征融合模块不变,研究无空域特征提取模块与分别基于自编码器(AE)、基于一维卷积自编码器(1DCAE)、基于二维卷积自编码器(2DCAE)、基于CCAE的空域特征提取模块对整体模型性能的影响,实验结果见表5和图7。
表
5
消融实验1
Tab.
5
Ablation experiment 1
根据表5可知,与未使用空域特征提取模块的HAM相比,CCAE-HAM的各项指标均有提升。这是因为网络流量中混杂了冗余信息,而空域特征提取模块有效地提炼出了网络流量中的有用信息,一方面提高了数据特征对网络流量类型的表征能力,另一方面使得后续时域特征融合模块能够不受冗余信息干扰,充分学习到网络流量间的相关性,进而对网络流量类型做出正确分类。
由图7可以看出,在训练过程中,CCAE的损失值(Loss)下降速度更快,并且在模型收敛后,loss值也更低,说明CCAE对空域特征的提取能力更强。为验证CCAE的训练结果,实验中采用MSE作为评估指标。MSE通过计算原始数据与自编码器解码输出之间的误差来衡量自编码器的特征提取能力,原始数据与解码输出之间的误差越小,说明自编码器提取到的网络流量中的空域特征越有效,因为解码器能将该空域特征更有效地解码成原始数据。本实验分别使用已训练收敛的AE、1DCAE、2DCAE、CCAE提取测试集的空域特征,实验结果见表5。由表5可以看出,CCAE的MSE值最低,说明CCAE对流量数据空域特征的提取能力最强。CCAE-HAM的各项指标均优于对比模型也证明了CCAE的有效性。
图
7
空域特征提取模块损失曲线对比
Fig.
7
Comparison of loss curves of spatial feature extraction module
为进一步分析CCAE中对原始数据的升维处理和循环填充操作对流量数据空域特征提取的影响,选取正常数据和异常数据在CCAE、1DCAE、2DCAE计算下的中间计算结果,并生成可视化特征灰度图,如图8所示。
从图8可以看出,网络流量通过CCAE计算得到的中间计算结果的特征图信息相比于1DCAE、2DCAE计算所得到的特征图信息更加丰富。在1DCAE中,网络流量为一维数据形式,其中的每个特征仅与其他两个特征相邻,而在CCAE中,网络流量为二维数据形式,其中的每个特征与其他8个特征相邻。CCAE对原始数据的升维处理扩大了卷积核的感受野,提高了卷积操作对数据特征的提取能力。2DCAE对特征图使用传统的复制填充操作,当卷积核对特征图边缘特征进行卷积时,会作用于相同数据,导致计算冗余。而CCAE引入了循环填充方式,通过对特征图进行拼接延展,使得卷积核在对特征图边缘特征进行卷积时能够跨越原始特征图的边界,提取到原始特征图两端特征之间的相关性信息。综上所述,CCAE中对原始数据的升维处理和循环填充操作提高了模型对网络流量特征提取的有效性,提升了整体模型对网络流量的分类性能。
图
8
可视化特征灰度图
Fig.
8
Visualized feature grayscale image
4.4.2 消融实验2
保持空域特征提取模块不变,研究时域特征融合模块对整体模型性能的影响,实验结果见表6。
表
6
消融实验2
Tab.
6
Ablation experiment 2
根据表6可知,与未使用时域特征融合模块的CCAE相比,CCAE-HAM的各项指标均有提升。这是因为CCAE-HAM在对网络流量类型进行判定时并非单独考虑当前网络流量,还综合考虑了不同网络流量之间的相关性信息,使得CCAE-HAM在对网络流量进行分析时具备时空多角度的分析能力,对于某些异常特征不明显的网络流量,CCAE-HAM能够综合网络流量的时空信息对其类型做出正确判定,提高了模型的召回率,减少了漏报的情况。在时域特征融合模块中,使用HAM的模型性能优于使用多头注意力机制的模型。因为HAM为贡献度更高的注意力头赋予了更大的权重,从而提升了模型对网络流量间相关性的提取能力。
为进一步分析网络流量相关性以及HAM对注意力头贡献度的学习能力,选取测试集某段连续时间段的流量数据,使用训练好的HAM权重计算并输出该时间段中最后一条流量对其他流量的注意力分数、该条流量经过加权和计算后的值矩阵分量以及HAM综合注意力分数和值矩阵分量所计算生成的注意力头贡献权重,结果见表7、表8和图9。
表
7
某时间段最后一条流量的值矩阵分量
Tab.
7
Value matrix components of the last traffic in a certain period
表
8
某时间段最后一条流量对其他流量的注意力分数
Tab.
8
Attention scores of the last traffic to other traffic in a certain period
图
9
注意力分数及注意力头贡献权重分析
Fig.
9
Analysis of attention scores and contribution weights of attention heads
HAM通过学习获得每条流量数据在不同的注意力头下与其他流量数据的相关性信息,即每条流量数据对其他流量数据的注意力分数,然后根据注意力分数对值矩阵进行加权求和,得到融合时域信息的流量数据,赋予了模型在网络流量分类时考虑时域信息的能力。结合表7、表8和图9可以看出,最后一条攻击数据在注意力头1的关注角度下,对其他流量数据的注意力分数分布最为均衡,与其他数据的关联不明显,甚至对同为攻击类型的流量数据也没有明显的关注,说明注意力头1并没有有效提取到流量之间的相关性。因此,HAM通过学习该攻击数据在注意力头1下的值矩阵分量和注意力分数分布为注意力头1赋予了较低的权重。在其他注意头的关注角度下,注意力分数表现出明显的差异,特别是注意力头3和注意力头4。注意力头3在注意力分数上分布差异最明显,但HAM学习到注意力头3下该攻击数据的值矩阵分量对于判定网络流量类型贡献较弱,因此综合考虑两方面因素,为注意力头3赋予了相应的权重。而注意力头4在关注其他攻击数据的同时,还考虑了其他攻击数据相邻位置的流量信息,说明注意力头提取到了流量之间显著的相关性信息,因此HAM为其赋予了较高的权重。综合分析表7、表8和图9数据可知,不同的注意力头在提取流量间的相关性时表现不同。HAM能够通过学习注意力头的贡献度,为其分配不同的权重,提高注意力机制对时序相关性的提取能力,从而实现对当前流量数据的精准分类。
4.5 二分类实验
将本文所提方法与随机森林(random forest,RF)、CNN[20]、RNN[21]、LSTM[22]、HA[23](hierarchical attention)进行对比,其中RF、CNN为传统入侵检测方法,RNN、LSTM为基于传统时序神经网络的入侵检测方法,HA为基于注意力机制的入侵检测方法,对比结果见表9。其中,本文搭建了RF方法,并收集了实验数据,对于采用与本文不同数据集的方法[20-22],本文对其进行了复现实验,以便于与本文方法进行对比,对于采用与本文相同数据集的方法[23],实验结果引用自原论文。
表
9
性能对比结果
Tab.
9
Comparison results of performance
由表9可以看出,CCAE-HAM和传统入侵检测方法、基于传统时序神经网络的入侵检测方法在召回率上表现良好,其中CCAE-HAM的表现最佳。在保持高召回率的同时,CCAE-HAM的精确率、准确率及F1分数远优于传统方法,进一步分析发现,RF、CNN等方法主要根据流量数据自身的特征对该流量做出分类,而流量数据中存在的冗余信息可能会干扰方法的判断,特别是RF会在建立决策树时随机选取数据特征,导致无法有效利用流量数据中的有用信息,方法表现较差。同样是提取网络流量时序性,CCAE-HAM相较于RNN、LSTM具备更强的提取能力,所提取到的数据相关性能够更好地提升方法的分类性能。与基于注意力机制的入侵检测方法相比,CCAE-HAM在准确率和F1分数上优于HA,说明了方法在整体性能上优于HA。因为准确率考虑了方法对流量正确分类和错误分类的总数,而F1分数综合考虑了方法的精确率和召回率表现,准确率和F1分数能够从整体上反映方法性能。进一步地,虽然 CCAE-HAM和HA同样使用注意力机制提取流量间相关性,但CCAE-HAM能对流量间相关性进行特异性提取,根据数据相关性的重要程度分配注意力头的权重,对流量间相关性有更强的提取能力。因此,CCAE-HAM在召回率上优于HA。实际上,相较于精确率,工业互联网中的入侵检测任务对召回率有着更高的敏感性。在入侵检测任务中,召回率高意味着方法能够识别出更多的攻击流量,漏报入侵事件的情况更少。在实际应用中,方法漏报入侵事件(低召回率)往往比误报入侵事件(低精确率)更加危险。一旦方法漏报了某些入侵事件,这些入侵行为便可能对工业互联网造成重大危害,而误报入侵事件则可以通过后续验证和调查来排除。因此,相比于HA,CCAE-HAM在工业互联网入侵检测任务中更具有优势。
4.6 多分类实验
为检验CCAE-HAM对具体攻击类别的检测能力,进行了多分类实验。CCAE-HAM在各类别流量数据上的性能表现见表10。
表
10
CCAE-HAM多分类性能表现
Tab.
10
Multi-classification performance of CCAE-HAM
从表10可以看出,CCAE-HAM对于Normal、Generic类数据具有最好的检测性能,对Fuzzers、Reconnaissance等类表现欠佳,对Analysis、Backdoor、Worms类的检测效果最差。其原因在于UNSW-NB15数据集数据不平衡,各类别数据的数量差别过大,Normal、Generic类数据在数据集中有大量实例且通常连续出现,流量之间的时序规律较为固定,方法能够充分学习该类流量自身特征以及与其他流量之间的相关性。Backdoor、Worms等类在数据集中数量较少且穿插在各类数据中,导致方法无法很好地学习Backdoor、Worms等类的时空域特征,因此无法准确判断出其类型。
对多分类实验结果综合考虑,CCAE-HAM整体准确率达到87.36%,将CCAE-HAM与其他入侵检测方法进行对比,结果如图10所示。对比方法实验数据来源于复现[20-22]以及对原论文结果的直接引用[24-25]。
图
10
不同方法多分类性能对比
Fig.
10
Comparison of multi-classification performance of different methods
多分类任务较二分类任务更具有挑战性,因为流量数据之间的关联性更加复杂和多样。因此,在多分类任务下,方法性能相对于二分类任务可能会有所下降。然而,与传统入侵检测方法(RF、CNN[20])、基于时序神经网络的入侵检测方法(RNN[21]、LSTM[22])以及其他基于注意力机制的入侵检测方法(DAL[24]、APS-T[25])相比,本文提出的方法仍然具有优势。原因是本文方法对于流量特征的提取能力更强,且能够从时空域角度更加全面地分析网络流量数据。
5 结论
1)本文提出了一种堆叠二维循环卷积自编码器和头部注意力机制的入侵检测方法,其由二维循环卷积自编码器和头部注意力机制组成。
2)针对工业互联网中数据海量、信息冗余的挑战,引入二维卷积层和循环填充方式,有效提取了网络数据空域特征,避免了冗余信息的干扰。
3)考虑到网络流量具有复杂的相关性,提出一种头部注意力机制,为每个注意力头赋予不同的权重,提高了多头注意力机制的时序特征提取能力。
4)实验结果显示,本文提出的工业互联网入侵检测方法在二分类任务中准确率达99.18%,在多分类任务中准确率达87.36%,优于传统入侵检测方法。表明该方法能够充分提取网络流量的空域特征,减少冗余信息,并差异性提取流量之间的相关性信息,进而对网络流量类型进行判断,可以有效解决工业互联网领域入侵检测应用面临的问题。

