考虑代价敏感性的增量式入侵检测机制
doi: 10.11918/202412064
金志刚 , 陈旭阳 , 刘泽培 , 武晓栋 , 刘凯 , 丁禹
天津大学 电气自动化与信息工程学院,天津 300072
基金项目: 国家自然科学基金(52171337)
Incremental intrusion detection mechanism considering cost-sensitive
Jin Zhigang , Chen Xuyang , Liu Zepei , Wu Xiaodong , Liu Kai , Ding Yu
School of Electrical and Information Engineering, Tianjin University, Tianjin 300072, China
摘要
增量式入侵检测系统训练过程中存在数据不平衡和遗忘不平衡问题,易导致高错分代价样本漏检,为此,提出一种考虑代价敏感性的增量式入侵检测机制(incremental intrusion detection mechanism considering cost- sensitive,IIDM-CCS)。首先,提出一个改进的生成对抗网络,引入检测模型和目标增强信息熵损失函数,抑制非特定类生成,增加生成样本中特定类的比例;其次,提出一种多教师知识蒸馏方法,通过基础检测模型和旧检测模型为增量训练过程施加约束,指导新检测模型学习如何检测新特定类,并缓解对旧特定类的灾难性遗忘;最后,在知识蒸馏过程中设计代价敏感梯度加权损失函数引导模型关注特定类,利用软标签增量蒸馏损失函数提高模型对旧特定类的泛化能力。在CSE-CIC-IDS2018和EDGE-IIoT数据集上与其他增量式入侵检测方法进行对比,实验结果表明:增量训练后,所提机制检测特定类时的平均召回率分别比对比方法高51.45%和60.32%;同时,检测旧特定类时的召回率较常规增量式入侵检测方法有明显提升。所提机制可以适配于现有的增量式入侵检测系统,使其具备代价敏感性,进一步提升了入侵检测系统对特定类别的识别精度并缓解了其在增量过程中的灾难性遗忘。
Abstract
Aiming at the issues of data imbalance and forgetting imbalance during training, which makes incremental intrusion detection system prone to missed detection of the specific attack classes with high-cost misclassification, an incremental intrusion detection mechanism considering cost-sensitive (IIDM-CCS) is proposed. First, an improved generative adversarial network that incorporates a detection model and an information entropy loss function for target augmentation is proposed to suppress the generation of non-specific classes and increase the proportion of specific classes in the generated samples. Second, a multi-teacher distillation method is proposed, which employs the base and old detection models to constrain the incremental training process, thereby guiding the new detection model to detect the new specific classes and alleviate the catastrophic forgetting of old specific classes. Finally, a cost-sensitive-based gradient weighted loss is designed to guide the model focus on specific classes, and a soft-label incremental distillation loss is leveraged to enhance the generalization capability on old specific classes. The comparative experimental results with other incremental intrusion detection methods show that the average recall rate of the proposed mechanism in detecting specific classes is 51.45% and 60.32% higher than those of the compared methods after incremental training. The proposed mechanism can be adapted to existing incremental intrusion detection systems to introduce cost-sensitive, thereby improving the detection accuracy for specific attack classes and mitigating the catastrophic forgetting during the incremental training.
信息技术的发展使得越来越多的设备和应用活跃于网络中,发生攻击行为的频率也随之上升[1]。入侵检测系统(intrusion detection system, IDS)可以及时发现攻击行为,基于深度学习的IDS因自动化程度和准确性高等优势而成为了研究的热点。传统IDS多采用离线学习,无法处理开放网络环境中不断涌现的新攻击[2],需要不断地在全部数据上重新训练模型。但在有隐私保护和存储限制的情境中,当出现新攻击时,获取全部旧数据重新训练是不可行的。仅用新数据微调模型参数会导致灾难性遗忘[3],即IDS会逐渐遗失检测旧类的能力。在此情况下,基于增量学习的IDS受到了关注。
增量学习中,模型接收一系列仅含有新类样本的任务以学习新知识[4],并通过一些算法维持其在旧类上的表现。基于数据回放的增量式IDS使用内存中少量旧类示例约束模型更新,这些示例来自于历史任务的采样或是生成样本[5-7]。基于知识蒸馏(knowledge distillation, KD)的增量式IDS将旧模型作为教师进行知识蒸馏,将检测旧类的知识传递至作为学生的新模型[8-9]。Nugraha等[10]提出一种使用滑动窗口存储示例的增量式IDS;Jin等[11]将示例用于KD中,实现了增量式联邦IDS。然而增量式IDS的流量监测具有数据不平衡和遗忘不平衡等特点,导致了对高错分代价攻击的漏检问题。
一方面,以上特点中的数据不平衡[12]指网络中正常流量的数量远高于攻击流量,以及各攻击类别间流量的数量失衡,导致IDS对攻击流量的检测效果下降。研究者大多利用过采样或数据增强方法解决数据不平衡问题。其中,数据增强可以利用生成对抗网络(generative adversarial network, GAN)补充稀缺的攻击数据,更适合IDS使用。Park等[13]利用边界均衡生成对抗网络生成样本为IDS进行数据增强;Ding等[14]在IDS中集成多个GAN以提高生成样本质量。以上研究平等地对待所有少数类,但现实中的IDS有代价敏感的特殊问题[15],即出于设备或服务的原因,在某些特定少数类上的错分代价会更高[16]。例如,物联网中heartbleed攻击会窃取敏感信息,使智能家居、工业控制等有隐私保护要求的业务受到致命打击[17];车联网中sybil攻击可引发错误决策,造成严重事故[18]。一旦IDS漏检这样的特定攻击,将会对网络造成比其他攻击更大的危害,因此,在应对数据不平衡时,IDS需根据网络特性重点提高检测高错分代价的特定类的准确率。
另一方面,增量学习不能完全消除灾难性遗忘。更进一步地,Xu等[19]首次揭示类间存在遗忘不平衡现象,即各个旧类被遗忘的程度不同。现有增量式IDS研究尚未针对遗忘不平衡问题提出应对措施,相关研究中缓解遗忘的算法依然平等地对待所有类。经对相关研究[10-11,20-23]实验环节的调研发现,一个类别被遗忘的程度与该类样本在训练集的数量比例呈一定相关性,旧类样本较少时,灾难性遗忘的影响更为严重。遗忘不平衡与数据不平衡的共同作用使增量式IDS检测某些高错分代价的特定类时难以令人满意。因此,增量式IDS会因遗忘不平衡进一步扩大特定类的漏检风险。
综上,为提高现有增量式IDS对少数高错分代价特定类的检测效果,本文提出一种考虑代价敏感性的增量式入侵检测机制(incremental intrusion detection mechanism considering cost-sensitive, IIDM-CCS)。该机制通过GAN模块增强特定类样本,通过增量KD模块提取用于检测和记忆特定类的关键信息,得到一个代价敏感的增量式IDS模型。设计实验探究各模块及损失函数的效用,并与其他增量式IDS方法进行对比,验证所提机制的适用性和有效性。
1 整体设计
IIDM-CCS结构如图1所示,由GAN模块和增量KD模块两部分构成。IIDM-CCS训练时,首先在GAN模块中使用随机信号和存储器中的真实样本示例训练一个GAN,并通过生成器得到增强特定类的生成样本;之后在增量KD模块中采取多教师蒸馏方法,利用基础检测模型和旧学生模型作为教师指导当前任务的学生模型进行知识蒸馏,使用生成样本和示例训练得到一个对特定类更敏感的检测模型。其中,学生模型的输出维度与分类任务类别数量相同,并随着增量训练的过程不断增加。
图 1 IIDM-CCS结构
Fig. 1 Structure of IIDM-CCS
IIDM-CCS具有通用性,可以应用于任何增量式IDS中。在原增量式IDS检测模型的基础上,IIDM-CCS无需再额外获取全部样本即可训练一个代价敏感的检测模型,增强IDS对高错分代价特定类的检测能力。训练开始前,获取欲改善的增量式IDS中的检测模型作为基础检测模型。示例存储器在基础检测模型的训练阶段存储了少量真实样本,用于辅助GAN学习真实样本的特征。
2 各模块设计
2.1 GAN模块
一般地,给定真实样本x及其标签y,向生成器G输入服从分布p(z)的随机噪声z,输出生成样本G(z),G的损失函数为
LG=−Ez∼p(z)[log⁡(D(G(z)))]
(1)
式中:Ez~p(z)为当z服从分布p(z)时对输入变量的期望值;D(G(z))为判别器D区分G(z)是否为真样本的概率,以此尽可能地使生成样本近似于真实样本。
原始的GAN学习并模仿的对象是全体类别,但这一方面不满足本文增强特定类的需要,另一方面非特定类的知识会为特定类的生成引入干扰。相关研究[24-25]表明,判别器D可以有效提取样本的特征,因此可以从区分任务泛化到分类任务中,区分任务和分类任务可以相互促进。相应地,分类模型也具备在区分任务中提取特征的能力[26],可以与判别器D共同引导生成器G生成质量更高的样本。因此本文将基础检测模型Mbase加入GAN指导生成器G学习特定类的知识。具体而言,在判别器D判断生成样本是否接近真实样本的同时,Mbase输出概率预测向量P(G(zi),Mbase)=[p1,p2,···,pi,···,pn],其中pi为样本属于类别Yi的概率。本文使用信息熵引导生成器G增加特定类的比例。在信息论中,信息熵可以量化事件的不确定性,当各类出现的概率相等时取得最大值。令特定类的标签集合为Yspec,其他非特定类作为背景类,其标签集合为Ybg。目标增强信息熵损失函数为
Linfo =−[−(∑Yi∈Ybgpi)log⁡(∑Yi∈Ybgpi)−∑Yi∈Yspec (pilog⁡pi)]
(2)
Linfo将各非特定类看作一个背景类,从而在一定程度上对其进行了抑制。当生成器G可以均匀地生成背景类与各个特定类时,Linfo得到最小值,使生成样本中特定类的比例得到增加,同时保证类别之间的平衡,避免GAN模式崩溃。
最终,训练生成器G的损失函数为
Ltotal =LG+αLinfo
(3)
式中α为权重系数。
2.2 增量KD模块
KD是一种常用的模型压缩方法,学生模型通过模仿教师模型输出的分布来传递教师模型提供的解释、比较等特权信息[27],从而使轻量级模型逼近复杂模型的性能。本节着眼于提升IIDM-CCS的分类性能和抗遗忘能力,提出一种多教师KD方法,并根据不同教师模型的引导目标设计损失函数。
2.2.1 增量KD过程
在任务Ti中,增量KD模块使用一个轻量化模型作为学生模型Msi,并选取Mbase i和上一任务的学生模型Msi−1共同作为教师模型进行知识蒸馏。用G(z)与示例构建训练数据集,获得3个模型的输出。Msi模仿Mbase i的输出以学习分类所需丰富的知识,采用代价敏感梯度加权损失函数Lwe对不同类的训练速度进行差异化;Msi模仿Msi−1的输出以记忆旧类,采用软标签增量蒸馏损失函数Lsl提高对旧类的泛化能力。需注意的是,Msi仅需辨别流量是否属于特定类,而Mbase i则针对全体类别完成分类,二者输出维度不同。Mbase i包含丰富非特定类的知识,可以赋予学生模型较好的泛化能力,但是对非特定类的关注又会为学生模型引入过多干扰。因此,将全部非特定类作为一个背景类Ybg,其标签重新标注为ybg。上述过程如图2所示。
图 2 增量KD过程
Fig. 2 Process of incremental KD
2.2.2 代价敏感梯度加权损失函数
KD常用Kullback-Leibler散度或交叉熵损失函数比较学生与教师输出之间的距离。本文设计了代价敏感梯度加权损失函数Lwe,以测量Msi与Mbase i输出间的差距。在任务Ti中,由b个样本\begin{equation}x_{j}^{i}\end{equation}及其标签\begin{equation}y_{j}^{i}\end{equation}构成的mini batch在训练中的分类损失函数为
Lce=1b∑j=1bHce(P(xji,Msi),O(yji))
(4)
式中:Hce为交叉熵损失,P(\begin{equation}x_{j}^{i}\end{equation},\begin{equation}M_{s}^{i}\end{equation})为\begin{equation}M_{s}^{i}\end{equation}对\begin{equation}x_{j}^{i}\end{equation}输出的概率分布,O(\begin{equation}y_{j}^{i}\end{equation})为\begin{equation}y_{j}^{i}\end{equation}的独热向量。在一个mini batch中,传统的交叉熵损失函数在背景类及特定类上形式相同。但在IDS中,背景类样本容量远多于特定类,简单地使用交叉熵损失函数会导致检测模型偏向于学习背景类知识。在增量的过程中,背景类和特定类的样本容量有着不同的增长速度,加剧了数量不平衡。
因此,本文采用代价敏感梯度加权损失函数Lwe来调整分类网络对背景类和特定类的学习速度。对于属于\begin{equation}y_{j}^{i}\end{equation}的样本\begin{equation}x_{j}^{i}\end{equation},\begin{equation}M_{s}^{i}\end{equation}的隐层输出向量h中第k个输出值\begin{equation}h_{k}\end{equation}的梯度信息为:
gji(k)=∂Hce(P(xji,Msi),O(yji))∂hk
(5)
∂Hce(P(xji,Msi),O(yji))∂hk={P(xji,Msi)k−1,k=yjiP(xji,Msi)k,k≠yji
(6)
式中P(\begin{equation}x_{j}^{i}\end{equation},Msi)k为Msi对第k类预测的Softmax概率。损失函数中特定类和背景类的权重分别为:
Wspec=∑j=1b|gji(yji)|⋅I(yji≠ybg)∑j=1bI(yji≠ybg)
(7)
Wbg=∑j=1b|gji(yji)|⋅I(yji=ybg)∑j=1bI(yji=ybg)
(8)
式中I(·)为指示函数,括号内条件为真时取1,否则取0。
用教师模型的输出P(\begin{equation}x_{j}^{i}\end{equation},Mbase i)作为学生模型模仿的目标以进行KD。最终得到代价敏感梯度加权损失函数,公式为
Lwe=1b∑j=1b|gji(yji)|⋅Hce(P(xji,Msi),P(xji,Mbasei))Wspec⋅I(yji≠ybg)+Wbg⋅I(yji=ybg)
(9)
Lwe通过增强隐藏层对应神经元输出的梯度信息分别调整特定类和背景类的学习速度,避免检测模型过于偏向学习背景类,增加对高错分代价特定类的关注。
2.2.3 软标签增量蒸馏损失函数
考虑到维持旧类的检测性能,借助旧模型Msi−1为新任务的模型Msi建立监督关系,抵抗灾难性遗忘现象。训练时,将训练样本\begin{equation}x_{j}^{i}\end{equation}给予Msi−1,得到其输出的概率预测P(\begin{equation}x_{j}^{i}\end{equation},Msi−1)。然后利用P(\begin{equation}x_{j}^{i}\end{equation},Msi−1)替换O(\begin{equation}y_{j}^{i}\end{equation})对应的部分作为软标签,记为S(P(\begin{equation}x_{j}^{i}\end{equation},Msi−1),O(\begin{equation}y_{j}^{i}\end{equation})),如图3所示。最后,通过Kullback-Leibler散度DKL比较Msi的输出与软标签间的距离以完成KD。软标签增量蒸馏损失函数Lsl补充了KD阶段其他损失函数没有考虑增量变化的不足,其计算式为
Lsl=DKL(P(xji,Msi)‖S(P(xji,Msi−1)))
(10)
图 3 软标签构造过程
Fig. 3 Process of build soft labels
综上,增量KD模块的总损失函数为
LKD=Lce+βLwe+(1−β)Lsl
(11)
式中β为权重系数。
增量KD模块最终得到的学生模型Msi即为IIDM-CCS中用于检测流量中特定类的模型。
3 实验
3.1 数据集与模型结构
本文在CSE-CIC-IDS2018[28]和EDGE-IIoT[29]数据集上进行实验,两者的样本分布见表1。为检验所提机制在数据不平衡时的效果,选取样本量最少的几种攻击作为特定类,并添加至各个任务中进行学习。CSE-CIC-IDS2018是在IDS研究中被广泛使用的数据集,涵盖了多种攻击类型,能模拟现实中复杂的网络情况。因数据量庞大,随机抽取1%的样本进行实验并划分为两个任务[23]。其中,正常流量占比高达73.79%,而被选为特定类的Infiltration类和Bot类占比极低,分别为1.95%和3.46%。物联网中大量的隐私数据通常会使IDS面临代价敏感问题[17],因此,选取物联网安全数据集EDGE-IIoT对所提机制在物联网场景中的表现进行实验。将EDGE-IIoT划分为3个任务,抽取20%的样本作为测试集。其中,正常流量占比达到42.94%,被选为特定类的Password类、Fingerprinting(FP)类和MITM类占比分别为17.29%、1.73%和2.10%。基础检测模型采用全部训练样本,示例存储器依据训练集数据分布的比例抽取1 000条示例用于IIDM-CCS训练。
表 1 数据集样本分布
Tab. 1 Sample distribution of dataset
为避免IIDM-CCS应用于其他增量式IDS时引入过多额外开销,本文为GAN模块和增量KD模块涉及的模型设计了轻量化的结构,在特征提取过程中仅使用了全连接(fully connected, FC)层、批量归一化(batch normalization, BN)层和修正线性单元(rectified linear unit, ReLU)激活函数,如图4所示。图4中各模块结构仅作参考,在实际应用中可根据具体情况和需要进行调整。
图 4 实验所用模型结构
Fig. 4 Structure of models for experiments
3.2 实验环境与评价指标
实验在安装了NVIDIA RTX2060的主机上运行,相关程序利用Python 3.8编写。标记正确分类的异常样本为TP,正确分类的正常样本为TN,错误分类的正常样本为FP,错误分类的异常样本为FN。采用准确率A、召回率R、精确率P和F1分数作为评价指标,计算式分别为:
A=TP+TNTP+FN+TN+FP
(12)
R=TPTP+FN
(13)
P=TPTP+FP
(14)
F1=2PRP+R
(15)
本文的研究目标是提升IDS对高错分代价特定类的防护能力,需要模型能够降低对特定类的漏检风险,因此将着重评估模型在召回率上的表现。
3.3 消融实验
为探究GAN模块和增量KD模块对模型整体表现的影响,本文利用CSE-CIC-IDS2018进行消融实验。消融实验涉及3个可变条件:是否加入GAN模块,是否有基础检测模型参与KD和是否有旧学生模型参与KD。实验所涉及模型及差别见表2,结果见表3,基础检测模型由其他增量式IDS方法[23]训练获得。
表 2 消融实验模型
Tab. 2 Models of ablation experiment
注:●表示模型包含此部分。
实验中模型Baseline出现了过拟合,几乎将所有Infiltration样本分为了背景类,导致F1和P无法获取。说明直接使用原始数据训练会使检测模型被数据不平衡影响,无法学习少数类的特征,导致IDS失去检测高错分代价特定类的能力。另外,模型Baseline准确率依然超过模型A1,说明数据不平衡的情况下,IDS模型只需重视数据量较大的类别即可获得较高的准确率,如果仅依靠整体表现评价IDS是有缺陷的。单独加入GAN模块或增量KD模块均会导致模型在特定类上的R升高,同时加入时可达到最佳效果。
表 3 消融实验结果
Tab. 3 Results of ablation experiment
对比模型Baseline与A2、模型A1与A4的实验结果可知:在其他条件相同时,加入GAN模块可以使特定类的R升高;模型A4较模型A1在任务1中Infiltration类的R高79.63%,在任务2中Infiltration类和Bot类的R分别高62.84%和49.13%,表明GAN模块能有效地对特定类进行数据增强,提升模型检测特定类的能力;模型A4除Bot类外的P均高于模型A1,所有特定类F1亦高于模型A1,说明GAN模块生成样本时可以权衡特定类与其他类之间的平衡,不会使检测模型对其他类的样本过度地错检。以上结果证明加入GAN模块可在一定程度上抵抗数据不平衡问题的负面影响。
为确定增量KD模块的效用,对模型A2、A3和A4的实验结果进行分析。由于开始训练时尚不存在旧学生模型,模型A3和A4的训练条件是相同的,在任务1中的表现只因随机初始化而有轻微差别。模型A3较模型A2在任务1中Infiltration类的R高6.76%,在任务2中Infiltration类和Bot类的R分别高16.36%和0.17%,表明增量KD模块可以将基础检测模型中的特权信息传递给学生模型,提升其对特定类的检测能力。因此,即使没有在全部样本上进行训练,模型仍可取得较好的检测性能。而Bot类上的提升效果没有Infiltration类显著,可能是由于对旧类的遗忘减少了Bot类受到的干扰,使得所有模型在Bot类上都能有较好的表现。两个任务间,模型A3上Infiltration类的R比模型A4多下降了1.82%,A多下降了0.94%,表明对旧模型的KD和Lsl可以为新任务提供在旧类上的约束,从而对抗灾难性遗忘。以上结果说明增量KD模块可以指导检测模型提升对特定类的检测能力,并在一定程度上缓解增量过程中的灾难性遗忘问题。
3.4 损失函数效果实验
为确定权重系数β对LKD效果的影响,采用CSE-CIC-IDS2018训练集进行调参实验,结果见表4。由表4可知:Lwe可以帮助模型识别当前任务中的特定类,增大β可使当前任务中特定类的R升高。Lsl可帮助IDS模型保持对旧类的识别性能,减小β可使旧类的R升高。简单地增大两个损失函数的权重会导致IIDM-CCS面临增量学习中的稳定性-可塑性困境,即记忆旧知识和学习新知识的能力难以兼得。因此,考虑到学习过程中对二者的恰当平衡,根据表4确定β=0.3进行后续实验。
表 4 调参实验结果
Tab. 4 Results of parameter adjust experiment
为验证损失函数是否达到预期功能,在CSE-CIC-IDS2018上对Linfo和Lwe进行实验。由于消融实验中模型A3和A4的对比已经体现Lsl的作用,不再重复实验。
比较有Linfo和无Linfo两种情况下特定类样本数量在生成样本中的占比,结果如图5所示。
图 5 特定类样本的数量占比
Fig. 5 The proportion of specific class samples
由图5可知:任务1中,虽然训练开始时无Linfo的GAN的生成样本全部为Infiltration类,但此时生成器和判别器的损失值较高,生成样本质量偏低;伴随着GAN的训练,在有Linfo的情况下,Infiltration类样本在生成样本中的占比会稳定在50%左右,而在无Linfo的情况下,生成器不再生成Infiltration类样本。任务2中,在无Linfo的情况下,特定类的占比为0,在有Linfo的情况下,特定类的占比会稳定在33%左右,表明Linfo可以引导GAN模块学习真实数据中数量较少的类。以上结果符合在两个任务中分别按二分之一和三分之一生成特定类样本的预期,表明Linfo可使GAN均匀生成各类样本,实现在数据不平衡问题下对特定类的数据增强,避免模式崩溃而只生成数量占比大的类别。
通过实验比较Lwe和Lce对基础检测模型进行KD的效果,以热力图的形式展示了是否加入梯度加权的混淆矩阵间的成对差异,如图6所示。
图 6 不同损失函数下成对差异热力图
Fig. 6 Heatmaps based on pairwise differences in different loss
由图6可以看出:采用Lwe的模型在任务1和任务2中均比采用Lce的模型检出更多Infiltration类样本;采用Lwe的模型使得被漏检的Bot类样本从倾向于被分为背景类改变为倾向于被分为特定类。可见,在训练中对背景类和特定类分开进行梯度加权,将数量少的特定类赋予更大的权重可以大幅提高IDS检出高错分代价特定类的能力,并缓解增量过程中的遗忘问题。
3.5 模型性能对比实验
为探究IIDM-CCS的有效性与普适性,与不同增量式IDS方法FL-IIDS[22]和AAE-IIDS[23]进行对比,实验结果见表5、表6和图7,其中IIDM-CCS的上标为选用的基础检测模型。在新任务中,对比方法对部分旧类产生严重遗忘,导致F1分数无法获取。
表 5 CSE-CIC-IDS2018数据集上模型对比结果
Tab. 5 Comparison results of the models on CES-CIC-IDS2018 dataset
表 6 EDGE-IIoT数据集上模型对比实验
Tab. 6 Comparison results of the models on EDGE-IIoT dataset
图 7 增量训练结束后对特定类的平均召回率
Fig. 7 Average recall rate of specific classes after incremental training
由表5、表6和图7可以看出:在同一任务中,IIDM-CCS对各特定类的R均超过或接近对比方法;增量训练结束后,在CSE-CIC-IDS2018和EDGE-IIoT数据集上,特定类的平均R分别比对比方法高51.45%和60.32%,说明所提机制在一定程度上缓解了数据不平衡和遗忘不平衡的影响,有效提高了增量式IDS对高错分代价特定类的识别能力。其中,表5任务2中IIDM-CCS较AAE-IIDS对Bot类的R低0.18%,原因是IIDM-CCS为维持对旧类的记忆会牺牲在新类上较少的可塑性。但此时IIDM-CCS较AAE-IIDS对Infiltration类的R高64.81%,说明在对新特定类的检测性能与对比方法接近的情况下,IIDM-CCS能显著缓解对旧特定类的遗忘。虽然对比方法有对抗灾难性遗忘的机制,但在增量训练结束后,已无法识别旧任务中的特定类,说明遗忘不平衡依然会导致对比方法对样本数量较少的部分特定类产生严重的遗忘,造成漏检,而IIDM-CCS在旧特定类上的性能受基础检测模型的影响而衰退,但不会完全丧失,进而缓解原IDS因灾难性遗忘失去对高错分代价特定类识别能力的问题。同时,IIDM-CCS对各个特定类的F1分数均高于对比方法,说明IIDM-CCS也能适当兼顾对其他类别的准确分类,避免产生过分的错检。
综上,所提机制可以应用于现有增量式IDS中,在动态开放与数据不平衡的情景下,可有效提高IDS识别高错分代价特定类的能力。
4 结论
1)本文提出了一种考虑代价敏感性的增量式入侵检测机制IIDM-CCS,由GAN模块和增量KD模块两部分组成。
2)GAN模块可以进行数据增强补充样本,使IDS模型能有效应对数据不平衡问题。引入基础检测模型和目标增强信息熵损失函数改进的GAN可以均匀提升生成样本中特定类的比例,避免模式崩溃。
3)基础检测模型和旧检测模型作为教师模型进行多教师知识蒸馏,可以为新任务中的检测模型提供特权信息和在旧类上的约束,仅在示例和生成样本上训练即可提升对特定类的检测能力,并降低灾难性遗忘造成的负面影响。
4)代价敏感梯度加权损失函数可以为特定类赋予更大的权重,提高IDS检出高错分代价特定类的能力,并帮助缓解增量过程中的遗忘问题。
5)在原增量式IDS检测模型的基础上,IIDM-CCS无需再额外获取全部样本即可训练代价敏感的检测模型,增强了IDS对高错分代价特定类的检测能力。
图 1 IIDM-CCS结构
Fig. 1 Structure of IIDM-CCS
图 2 增量KD过程
Fig. 2 Process of incremental KD
图 3 软标签构造过程
Fig. 3 Process of build soft labels
图 4 实验所用模型结构
Fig. 4 Structure of models for experiments
图 5 特定类样本的数量占比
Fig. 5 The proportion of specific class samples
图 6 不同损失函数下成对差异热力图
Fig. 6 Heatmaps based on pairwise differences in different loss
图 7 增量训练结束后对特定类的平均召回率
Fig. 7 Average recall rate of specific classes after incremental training
表 1 数据集样本分布
Tab. 1 Sample distribution of dataset
表 2 消融实验模型
Tab. 2 Models of ablation experiment
表 3 消融实验结果
Tab. 3 Results of ablation experiment
表 4 调参实验结果
Tab. 4 Results of parameter adjust experiment
表 5 CSE-CIC-IDS2018数据集上模型对比结果
Tab. 5 Comparison results of the models on CES-CIC-IDS2018 dataset
表 6 EDGE-IIoT数据集上模型对比实验
Tab. 6 Comparison results of the models on EDGE-IIoT dataset
Butun I, Osterberg P, Song Houbing. Security of the internet of things: vulnerabilities, attacks, and countermeasures[J]. IEEE Communications Surveys and Tutorials, 2020, 22(1): 616. DOI: 10. 1109/COMST. 2019. 2953364
Farrukh Y A, Wali S, Khan I, et al. AIS-NIDS: an intelligent and self-sustaining network intrusion detection system[J]. Computers and Security, 2024, 144: 103982. DOI: 10.1016/j.cose.2024.103982
Li Ziwei, Xu Jiayi, Chao Weilun, et al. Visual analytics on network forgetting for task-incremental learning[J]. Computer Graphics Forum, 2023, 42(3): 437. DOI: 10.1111/cgf.14842
Masana M, Liu Xialei, Twardowski B, et al. Class-incremental learning: survey and performance evaluation on image classification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(5): 5513. DOI: 10. 1109/TPAMI. 2022. 3213473
Weiflog M, Protzel P, Neubert P. FETCH: a memory-efficient replay approach for continual learning in image classification[C]//24th International Conference on Intelligent Data Engineering and Automated Learning. Évora: Springer, 2023: 418. DOI: 10.1007/978-3-031-48232-8_38
Tran M T, Le T, Le X M, et al. Text-enhanced data-free approach for federated class-incremental learning[C]//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR2024. Seattle: IEEE, 2024: 23870. DOI: 10. 1109/CVPR52733. 2024. 02253
Chen Chen, Li Ruizhe, Hu Yuchen, et al. Overcoming catastrophic forgetting by exemplar selection in task-oriented dialogue system[C]//62nd Annual Meeting of the Association for Computational Linguistics. Bangkok: ACL, 2024: 48. DOI: 10.18653/v1/2024.findings-acl.5
Yu Longhui, Weng Zhenyu, Wang Yuqing, et al. Multi-teacher knowledge distillation for incremental implicitly-refined classification[C]//2022 IEEE International Conference on Multimedia and Expo, Taipei: IEEE, 2022. DOI: 10. 1109/ICME52920. 2022. 9859936
Kang Mengxue, Zhang Jinpeng, Zhang Jinming, et al. Alleviating catastrophic forgetting of incremental object detection via within-class and between-class knowledge distillation[C]//Proceedings of the IEEE International Conference on Computer Vision. Paris: IEEE, 2023: 18848. DOI: 10. 1109/ICCV51070. 2023. 01732
Nugraha B, Yadav K, Patil P, et al. Improving the detection of unknown DDoS attacks through continual learning[C]//3rd IEEE International Conference on Cyber Security and Resilience, CSR 2023. Hybrid: IEEE, 2023: 477. DOI: 10. 1109/CSR57506. 2023. 10224989
Jin Dong, Chen Shuangwu, He Huasen, et al. Federated incremental learning based evolvable intrusion detection system for zero-day attacks[J]. IEEE Network. 2023, 37(1): 125. DOI: 10. 1109/MNET. 018. 2200349
Zhao Qian, Yang Yang, Zhao Longjun, et al. Unbalanced data oversampling method for traffic multi-classification in convergence network[C]//11th International Conference on Computer Engineering and Networks, CENet2021. Hechi: Springer, 2022: 1549. DOI: 10.1007/978-981-16-6554-7_171
Park C, Lee J, Kim Y, et al. An enhanced AI-based network intrusion detection system using generative adversarial networks[J]. IEEE Internet of Things Journal, 2023, 10(3): 2330. DOI: 10. 1109/JIOT. 2022. 3211346
Ding Hongwei, Sun Yu, Huang Nana, et al. TMG-GAN: generative adversarial networks-based imbalanced learning for network intrusion detection[J]. IEEE Transactions on Information Forensics and Security, 2024, 19: 1156. DOI: 10. 1109/TIFS. 2023. 3331240
万建武, 杨明. 代价敏感学习方法综述[J]. 软件学报, 2020, 31(1): 113
Wan Jianwu, Yang Ming. Survey on cost-sensitive learning method[J]. Journal of Software, 2020, 31(1): 113. DOI: 10.13328/j.cnki.jos.005871
Al-Garadi M A, Mohamed A, Al-Ali A K, et al. A survey of machine and deep learning methods for internet of things (IoT) security[J]. IEEE Communications Surveys and Tutorials, 2020, 22(3): 1646. DOI: 10. 1109/COMST. 2020. 2988293
廖丽云, 张伯雷, 吴礼发. 基于代价敏感学习的物联网异常检测模型[J]. 信息网络安全, 2023, 23(11): 94
Liao Liyun, Zhang Bolei, Wu Lifa. IoT anomaly detection model based on cost-sensitive learning[J]. Netinfo Security, 2023, 23(11): 94. DOI: 10.3969/j.issn.1671-1122.2023.11.010
Zhang Zhaoyi, Lai Yingxu, Chen Ye, et al. Fast tracing method for Sybil attack in VANETs[C]//98th IEEE Vehicular Technology Conference, VTC2023-Fall. Hong Kong: IEEE, 2023. DOI: 10. 1109/VTC2023-Fall60731. 2023. 10333449
Xu Shixiong, Meng Gaofeng, Nie Xing, et al. Defying imbalanced forgetting in class incremental learning[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver: AAAI, 2024: 16211. DOI: 10.1609/aaai.v38i14.29555
Du Lei, Gu Zhaoquan, Wang Ye, et al. A few-shot class-incremental learning method for network intrusion detection[J]. IEEE Transactions on Network and Service Management, 2024, 21(2): 2389. DOI: 10. 1109/TNSM. 2023. 3332284
Wang Tingting, Lv Qiujian, Hu Bo, et al. A few-shot class-incremental learning approach for intrusion detection[C]//30th International Conference on Computer Communications and Networks (ICCCN). Athens: IEEE, 2021. DOI: 10. 1109/ICCCN52240. 2021. 9522260
Jin Zhigang, Zhou Junyi, Li Bing, et al. FL-IIDS: a novel federated learning-based incremental intrusion detection system[J]. Future Generation Computer Systems, 2024, 151: 57. DOI: 10.1016/j.future.2023.09.019
武晓栋, 金志刚, 陈旭阳, 等. 对抗学习辅助增强的增量式入侵检测系统[J]. 哈尔滨工业大学学报, 2024, 56(9): 31
Wu Xiaodong, Jin Zhigang, Chen Xuyang, et al. Adversarial learning-augmented incremental intrusion detection system[J]. Journal of Harbin Institute of Technology, 2024, 56(9): 31. DOI: 10.11918/202403066
Odena A. Semi-supervised learning with generative adversarial networks[PP/OL]. V1. arXiv (2016-06-05)[2024-11-12]. https://doi.org/10.48550/arXiv.1606.01583
Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[PP/OL]. V1. arXiv (2015-11-19) [2024-11-12]. https://doi.org/10.48550/arXiv.1511.06434
Chen Hanting, Wang Yunhe, Xu Chang, et al. Data-free learning of student networks[C]//Proceedings of the IEEE International Conference on Computer Vision. Seoul: IEEE, 2019: 3513. DOI: 10. 1109/ICCV. 2019. 00361
Vladimir V, Akashay V. A new learning paradigm: learning using privileged information[J]. Neural Networks, 2009, 22(5/6): 544. DOI: 10.1016/j.neunet.2009.06.042
Sharafaldin I, Lashkari A H, Ghorbani A A. Toward generating a new intrusion detection dataset and intrusion traffic characterization[C]//Proceedings of the 4th International Conference on Information Systems Security and Privacy. Funchal: SciTePress, 2018: 108. DOI: 10.5220/0006639801080116
Ferrag M A, Friha O, Hamouda D, et al. Edge-IIoTset: a new comprehensive realistic cyber security dataset of IoT and IIoT applications for centralized and federated learning[J]. IEEE Access, 2022, 10: 40281. DOI: 10. 1109/ACCESS. 2022. 3165809