特征选择的高效时间序列预测模型
doi: 10.11918/202411025
沈瑜 1 , 李江柽 1 , 梁栋 2, 3 , 王若暄 1 , 吴红刚 2, 3 , 马殷军 4 , 严源 2, 3 , 马煜堃 1 , 刘佳英 1 , 闫佳荣 1
1. 兰州交通大学 电子与信息工程学院,兰州 730070
2. 中铁西北科学研究院有限公司,兰州 730046
3. 中国中铁科学研究院集团有限公司,成都 610031
4. 中国铁路青藏集团有限公司,西宁 810007
基金项目: 甘肃省技术创新引导计划-企业研发机构能力建设专项资助(23CXJA0011);中国中铁股份有限公司科技研究开发计划(2022-重大专项-07)
Efficient time series forecasting model for feature selection
Shen Yu 1 , Li Jiangcheng 1 , Liang Dong 2, 3 , Wang Ruoxuan 1 , Wu Honggang 2, 3 , Ma Yinjun 4 , Yan Yuan 2, 3 , Ma Yukun 1 , Liu Jiaying 1 , Yan Jiarong 1
1. School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China
2. Northwest Research Institute Co., Ltd. of C.R.E.C., Lanzhou 730046, China
3. China Railway Academy Group Co., Ltd., Chengdu 610031, China
4. China Railway Qinghai-Tibet Group Co., Ltd., Xining 810007, China
摘要
为解决时间序列预测方法普遍存在计算复杂度高、推理速度慢以及关键信息容易丢失的问题,提出一种特征选择的高效时间序列预测模型(Targetformer)。该模型采用Transformer仅编码器结构,并引入倒置输入编码块,将输入时间序列转换为独立的Token;提出特征选择性注意力机制,从映射后的时序Token中提取关键特征;最后利用投影层将提取的特征映射为最终的预测结果。在6个数据集上的实验结果表明:相较于最优基线模型,Targetformer的均方误差和平均绝对误差分别降低5.7%和2.0%,均取得最优的预测性能,验证了其有效性和实用性。该模型为时间序列预测领域提供一种高效且实用的解决方案。
Abstract
In order to solve the problems of high computational complexity, slow inference speed and easy loss of key information prevalent in time series prediction methods, an efficient time series prediction model with feature selection (Targetformer) is proposed. The model adopts the Transformer encoder-only structure and introduces an inverted embedding to convert the input time series into independent Token; A feature-selective attention mechanism is proposed to extract the key features from the mapped time-series Tokens. Finally, a projection layer is used to map the extracted features into the final prediction results. Experimental results on six datasets show that, compared with the best baseline model, Targetformer reduces mean squared error and mean absolute error by 5.7% and 2.0%, respectively, and achieves the best prediction performance in terms of both metrics, verifying its effectiveness and practical applicability. The model provides an efficient and practical solution in the field of time series prediction.
时间序列预测是时间序列分析领域的重要研究方向,通过对未来的预测,为决策提供科学依据[1]。时间序列预测在能源消耗、经济规划、天气预报、疾病传播以及突发灾害预测等领域有着广泛的应用。在这些现实应用中,迫切的需求是提高预测结果的准确性,这对长期规划和预警有着重要意义。
传统的基于统计学习的时间序列预测方法通过捕捉时间序列中的线性关系进行预测,最常用的是自回归移动平均模型(autoregressive integrated moving average model, ARIMA)。但ARIMA要求数据具有平稳性,这导致其在处理复杂的非线性关系时表现欠佳[2]。此外,传统模型通常依赖大量的手工特征,难以适应现代数据驱动的应用场景。
机器学习技术的突破推动了非线性预测模型在时间序列预测领域的广泛应用,如支持向量机(support vector machines, SVM)、随机森林(random forest, RF)和梯度提升机(gradient boosting machine, GBM)等。这些方法通过对数据进行特征提取和训练,能够捕捉到更复杂的模式和非线性关系。然而,这些方法在处理大规模时序数据时,训练时间较长,且对参数选择较为敏感,在捕捉长时依赖关系和复杂时间序列模式方面仍存在局限性。
随着计算能力的提升和数据量的增加,深度学习方法在时间序列预测领域展现出强大的能力。卷积神经网络(convolutional neural network, CNN)和循环神经网络(recurrent neural network, RNN)是其中的代表性方法。CNN以其独特的卷积与池化机制,在捕捉局部时间特征方面展现出优势,代表性的方法有时间卷积网络(temporal convolutional network, TCN)、WaveNet[3]及最新的现代时间卷积网络(modern temporal convolutional network, ModernTCN)[4]等。RNN通过递归结构尝试建模序列的长期依赖,然而,在训练过程中容易受到梯度消失与爆炸问题的影响,限制了其在长序列预测中的表现。尽管长短时记忆网络(long short-term memory, LSTM)、门控循环神经网络(gated recurrent unit, GRU)[5]及长短期时间序列网络(long-and short-term time-series network, LSTNet)[6]等变体在一定程度上缓解了这些问题,但RNN固有的模型劣势依然存在。此外,RNN多为串行计算,训练过程中对内存消耗极大。针对这些问题,Salinas等[7]提出了深度自回归模型(deep autoregressive model, DeepAR),该模型利用序列数据的历史信息,采用自回归模型进行预测,能够捕捉时间序列中的潜在模式。Oreshkin等[8]提出了一种用于时间序列的神经基展开分析框架(neural basis expansion analysis for time series, N-BEATS),该框架采用全局和分解的预测策略,通过堆叠块的方式捕捉时间序列的各种特征,展现出了较好的预测能力。上述模型一定程度上克服了RNN的局限性,但仍需要进一步研究与优化。
近年来,Transformer[9]模型在自然语言处理和计算机视觉领域得到了广泛应用,并逐渐扩展到时间序列预测任务中。Transformer通过自注意力机制,可以有效捕捉时间序列中的全局时间依赖关系。与RNN不同,Transformer不依赖序列的顺序处理,因此可以实现更高的并行计算效率。然而,Transformer模型存在参数量大、计算资源消耗高的问题,需要大量的数据和计算资源来训练。特别是在长序列预测任务中,因为其序列长度较大,且Transformer本身二次计算复杂度的问题,导致性能下降。在基于Transformer的时间序列预测模型中,Zhou等[10]提出了Informer模型,该模型采用特殊的稀疏性采样注意力机制的方法缓解Transformer二次计算复杂度的问题。Kitaev等[11]提出了Reformer模型,该模型利用局部敏感散列算法缓解Transformer二次计算复杂度的问题。Wu等[12]提出了Autoformer模型和Zhou等[13]提出了FEDformer模型,两者更注重序列本身存在的时间依赖关系,将序列分解思想应用于模型中,以更加准确地提取历史序列之间的相关性。为了克服传统Transformer中Token构建方式的局限性,Zhang等[14]提出了Crossformer模型、Nie等[15]提出了PatchTST模型,两者将Token划分为Patch(数据块)的思想,但此类方式生成的Patch Token存在信息流失、粒度选择困难等缺陷。Liu等[16]提出了iTransformer模型,该模型通过将注意力机制和前馈网络应用于倒置维度,提升了预测性能。Ashok等[17]通过引入简化的注意力机制,提高了对时序间非线性依赖关系的捕捉能力。Rasul等[18]提出了一种将向量量化与注意力机制相结合的时间序列预测模型,该模型减少了注意力矩阵的复杂度。Dai等[19]通过将时间序列的周期性成分与非周期性成分进行分离和独立建模,提高了模型对复杂长期序列的预测精度。Chen等[20]提出了Pathformer模型,该模型通过多尺度特征提取和自适应路径选择,增强了对不同时间尺度特征的捕捉能力。以上基于Transformer的时间序列预测模型虽然在一定程度上降低了计算复杂度,但不可避免地丢失一些关键信息而导致预测性能下降,难以达到预测性能与计算效率的平衡。
针对时间序列预测模型中存在的计算复杂度高、关键信息容易丢失的问题,本文提出特征选择的高效时间序列预测模型(Targetformer)。Targetformer采用Transformer仅编码器结构,引入倒置输入编码块增强特征保持能力,设计特征选择性注意力机制(feature-selective attention mechanism,FSAM)优化计算路径。期望为时间序列预测领域提供一种新的解决方案,以更好地平衡预测性能与计算效率。
1 Targetformer模型框架
Targetformer基于Transformer仅编码器架构构建,包含倒置输入编码块(inverted embedding,IE)、特征选择Transformer块(Targetformer block)和投影层(projection)3部分。其中Targetformer块可根据实际需求堆叠,堆叠数用N表示,查询向量、键向量和值向量分别用q、k、v表示,模型结构如图1所示。
图 1 Targetformer模型结构
Fig. 1 Targetformer model structure
1.1 Transformer仅编码器结构
Transformer仅编码器结构如图2所示。在原始Transformer结构的基础上舍弃解码器(decoder)部分,并加入了投影层(projection),使得模型更加轻量化,并且能够更好地理解序列输入的上下文信息,从而提高时间序列预测的准确性。
1.2 倒置输入编码块
在传统的时序预测方法中,所有变量在同一时刻的时间点通常被表示为一个Token。这种方法虽然能捕捉变量之间的时刻关系,但在处理复杂的时序数据时,无法充分利用变量的全局信息,并且由于其过小的感受野,限制了注意力机制建模Token之间的关系。另外,来自不同变量的时间点被映射到Token后,原本独立的变量被杂糅为多维特征,使得模型无法捕捉变量间的联系。传统时序预测中的Token构建方式为
Bt=C([β1,t,β2,t,⋯,βn,t])
(1)
式中:Bt为时刻t的Token;n为变量的数量;\begin{equation}β_{n,t}\end{equation}为第n个变量在时刻t的值;C(·)为Concat函数,用于将序列连接形成一个新的序列。
为克服传统Token构建方式的局限性,本文采用倒置输入编码块的方法,将整条序列直接映射为Token,强化模型的全局信息捕捉能力。本文Token的构建方式与其他构建方式的对比如图3所示。其中,图3(a)为原始的Transformer以时间点为Token的构建方式,图3(b)为以Patch为Token的构建方式,图3(c)为本文以变量整条序列为Token的构建方式。
图 2 Transformer仅编码器结构
Fig. 2 Transformer encoder-only structure
图 3 Token构建方式对比
Fig. 3 Comparison of Token construction methods
倒置输入编码块的核心思想是将每个变量的整条时间序列独立地映射为一个Token。具体而言,给定一个包含多个变量的时序数据集,首先将每个变量的时间序列提取出来,然后对于每个变量,将其整个时间序列映射为一个Token,从而在模型的输入层形成一个由变量时序Token组成的序列。倒置输入编码块的Token构建方式为
Ki=f(Si)=f([si,1,si,2,⋯,si,m])
(2)
式中:Ki为第i个变量的Token,Si为第i个变量的时间序列,m为时间步的数量,f(·)为映射函数。
1.3 特征选择性注意力机制
为解决传统的Transformer模型在处理大规模时序数据时面临计算复杂度高的问题,常用的方法是采用稀疏注意力机制,即选择注意力得分较高的前若干分数进行预测,如此不仅使得模型更加复杂,并且容易忽略序列之间的关键信息。为此,本文提出FSAM,如图4所示。
此机制基于前期的转置输入,核心在于仅计算待预测目标特征与其他特征之间的注意力分数,更聚焦于对预测目标有实质性贡献的注意力分数,使得模型更准确地捕捉时间序列数据中的关键信息,舍弃冗余信息,从而提升预测精度。该机制的特征选择过程能够根据预测任务的改变而动态适应,使得模型能够适应多样化的应用场景,并且不会增加额外的参数,不改变Transformer模型的基本结构,可以应用于其他基于Transformer的时间序列预测模型中。
FSAM的实现细节如下:假设一时间序列X={x1,x2,···,xT},每个时间步xt包含D维特征,需要预测的特征为第D′维特征,即D′为特定的待预测特征索引,记yt=x\begin{equation}_{t}^{D′}\end{equation}。在计算过程中,首先为待预测特征计算查询向量qt,同时为所有特征计算键向量k\begin{equation}_{t}^{d}\end{equation}和值向量v\begin{equation}_{t}^{d}\end{equation}(d=1,2,···,D),其中d为特征维度。查询向量、键向量和值向量的计算式分别为:
qt=Wqyt
(3)
ktd=Wkxtd
(4)
vtd=Wvxtd
(5)
式中Wq、Wk、Wv为可学习的权重矩阵。
图 4 特征选择性注意力机制
Fig. 4 Feature-selective attention mechanism
得到需要的查询向量、键向量和值向量之后,仅计算待预测特征yt对所有特征的注意力分数,忽略其他特征间的注意力分数,以此得到注意力分数\begin{equation}α_{t}^{D′}\end{equation}的计算式。
αtD′=exp⁡(qt⋅ktddk)∑d=1Dexp⁡(qt⋅ktddk),D′=1,2,⋯,D
(6)
式中dk为键向量的维度。
得到注意力分数后,计算加权后的值向量之和,作为注意力层的输出。
At=∑d=1Dαtdvtd
(7)
在FSAM中,实际只关心与待预测特征yt相关的输出,其他注意力分数\begin{equation}α_{t}^{d}\end{equation}(d≠D′)在计算时被显式地忽略,以符合特征选择性的原则。因此实际计算式为
Tt=atD′vtD′
(8)
式中:atD′为待预测特征与其他特征之间计算得到的注意力分数,vtD′为与atD′维度相同的值向量。
上述介绍的是FSAM的单头版本,在实际代码中使用的是多头版本。假设使用了λ个头,则多头版本的实现过程为:
TMulti (i)=Woutput ×C(h1,h2,⋯,hλ)
(9)
hλ=Tλ(qtWλq,ktdWλk,vtdWλv)
(10)
式中:hλ为第λ个注意力头的输出,Woutput为投影权重矩阵,Wλq、Wλk、Wλv分别为第λ个注意力头的查询、键和值投影矩阵。
将Tt通过一个投影层得到最终的预测输出
y^t=P(Tt)
(11)
式中P为投影操作。
如果Tt的维度与y^t的维度相匹配,可以直接采用Tt得到最终的预测输出
y^t=Tt
(12)
图5为将Transformer经过倒置后的模型在ETTh1数据集上的注意力得分,分别为第1、2、3个注意力头各自的第1层({head1、head2、head3}@layer1)的可视化结果。
图 5 注意力得分可视化实例
Fig. 5 Attention score visualization example
由图5可以观察到,在计算注意力得分过程中,仅有少数注意力值对预测结果产生了显著影响,这些得分主要集中于待预测目标特征与其他特征之间的交互区域。该发现表明了注意力机制在实际计算中的稀疏性特征,同时验证了本文提出的特征选择性注意力机制的理论有效性,进一步确认了其在设计层面的合理性与有效性。
2 实验结果及分析
2.1 数据集
采用6个数据集验证模型的有效性,其中包含变压器油温数据集(ETTh1)[10]、天气预报数据集(Weather)[12]、金融汇率数据集(Exchange)[6]、疾病数据集(ILI)[19]、交通数据集(Traffic)[21]5个基准数据集与滑坡灾害数据集(Landslide)。
鉴于数据集中普遍存在缺失值、异常值及噪声问题,对所有数据集采取数据预处理措施以提升数据质量。具体而言,针对缺失值问题,采用插值策略进行填补,以确保数据集的完整性和连续性;对于异常值的识别与剔除,结合统计检验方法与领域专业知识,有效剔除对分析结果产生不利影响的极端值;此外,为减少数据中的随机波动与噪声干扰,应用滚动平均值技术对数据进行平滑处理;最后,通过归一化方法将所有特征变量转换至统一量纲。
本文将所有数据集按时间顺序分为训练集、验证集和测试集,其中ETTh1数据集中三者的比例为6∶2∶2,其他数据集中三者的比例均为7∶1∶2。
2.2 评价指标
采用时间序列预测任务中通用的均方误差(mean square error,Ems)和平均绝对误差(mean absolute error,Ema)两个指标进行性能评价。
Ems=1n∑i=1n(yi−y^i)2
(13)
Ema=1n∑i=1n|yi−y^i|
(14)
式中:yi为观测值,y^i为预测值,n为样本数量。
2.3 实验平台及参数设置
实验硬件环境中,操作系统为Windows 10,CPU为Intel(R) Core(TM) i7-9700K,GPU为NVIDIA GeForce RTX 2080 Ti;软件环境为Python 3.8.18、PyTorch 1.12.1+cu113、CUDA 11.3。训练过程中,优化器采用Adam,初始学习率为0.000 1,损失函数为均方误差损失,迭代次数为20,具有适当的早停策略,批量大小设置为32,特征选择Transformer块的数量设置为N=2。
2.4 对比实验
为验证模型的有效性,挑选10个主流的预测模型分别在不同的数据集上进行对比。具体分为4类:传统预测方法有ARIMA;基于RNN的方法有GRU和LSTNet;基于CNN的方法有TCN和ModernTCN;基于Transformer的方法有iTransformer、Informer、Crossformer、Pathformer和Flowformer。
在实验中,统一将ILI数据集的预测长度设置为S∈{24,36,48,60},回溯长度为L∈{24,36}。除ILI和Landslide数据集外,其他数据集预测长度为S∈{96,192,336,720},回溯长度为L=96,对比实验默认为多变量预测单变量。表1为本文模型与传统预测方法、基于RNN和CNN方法的对比结果。
表 1 本文模型与其他方法比较
Tab. 1 Comparison between the presented model and the mainstream algorithms
由表1可知,与传统预测方法、基于RNN和CNN的方法相比,本文模型在Ems和Ema两个性能指标上均取得最优结果。从具体数据来看,本文模型相较于传统预测方法的Ems和Ema下降幅度均超过两倍,且相比RNN和CNN方法的改进同样具有优势,说明本文模型在复杂的时间序列预测任务中能够有效地捕获数据的时间依赖性和复杂非线性关系。
在此基础上,为进一步验证本文模型的有效性和相对性能优势,选取近年来基于Transformer的多种主流时间序列预测模型进行对比实验,这些模型代表了当前时间序列预测研究的最新进展,将其纳入对比范围,以便从更广泛的技术维度评估本文模型的实际表现。对比结果见表2。
表 2 本文模型与基于Transformer模型比较
Tab. 2 Comparison of the model in this paper with other Transformer-based models
由表2可知,本文模型在不同规模的数据集以及多样化的预测长度设定下,均展现出了卓越的性能,普遍达到甚至超越了当前最优模型的基准。具体而言,在小型数据集范畴内,以ILI数据集为例,本文模型在不同预测时段上相较于最优模型均实现了更优的预测效果。在预测长度为36时,Ems相较于最优模型降低了3.4%;当预测长度延长至48时,Ema减少了4.4%。说明即便是在数据量有限的情况下,本文模型依然能够保持较高的预测精度。在中大型数据集中,以Exchange数据集为例,本文模型在所有考察的预测长度上均优于现有的最佳模型。具体而言,在预测长度为96时,Ems和Ema分别下降了5.8%和3.1%;预测长度增加至336时,Ems和Ema的降幅扩大至18.5%和8.7%;而当预测长度达到720时,Ems和Ema分别下降了36.7%和18.3%。说明本文模型不仅在短期预测中具备较强的适应性,而且在处理大规模数据集和长序列预测任务时展现出优越的泛化能力和鲁棒性。
为更全面直观地评估本文模型在时序预测任务上的表现,将ETTh1与Traffic数据集上所取得的预测结果与真实值进行可视化对比,预测值曲线与真实值曲线的贴合度越高,表明模型的预测效果越好。输入长度和预测长度为均96的可视化结果如图6和图7所示。
由图6和图7可以看出,本文模型的预测值与真实值贴合得更好,特别是在快速变化的区域(如突变点),对于时间序列中的快速变化点或复杂模式,预测值能够更加准确地跟随真实值变化,比其他模型更准确地预测时间序列的变化趋势。
在滑坡灾害预测数据集上,将预测长度设置为S∈{48,96,192,336},回溯长度设置为L∈{48,96},本文模型与其他模型的对比结果见表3。
由表3可知,本文模型在所有评估的预测长度上均取得了最优结果。具体而言,相较于其他模型,本文模型的Ems和Ema表现最优。当预测长度为48时,本文模型的Ems、Ema相较于最优方法分别降低了37.4%、34.4%;当预测长度为336时,Ems、Ema的降低幅度分别达到41.0%、45.3%。此外,与基于Transformer架构的模型对比,本文模型同样取得了最优结果。当预测长度为48时,本文模型的Ems、Ema相较于基于Transformer模型的最优实验基准分别下降了3.4%、7.1%;当预测长度为336时,Ems、Ema的降低幅度分别为2.8%、1.9%。上述结果表明,在面对复杂且高度动态的滑坡灾害预测任务时,本文模型能够有效捕捉数据中的关键信息,提供更为精确和可靠的预测结果。
图 6 ETTh1数据集预测可视化效果
Fig. 6 Visualization results of ETTh1 dataset prediction
图 7 Traffic数据集预测可视化效果
Fig. 7 Visualization results of Traffic dataset prediction
表 3 滑坡灾害预测数据集对比结果
Tab. 3 Comparison results of landslide prediction dataset
为进一步全面评估本文模型的性能,从计算复杂度的角度进行对比分析。为确保对比的公平性,在3个不同规模的数据集ETTh1、Weather、Traffic上选取不同的预测长度,并在模型大小和参数量相同的情况下进行实验,对比可视化效果如图8所示。由图8可以看出,与iTransformer相比,本文模型均取得了最低的计算量,进一步验证了本文模型的高效性。
图 8 本文模型与iTransformer计算量对比
Fig. 8 Comparison of the computational cost of the model in this paper with iTransformer
2.5 消融实验
为了更深入地对本文模块的有效性进行分析,在ETTh1、Weather、Landslide数据集上,对IE与FSAM进行消融实验。实验预测长度与回溯长度均设为96,默认设置为多变量预测单变量,结果见表4。
表 4 消融实验结果
Tab. 4 Results of ablation experiment
由表4可知,加入IE后,原有基于Transformer模型的效果均得到了提升。在ETTh1数据集上,相较于原Transformer模型,Ems、Ema分别下降了55.3%、37.1%。这得益于倒置输入编码块增强了模型处理复杂数据特征的能力,使得模型能捕捉到变量在整个时间范围内的动态变化,增强特征表示,从而提升了预测精度。进一步加入FSAM后,各个模型的效果均得到了进一步提升。在ETTh1数据集上,与加入倒置输入编码块之后的模型相比,Ems、Ema进一步下降了1.8%、2.4%,并且由于FSAM仅计算待预测目标特征与其他特征之间的注意力分数,使得模型的收敛速度显著提高,在提升模型效率的同时,也降低了计算成本,从而验证了模块在提升模型效能与效率方面的双重有效性及实用性。
3 结论
1)本文设计一种特征选择的高效时间序列预测模型Targetformer,采用Transformer仅编码器结构和倒置输入编码块与特征选择性注意力机制,提升了时间序列预测的准确性,降低了计算复杂度,增强了模型的整体性能。
2)提出特征选择性注意力机制,该机制仅关注目标特征的注意力分数,通过精细化的特征选择提升了预测精度。此机制的提出,不仅深化了对时间序列数据内在特性的理解,还揭示了时间序列数据中潜在的特征关联模式,为后续的模型优化与算法改进奠定了理论基础。
3)在5个基准数据集上的实验结果表明,Targetformer的Ems和Ema较最优模型分别降低13.8%和10.0%,验证了所提模型的有效性和实用性。
4)在滑坡灾害预测数据集上的实验结果表明,相较于最优模型,Targetformer的Ems和Ema分别降低39.2%和39.9%,此结果对于突发滑坡灾害的提前预警与长期规划具有重要的现实意义。
图 1 Targetformer模型结构
Fig. 1 Targetformer model structure
图 2 Transformer仅编码器结构
Fig. 2 Transformer encoder-only structure
图 3 Token构建方式对比
Fig. 3 Comparison of Token construction methods
图 4 特征选择性注意力机制
Fig. 4 Feature-selective attention mechanism
图 5 注意力得分可视化实例
Fig. 5 Attention score visualization example
图 6 ETTh1数据集预测可视化效果
Fig. 6 Visualization results of ETTh1 dataset prediction
图 7 Traffic数据集预测可视化效果
Fig. 7 Visualization results of Traffic dataset prediction
图 8 本文模型与iTransformer计算量对比
Fig. 8 Comparison of the computational cost of the model in this paper with iTransformer
表 1 本文模型与其他方法比较
Tab. 1 Comparison between the presented model and the mainstream algorithms
表 2 本文模型与基于Transformer模型比较
Tab. 2 Comparison of the model in this paper with other Transformer-based models
表 3 滑坡灾害预测数据集对比结果
Tab. 3 Comparison results of landslide prediction dataset
表 4 消融实验结果
Tab. 4 Results of ablation experiment
李兆玺, 刘红岩. 融合全局和序列特征的多变量时间序列预测方法[J]. 计算机学报, 2023, 46(1): 70
Li Zhaoxi, Liu Hongyan. Combining global and sequential patterns for multivariate time series forecasting[J]. Chinese Journal of Computers, 2023, 46(1): 70. DOI: 10. 11897/SP. J. 1016. 2023. 00070
薛自杰, 卢昱妃, 宁芊, 等. 基于时空特征融合的网络流量预测模型[J]. 哈尔滨工业大学学报, 2023, 55(5): 30
Xue Zijie, Lu Yufei, Ning Qian, et al. Network flow prediction based on spatial-temporal features fusion[J]. Journal of Harbin Institute of Technology, 2023, 55(5): 30. DOI: 10.11918/202203059
Rueda F D, Suárez J D. Short-term load forecasting using encoder-decoder wavenet: application to the french grid[J]. Energies, 2021, 14(9): 2524. DOI: 10.3390/en14092524
Luo Donghao, Wang Xue. ModernTCN: a modern pure convolution structure for general time series analysis[C]//Proceedings of the 12th International Conference on Learning Representations. Vienna: ICLR, 2024
Dey R, Salem F M. Gate-variants of gated recurrent unit (GRU) neural networks[C]//60th International Midwest Symposium on Circuits and Systems. Boston: IEEE, 2017: 1558. DOI: 10. 1109/MWSCAS. 2017. 8053243
Lai Guokun, Chang Weicheng, Yang Yiming, et al. Modeling long-and short-term temporal patterns with deep neural networks[C]//Proceedings of the 41st International ACM SIGIR Conference on Research and Development in Information Retrieval. Ann Arbor: ACM, 2018: 95. DOI: 10.1145/3209978.3210006
Salinas D, Flunkert V, Gasthaus J, et al. DeepAR: probabilistic forecasting with autoregressive recurrent networks[J]. International Journal of Forecasting, 2020, 36(3): 1181. DOI: 10.1016/j.ijforecast.2019.07.001
Oreshkin B N, Dudek G, Peka P, et al. N-BEATS neural network for mid-term electricity load forecasting[J]. Applied Energy, 2021, 293: 116918. DOI: 10.1016/j.apenergy.2021.116918
Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//31st International Conference on Neural Information Processing Systems. Long Beach: Neural Information Processing Systems Foundation, 2017: 6000
Zhou Haoyi, Zhang Shanghang, Peng Jieqi, et al. Informer: beyond efficient transformer for long sequence time-series forecasting[C]//Proceedings of the 35th AAAI Conference on Artificial Intelligence. Vancouver: AAAI, 2021: 11106. DOI: 10.1609/aaai.v35i12.17325
Kitaev N, Kaiser L, Levskaya A. Reformer: the efficient transformer[C]//8th International Conference on Learning Representations. Addis Ababa: ICLR, 2020
Wu Haixu, Xu Jiehui, Wang Jianmin, et al. Autoformer: decomposition transformers with auto-correlation for long-term series forecasting[C]//35th Conference on Neural Information Processing Systems. Vancouver: Neural Information Processing Systems Foundation, 2021: 22419
Zhou Tian, Ma Ziqing, Wen Qingsong, et al. FEDformer: frequency enhanced decomposed transformer for long-term series forecasting[C]//Proceedings of the 39th International Conference on Machine Learning, ICML 2022. Baltimore: ML Research Press, 2022: 27268
Zhang Yunhao, Yan Junchi. Crossformer: transformer utilizing cross-dimension dependency for multivariate time series forecasting[C]//Proceedings of 11th International Conference on Learning Representations, ICLR 2023. Kigali: ICLR, 2023
Nie Yuqi, Nguyen N H, Sinthong P, et al. A time series is worth 64 words: long-term forecasting with transformers[C]//Proceedings of 11th International Conference on Learning Representations, ICLR 2023. Kigali: ICLR, 2023
Liu Yong, Hu Tengge, Zhang Haoran, et al. ITransformer: inverted transformers are effective for time series forecasting[C]//Proceedings of the 12th International Conference on Learning Representations. Vienna: ICLR, 2024
Ashok A, Marcotte É, Zantedeschi V, et al. TACTiS-2: better, faster, simpler attentional copulas for multivariate time series[C]//Proceedings of the 12th International Conference on Learning Representations. Vienna: ICLR, 2024
Rasul K, Bennett A, Vicente P, et al. VQ-TR: vector quantized attention for time series forecasting[C]//Proceedings of the 12th International Conference on Learning Representations. Vienna: ICLR, 2024
Dai Tao, Wu Beiliang, Liu Peiyuan, et al. Periodicity decoupling framework for long-term series forecasting[C]//Proceedings of the 12th International Conference on Learning Representations. Vienna: ICLR, 2024
Chen Peng, Zhang Yingying, Cheng Yunyao, et al. Pathformer: multi-scale transformers with adaptive pathways for time series forecasting[C]//Proceedings of the 12th International Conference on Learning Representations. Vienna: ICLR, 2024
Li Shiyang, Jin Xiaoyong, Yao Xuan, et al. Enhancing the locality and breaking the memory bottleneck of transformer on time series forecasting[C]//Proceedings of the 33rd International Conference on Neural Information Processing Systems. New York: Curran Associates, 2019: 5243