大语言模型驱动的锂离子电池SOH预测方法
doi: 10.11918/202507044
郭玉龙 1, 2 , 樊星 1, 2 , 石玲霞 1, 2 , 王佳龙 1, 2 , 程吉东 1, 2 , 雷旭 1, 2
1. 长安大学 机器人与具身智能学院,710018 西安
2. 西安市新能源汽车智能高效充放电与安全充电系统集成共性技术研发平台,710048 西安
基金项目: 国家自然科学基金(52232015);西安市共性技术研发平台集群攻关项目(24GXPT0002);陕西省秦创原“科学家+工程师”队伍建设项目(2023KXJ-297)
SOH prediction method of lithium-ion batteries driven by large language models
Guo Yulong 1, 2 , Fan Xing 1, 2 , Shi Lingxia 1, 2 , Wang Jialong 1, 2 , Cheng Jidong 1, 2 , Lei Xu 1, 2
1. School of Robotics and Embodied Intelligence, Chang’an University, Xi’an 710018, China
2. Xi’an Research and Development Platform for Integrating Smart, Efficient, and Secure Charging and Discharging Systems for New Energy Vehicles, Xi’an 710048, China
摘要
为解决现有锂离子电池健康状态(SOH)预测方法在缺乏大量标注数据时精度不足、泛化能力差且依赖复杂人工特征工程的难题,提出一种改进大语言模型(LLM)对锂离子电池SOH预测的新方法——时序大语言模型(T-LLM)。首先,通过专门设计文本化策略,将数值型的电池健康指标数据转换为LLM能够理解的语言序列。此策略保留了数值的内在结构与相对关系,使LLM能够利用其强大的自回归结构和上下文理解能力捕捉电池的复杂衰减动态。其次,在NASA及牛津大学电池数据集上的实验验证表明,T-LLM展现出卓越的性能与泛化能力。在NASA数据集上,该方法的R2稳定在96%以上,显著优于ARIMA、CNN-LSTM等模型。最后,仅需30%的训练数据便可达到超过94%的预测精度,有效克服了传统方法对大规模标注数据的依赖。该方法还成功实现了对牛津数据集的零样本跨数据集预测,在未经微调的情况下R2依然达到88%以上,解决了传统模型泛化能力差的难题。研究结果表明,T-LLM方法不仅预测精度高,并且能够快速适配不同电池类型,为实现数据高效且泛化能力强的电池SOH精准预测提供了一种全新的解决方案。
Abstract
To address the problems of insufficient accuracy, poor generalization ability, and reliance on complex manual feature engineering in existing state-of-health (SOH) prediction methods of lithium-ion batteries when lacking massive labeled data, this paper proposed a new method for predicting SOH of lithium-ion batteries based on improved large language model (LLM), named T-LLM. First, this paper specifically designed a textualization strategy to convert numerical battery health indicator data into language sequences understandable by LLM. This strategy retained the internal structure and relative relationships of numerical values, enabling the LLM to utilize its powerful autoregressive structure and context understanding ability to capture the complex degradation dynamics of batteries. Second, experimental verification on the NASA and University of Oxford battery datasets demonstrates that T-LLM exhibits excellent performance and generalization ability. On the NASA dataset, the R2 of this method stabilizes above 96%, significantly outperforming models such as ARIMA and CNN-LSTM. Finally, it achieves a prediction accuracy of over 94% with only 30% of the training data, effectively overcoming the dependence of traditional methods on large-scale labeled data. This method also successfully realizes zero-shot cross-dataset prediction on the Oxford dataset; the R2 reaches over 88% without fine-tuning, solving the problem of the poor generalization ability of traditional models. The research results demonstrate that the T-LLM method not only has high prediction accuracy but also quickly adapts to different battery types, providing a novel solution for achieving precise SOH prediction of batteries with high data efficiency and strong generalization ability.
近年来,交通领域因化石燃料过度消耗引发的问题日益突出,推动燃油车向新能源车转型已迫在眉睫。作为新能源车的核心组件,电池的性能与寿命直接关系到车辆的可靠性和安全性[1]。在电池管理中,健康状态(state of health, SOH)是衡量电池当前性能相对于全新状态老化程度的关键指标。当电池SOH低于阈值时,可能引发一系列问题,严重时甚至导致车辆自燃或爆炸[2]。因此,准确识别锂电池性能衰退并预测SOH,是电池技术研究的重点[3]。然而,由于数据稀缺、电池老化机制复杂,以及现有预测方法泛化能力不足等因素,锂电池SOH的精确预测仍面临诸多挑战[4]。目前,SOH预测方法主要分为基于模型的方法和数据驱动方法两类[5]。
模型驱动方法通过构建电池内部物理化学过程的数学模型,揭示电化学反应与性能衰减的动态关系,从而实现SOH准确预测[6]。等效电路模型(equivalent circuit model, ECM)、电化学阻抗谱(electrochemical impedance spectroscopy, EIS),以及电化学模型是其中的典型代表[7]。Bian等[8]将厄米特粒子滤波与高斯过程相结合,提出了高斯-厄米特粒子滤波(Gauss-Hermite particle filter, GHRF)算法。于思琦等[9]通过变分自编码器对 EIS 进行数据增强,结合主成分分析预测电池SOH。高仁璟等[10]结合遗传算法辨识参数,建立基于化学计量比的正极容量计算法则,并引入老化修正以提升估算精度。但模型驱动方法存在明显不足,其依赖于复杂的建模过程,且参数优化需要消耗大量计算资源。这导致模型开发周期长、适应性差[11]。
数据驱动方法通过训练历史数据,自动学习和识别电池性能变化趋势,实现SOH精准预测[12]。近年来,随着人工智能技术的迅猛发展,机器学习和深度学习已广泛应用于该领域[13]。符达萌[14]提出了一种基于改进高斯过程回归和Elastic Net回归模型融合的预测框架来估算SOH。Zhou等[15]提出了一种利用因果卷积和膨胀卷积技术优化时间卷积网络的方法。虽然这类方法无需深入解析电池退化机理,但电池数据需经长期循环测试积累,获取成本高,且不同工况下的数据异质性显著,导致模型训练高度依赖大规模标注数据集[16]。
传统方法不仅需要大量历史充放电数据进行参数校准,对不同生命阶段或工况下的电池也难以直接适配,预测精度较低;此外,它们通常依赖复杂的人工特征工程,需从原始数据中反复提取表征电池老化的特征,过程耗时耗力,且提取的特征可能缺乏普适性[17]。近期研究表明,大语言模型(large language model, LLM)作为一种强大的序列处理器,为解决上述问题提供了新思路。然而,锂电池 SOH 衰减序列具有高度非线性、伴随容量再生的局部波动,以及衰减模式突变等复杂特性,现有基于LLM的方法多采用为自然语言设计的标记化策略,会将数值拆分为破坏其内在结构的无意义片段,导致模型无法理解数值的相对大小关系,严重影响预测精度,且不能充分考虑电池数据的独特物理属性[18]。针对上述问题,本文提出一种创新方法:时序大语言模型(time-series large language model,T-LLM)。T-LLM关键创新在于设计了一种“语义字符分解法”的“数据语言化”方案。该方法通过将每个数字和符号都视为独立的语义单元,完整地保留了数值的结构和含义。这种精细化的文本表示,使LLM能够以字符级的精度感知电池数据的微小变化,从而无需复杂的特征工程即可自主学习关键的衰减模式,这正是T-LLM能够取得卓越性能的根本原因。
1 实验方法
1.1 锂离子电池数据的时序特性
锂离子电池SOH受多种因素影响,包括温度、电流、放电深度等。这些变量并非单独作用,而是通过相互耦合形成复杂作用机制,共同影响电池的化学反应与老化进程[19]。在高温环境下,较大的充、放电电流可能加速副反应,导致固体电解质界面膜(solid electrolyte interphase, SEI)增长,引发不可逆的容量衰减。在低温环境下,较大的充、放电电流会降低锂离子的嵌入效率,导致锂金属在负极表面形成锂沉积,引发容量衰减并增加内部短路的风险[20]。深度放电时,虽然每个循环释放的能量更多,但会出现电极材料膨胀、颗粒破裂等现象,使得循环寿命缩短。而浅循环虽然减少了材料应力,但会增加循环次数,长期浅循环可能引发副反应积累[21]。并且,电池 SOH 虽然随着使用时间逐步衰退,但由于工作条件不同,其衰退模式可能表现出复杂的动态特性。
在电池使用过程中,容量逐渐下降,且这一变化呈现出复杂的非线性波动。放电初期,容量衰减速度相对较慢,主要受SEI 膜形成的影响。随着使用时长的增加,当电池到达放电中后期,由于极化效应增强、电极材料损伤等因素,衰减速度加快,甚至可能出现突变现象,如图1所示[22]。
图 1 电池容量不同阶段衰减图
Fig. 1 Battery capacity degradation diagram at different stages
同时,电池数据具有长期依赖性,即当前的容量状态不仅受近几个循环的影响,还与电池的历史使用情况密切相关[23]。由此可见,锂离子电池数据本质上是随时间非线性衰减且存在局部波动的时间序列数据,具有多变量耦合、非平稳变化,以及长期依赖特性[24]。
1.2 大语言模型的时序处理能力
LLM 是一类基于深度学习的自然语言处理模型。它通常采用自回归或自编码结构,通过大规模预训练来学习复杂的数据分布。基于Transformer架构的LLM,本质上是一种序列处理器(图2)。其自注意力机制允许模型在处理序列数据时,直接计算序列中任意两个位置之间的依赖关系,从而实现对序列数据的全局依赖建模。这一特性使其不再局限于自然语言理解领域,还能有效预测长程时间序列变化[25]。
图 2 Transformer结构
Fig. 2 Transformer structure
LLM可通过将时间序列数据 “语言化”,把原始时间序列编码为token序列,进而进行未来状态的预测。同时,LLM能够对长序列进行整体建模和并行预测,避免逐步预测中误差积累带来的精度下降[26]。借助上下文理解能力,LLM能捕捉序列中的长期趋势与潜在模式,使其在处理复杂演化过程中的长期预测任务时,表现更加稳定且准确[27]。Liu等[28]通过引入LLM与时间序列之间的跨模态对齐机制(cross-modality alignment, CMA)提出了TimeCMA,该模型在天气、电力和电力变压器温度等时间数据集中的预测误差相较于传统模型降低20%以上。Liu等[29]采用对测试阶段LLM进行实时微调的测试阶段实时微调框架(test-time-training, TEST),实验结果表明,该模型在交通、电力,以及汇率数据集上的性能指标较传统模型提升幅度超过10%。
电池SOH衰减是一个长期过程,当前状态受历史情况影响。相较于传统数据驱动方法,LLM的全局注意力机制能够突破传统深度学习网络的限制。传统网络因梯度消失问题,难以建立数百次循环的因果关联。而LLM能有效捕捉这种跨度达数百次循环的衰减相关性。如图3所示,T-LLM能够自适应地学习不同尺度的时间相关性。例如,浅层注意力头(图3(a))更关注相邻循环之间的局部波动(如容量回升现象),而深层注意力头(图3(b))则能跨越数十个循环,捕捉长期的整体衰减趋势。这种分层、动态的依赖关系建模能力,正是T-LLM能够精准预测复杂非线性衰退过程的核心机制,也是传统RNN或LSTM模型难以实现的[30]。
SOH衰减是温度、电流、放电深度等多种因素共同作用的高度耦合非线性过程。LLM的Transformer编码层中,每个时间步的嵌入向量能同时参与所有变量的注意力权重计算。这使得模型能自主识别关键耦合模式,性能远超传统模型。结合位置编码与层归一化机制,LLM能自适应建模非平稳序列,有效应对数据突变和非线性衰减[31]。在缺乏大量标注数据的情况下,LLM通过其大规模预训练获得的知识迁移能力,可以实现快速适配和精确预测[32]。
然而,LLM在电池SOH预测任务中存在一定的局限性。当前缺乏电池数据“语言化”的处理方法,现有方法大多基于自然语言任务的迁移,尚未充分考虑电池时间序列的物理属性和动态特征,这可能导致输入信息在转换过程中产生冗余或结构性损失,进而影响预测性能[33]。因此,本文旨在通过合理的时间序列处理方法,利用LLM预测复杂的电池时间序列数据。
图 3 电池数据分析
Fig. 3 Analysis of battery data
2 电池健康状态预测方法
本文提出的T-LLM框架,旨在解决现有SOH预测方法在数据稀缺和泛化能力不足方面的核心挑战。其根本思想是,通过一种专门设计的“数据语言化”方案,将数值型的电池健康指标序列转化为LLM能够理解和处理的文本序列,从而利用LLM强大的序列建模能力来捕捉电池复杂的衰减动态。
2.1 算法框架
T-LLM的算法框架旨在将电池时序数据转换为LLM能够处理的文本格式,其核心在于一套创新的文本化策略,用以保留数值的内在结构与相对关系。
为了使电池数据能够被LLM处理,首先需要将其转换为文本格式,以确保模型能够有效处理输入数据。尽管电池数据和文本数据均具有顺序性,但二者的排列方式和含义不同:电池数据是按时间顺序排列,而文本数据是按句子顺序排列[34]。二者的序列具有相同形式:
Xi={(x1,⋯,xi,⋯,xn)}
(1)
式中:Xi为一个完整的时间序列,xi为序列中的第i个数据。
但是xi在两者中具有不同的含义,在电池数据中,xi为某一周期ti的电池数据qi,而在文本中,xi为单词或字符。因此,需要将电池数据编码为文本。
为确保时序数据的顺序性,算法以电池的循环周期次数n作索引,将每个周期D={(1,q1),(2,q2),···,(n,qn)}下的电池数据qi进行序列化[35],即
D={(1,q1),(2,q2),⋯,(n,qn)}
(2)
式中:D为序列化的电池数据集,n为周期索引。
随后,将每个电池数据qi四舍五入到预设的精度p,公式为
qi′= round (qi,p)
(3)
式中:q′i为格式化后的电池数据,round(qi,p)为将qi四舍五入到p位小数。
并将式(3)转换为字符串:
si=str(qi′)
(4)
式中:si为q′i转换后的字符串表示,str(·)为字符串转换函数。
再将每个电池数据进行标记化。选择合适的标记化策略,对于不同文本类型和任务至关重要,有助于提升模型性能[36]。然而,为自然语言设计的标准标记化方法在处理数值时存在严重缺陷,如字节对编码(byte pair encoding, BPE),BPE将“1.854”拆成 “1.”“85”“4” 这类无数值意义的片段。这种拆分首先会破坏数值结构和量级关系,“85”被当作独立语义单元,导致模型既无法理解其代表“0.05”的物理量级,也搞不清它与“1.”“4”的十进制位置关系;与此同时,该方法还存在表示不一致的问题,类似值“1.852”可能拆成“1.”“85”“2”,模型仅通过比较“4”和“2”无法有效感知两者间“0.002”的微小物理差异,这种无结构的表示直接导致LLM无法捕捉电池衰减的连续性和精确量变[37]。
为最大程度保留数值信息的完整性,本文提出并采用了语义字符分解法。该方法的核心思想是将每个数字和符号都视为一个独立的、不可再分的语义单元,并通过空格将它们显式分开。例如数值“1.854”被转换为字符串“1. 8 5 4”。该方法完整保留字符结构,小数点“.”作为稳定锚点,使电池数据从浮点数变为有稳定语法结构的“单词”,1.854到1.853的衰减在文本中仅体现为末位“4”变“3”,与容量渐变的物理过程直接对应;在“1. 8 5 4”中,数字位置固定,经大量学习后,LLM的自注意力机制能隐式掌握各位置权重,知晓小数点后第2个字符的变化比第5个更具物理重要性,从而区分衰减程度,理解不同阶段特性;对于电池老化中的微小动态,只需预测末尾字符的变化,LLM就可以有效捕捉这种细微物理变化。这使得模型能够从文本的字符级模式中,有效学习并预测电池衰减这一复杂物理过程的内在规律。因此,T-LLM能够取得高精度和强泛化能力。
字符语义分隔每个数字的标记化方法为
si=si1⊕si2⊕⋯⊕sim
(5)
式中:sij为数值qi被拆分后的第j个字符, ⊕ 为字符串拼接操作。
本文以1.765为例(假设精度p=3)。首先,将其转换为字符串"1.765"。然后,使其标记化为si=“1” ⊕ “” ⊕ “.” ⊕ “” ⊕ “7” ⊕ “” ⊕ “6” ⊕ “” ⊕ “5”,即 “1. 7 6 5”。本方法是将每个数字和符号(如小数点)视为一个独立的语义单元(token),并通过空格将它们显式分开。
为公平对比不同标记化策略的效果,除标记化方法外,T-LLM的所有其他部分(包括模型架构、超参数、训练数据等)均保持完全一致。实验结果表明,字符语义标记法提升了模型的预测效果,如图4所示。
图 4 不同标记化效果对比
Fig. 4 Comparison of different tokenization effects
为了确保时间顺序信息,在每个时间步之间添加特殊分隔符St,形成最终的字符串:
T=s1⊕St⊕s2⊕St⊕⋯⊕sn
(6)
式中T为最终输入LLM的完整文本序列。
将历史数据和目标数据按时间顺序拼接,形成完整的字符串输入给模型。在转换后的文本数据中,模型的目标是根据前k个周期数据预测下一个周期的SOH值,即
P(sn+1∣s1,s2,⋯,sn)
(7)
具体而言,对于序列T,模型学习一个条件概率分布为
P(T)=P(s1)P(s2∣s1)P(s3∣s1,s2)⋯P(sn∣s1,s2,⋯,sn−1)
(8)
并在预测时选择具有最高概率的下一个标记为
s^n+1=argmaxP(s∣s1,⋯,sn)
(9)
式中,argmax为寻找使条件概率P(s∣s1,⋯,sn)最大的标记s。
式(7)~(9)所描述的自回归模式与传统线性模型有本质区别,其核心优势恰恰在于精确捕捉由工况变化引起的衰减轨迹动态改变。传统模型在面对工况突变时往往会失效,因为它们仅学习了单一的衰减趋势。相比之下,T-LLM将整个历史序列作为上下文进行理解。当电池的运行工况发生变化,其衰减模式的细微特征也会在输入的数据序列中体现出来。LLM强大的自注意力机制能够敏锐地识别出这种序列模式的转变,并将其作为调整未来预测的关键依据。因此,模型的预测并非简单的趋势外推,而是基于对包含了工况变化的完整历史序列的深刻理解。
最终,模型的预测输出仍然是一个文本序列T^,需要通过逆转换恢复成数值形式,即
q^n+1=float(s^n+1)×(qmax−qmin)+qmin
(10)
式中:q^n+1为预测的SOH值,float(·)为将字符串转换为浮点数的函数,qmax、qmin分别为SOH值在预处理时进行归一化的最大值和最小值。
图5完美呈现了电池时序数据向结构化文本的转换全流程,使得LLM能够处理电池SOH预测任务。
图 5 时间序列数据预测
Fig. 5 Prediction of time series data
需要注意的是,T-LLM框架的设计具有高度的通用性,其输入qi并非理想情况下的数值。在面对“数据不全、工况不规范”的真实场景时,qi可以是从碎片化数据中提取的任何有效健康特征。例如,大量研究表明,电池老化的关键信息会物化为增量容量(incremental capacity, IC)曲线上特定峰的位置、高度等变化[38]。这些特征峰通常出现在较窄的电压区间内,因此本文仅需捕获一段部分充电数据即可提取。同样,在特定的充电电流下,电池电压从V1升至V2所需的时间是SOH的强相关指标,因此仅需截取一小段充电数据即可摆脱对完整周期的依赖[39]。T-LLM能够将这些从数据片段中提取的健康特征直接序列化并进行处理,这为其在真实工况下的应用提供了坚实的方法论基础。
2.2 LLM超参数优化
模型的性能高度依赖于超参数的选择。为了避免人工试错带来的偶然性,并确保模型达到其最优性能,本文采用系统性的贝叶斯优化方法进行超参数自动调优。该方法相比于网格搜索或随机搜索,能更高效地在超参数空间中找到最优解,从而保证了实验结果的可靠性与可复现性。
贝叶斯优化通过构建一个代理模型来表示超参数与模型性能之间的关系,并利用采集函数来智能地选择下一个最有希望的评估点,从而在探索未知区域和利用已知最优区域之间取得平衡。
具体步骤如下:首先,将电池数据集{(x1,y1),···,(xn,yn)}分割成训练集{(xtrain,ytrain)=(x1,y1),···,(xj,yj)}、验证集{(xval,yval)=(xj+1,yj+1),···,(xi,yi)},以及测试集{(xtest,ytest)=(xi+1,yi+1),···,(xn,yn)}。在超参数调优中,仅使用训练集和验证集,以避免模型在测试集上出现过拟合或低估泛化性能的风险。
然后定义超参数空间,确定需要优化的关键超参数及其取值范围,选用高斯过程(Gaussian process, GP)作为代理模型,GP能够提供对目标函数在未观测点上的预测均值和不确定性。选用置信区间上界(upper confidence bound, UCB)算法作为采集函数,利用代理模型的预测均值和不确定性来决定下一个评估点。
重复以下过程进行迭代优化:使用采集函数在超参数空间中找到下一个最佳评估点xnext。使用xnext这组超参数来配置T-LLM,在训练集上训练,并在验证集上评估性能ynext。将新的数据点(xnext, ynext)加入观测数据中,并更新GP。
当达到预设的迭代次数或性能不再显著提升时,优化过程停止。最后将预测效果最优的超参数组用于预测SOH值,图6展示了这一过程。
图 6 调参过程
Fig. 6 Parameter tuning process
2.3 面向真实工况的框架扩展性
本文虽然基于理想工况数据,但T-LLM框架在设计上具备处理真实、复杂工况的扩展能力。面对实验室数据与真实应用数据在形态和分布上的根本差异,可以借助数据处理技术来搭建从“理想”到“现实”的桥梁。
为应对真实应用中充电数据不完整的问题,可在T-LLM的预处理阶段集成一个数据生成模块。例如,利用生成对抗网络(generative adversarial networks, GAN)等方法,能够基于不连续、短时的充电片段,高精度地重构出虚拟的完整充电曲线,以生成与现有模型兼容的输入数据[40]。
为解决数据分布不一致的难题,T-LLM适配迁移学习策略。可先在大规模的理想工况数据集上进行充分的预训练,以学习SOH衰退的普适性规律。然后,在面对实际车辆的少量、非规范数据时,仅需通过微调策略对预训练模型进行参数优化,即可让模型快速适应目标车辆的特定工况和电池特性[41]。
3 实验分析
本实验旨在全面评估T-LLM方法在锂离子电池SOH预测任务中的性能,并与多种主流时间序列预测模型进行对比。
3.1 数据集
为全面验证所提方法的性能与泛化能力,本实验选用了两个特性和来源均不相同的数据集。它们分别是NASA电池数据集(B0005、B0006、B0007 电池)和牛津大学电池数据集(Cell1、Cell3 电池)。其中,NASA电池数据集在恒温(24 ℃)和标准循环工况下采集,数据平稳且干扰少,是验证模型在理想条件下基础性能和预测精度的标准数据集。而牛津大学电池数据集(额定容量740 mAh,40 ℃下含动态工况)不仅容量和测试温度与NASA电池数据集不同,其测试流程还包含动态驾驶循环,工况更接近真实应用,因此被用作关键的泛化能力测试。通过在理想的NASA电池数据集完成训练和验证后,对T-LLM在牛津大学电池数据集进行零样本跨数据集预测,能够更显著地表明该模型学习到SOH衰退的普适性规律,从而检验其泛化能力和鲁棒性。各数据集的详细信息见图7及表1、2。
图 7 电池容量衰减曲线
Fig. 7 Battery capacity degradation curves
表 1 NASA电池数据集相关信息
Tab. 1 Battery-related information from NASA battery dataset
表 2 牛津大学电池数据集相关信息
Tab. 2 Battery-related information from the Oxford university battery dataset
本文采用容量作为衡量电池SOH的核心指标,其定义为当前容量与初始额定容量的比值[42]为
SOHc=QnQc×100%
(11)
式中:Qc为电池在初始状态下的额定容量,Qn为电池在当前时刻下的实际容量。
3.2 评价指标
为量化评估模型的预测性能,本文选用了平均绝对误差(mean absolute error, MAE)、均方误差(mean square error, MSE),以及决定系数R2(R-square)这3种评估指标,其具体计算公式如下:
AME=1n∑i=1n|yi−y^i|
(12)
SME=1n∑i=1n(yi−y^i)2
(13)
R2=1−∑i=1n(yi−y^i)2∑i=1n(yi−y¯)2
(14)
式中:AME为平均绝对误差,SME为均方误差,n为数据集内样本点的总数量,yi为第i个样本的真实观测值,y^i为第i个对应样本的预测值,y¯为真实观测值的算术平均值。
3.3 大语言模型选型
本文选用GPT-4作为T-LLM方法的核心模型,通过OpenAI API调用完成实验。GPT-4是基于Transformer架构的LLM,其将自回归结构与自注意力机制相结合,并且自回归结构允许模型通过历史观测值来生成当前时刻的预测值。模型的输出不仅依赖于最近的观测值,还能综合考虑更远的时间点。
自注意力机制使得模型在处理输入数据时,动态地评估序列中各个时间点之间的相关性,自动识别出对预测最为重要的时间点,图8展示了GPT-4预测的基本流程。
图 8 GPT-4预测流程
Fig. 8 Prediction process of GPT-4
GPT-4具备多模态处理能力,包含文本编码器和视觉编码器,两者通过交叉注意力机制进行融合,实现对多模态任务的高效处理。
CrossAttention(Qv,Kt,Vt)=softmax(QvKtTdk)Vt
(15)
式中:Qv为来自视觉编码器的查询,Kt、Vt分别为来自文本编码器的键和值,dk为键的维度。
3.4 参数设置
为验证T-LLM的性能,本实验选取了3种模型(ARIMA、CNN-LSTM和PI-LSTM)作为对比。ARIMA是统计学中经典的线性时序模型基准;CNN-LSTM是深度学习领域处理时序问题的代表性混合模型;而PI-LSTM则代表了融合物理知识的数据驱动方法。虽然当前涌现了许多优秀的基于Transformer架构的时间序列模型,但本文未将它们选作对比模型,主要原因是本文研究的重点在于验证LLM作为零样本预测器在特定文本化策略下的有效性,而非对所有SOTA(state-of-the-art)时序模型进行性能竞赛。因此,与这几类经典方法的对比更能凸显T-LLM的独特优势。各模型参数设置如下:T-LLM采用贝叶斯优化方法进行超参数调优。ARIMA参数通过赤池信息量准则(akaike information criterion,AIC)自动选择。CNN-LSTM卷积层包含64个大小为3的卷积核(ReLU激活),池化窗口大小为2。LSTM层包含60个神经元,Dropout率为0.2。模型时间步长为30,批量大小为24,训练200轮。PI-LSTM时间步长同样设置为30,LSTM层包含80个神经元,Dropout率为0.2,批量大小为24,训练200轮。
3.5 实验结果
各模型在NASA电池数据集(B0005、B0006、B0007电池)上的SOH预测结果如图9所示。图9中,黑色曲线为真实SOH值,红色曲线为T-LLM的预测值,其余颜色为对比模型的预测值。T-LLM在捕捉复杂动态方面表现显著。从图9局部放大图可以看出,在电池容量“容量回升”的非线性区域,传统模型(ARIMA、CNN-LSTM)的预测曲线因滞后和平滑效应而无法拟合突变;相比之下,T-LLM凭借自注意力机制和强大建模能力,成功拟合该动态。这一结果证明,T-LLM的有效性不仅源于数据拟合,更在于其能够理解并表达电池不同老化阶段的复杂内在衰减模式。
各模型在NASA电池3个数据集(B0005、B0006、B0007电池)上的详细性能指标见表3、4(表中:AME为平均绝对误差,SME为均方误差。),并如图10所示进行可视化对比。
图 9 不同模型对数据的预测结果
Fig. 9 Prediction results of different models on data
表 3 预测结果
Tab. 3 Prediction results
表 4 预测结果分析
Tab. 4 Analysis of prediction results
图 10 NASA电池数据集(B0005、B0006、B0007电池)的MAE、MSE和R2
Fig. 10 MAE, MSE and R2 of NASA battery datasets(B0005,B0006, and B0007 batteries)
综合上述图表,进一步证实了上述观察。T-LLM的平均R2达到了96.8%,平均MAE和平均MSE分别为0.675×10-2和0.008×10-2,T-LLM在所有指标上均显著优于对比模型,体现了其在预测任务中的高精度与强鲁棒性。这证明T-LLM强大的序列建模能力能够有效克服传统方法在处理长程依赖和非线性动态上的局限性[43]。
ARIMA作为线性模型,因无法处理非线性的电池衰退数据[44],表现最差(R2仅33.4%)。相比之下,结合了CNN局部特征提取能力和LSTM的时序建模能力的CNN-LSTM将R2提升至81.6%,但其长期预测能力不如Transformer架构[45]。PI-LSTM性能较好但不及T-LLM(R2达89.9%),可能是由于LSTM本身的局限性以及所用物理信息的准确度[46]。
为探究T-LLM方法对训练数据量的依赖程度并验证其学习效率,本文选取NASA电池数据集中B0005电池数据作为样本,分别使用其前30%、40%、50%、60%的循环数据作为训练集,来预测其后续的SOH状态。实验结果如图11所示,各起始点对应的性能指标见表5。
图 11 不同起始点的预测结果
Fig. 11 Prediction results of different starting points
表 5 不同起始点对应的MAE和MSE
Tab. 5 MAE and MSE corresponding to different starting points
注:AME为平均绝对误差,SME为均方误差。
从图11和表5可以看出,即使训练集仅包含少量数据,T-LLM预测曲线仍然与真实曲线高度吻合,并且预测效果显著优于ARIMA、CNN-LSTM,以及PI-LSTM等对比模型。
为直观地展示T-LLM的效率,本文将不同训练数据量下的R2绘制成学习曲线,如图12所示。T-LLM预测精度虽然随着训练数据量的增加而提升,但从30%~70%仅增加2%,并且训练数据仅为30%时,其R2便已超过94%,展现出极高的数据利用效率。结果表明,得益于大规模预训练所获得的通用序列建模能力,T-LLM能够从相对有限的数据中快速捕捉到SOH的核心衰减模式,其对特定任务训练数据的依赖性低于传统的深度学习模型。
为充分检验T-LLM在全新、未知数据环境下的实际有效性,本实验进行跨数据集泛化能力验证。依托NASA电池数据集(理想实验室恒定工况)完成T-LLM及所有对比模型的训练,且不经过任何微调(零样本预测),直接对牛津大学电池数据集(真实的复杂工况)的Cell1、Cell3电池进行SOH预测。这引入了传统模型难以处理的、不规则的负载变化。预测结果见图13、表6。
图 12 不同起始点的R2
Fig. 12 R2 of different starting points
图 13 不同模型对数据的预测结果
Fig. 13 Prediction results of different models on data
表 6 预测结果
Tab. 6 Prediction results
注:AME为平均绝对误差,SME为均方误差。
实验结果表明,对比模型在面对全新的数据集时预测精度严重下降,其预测曲线与SOH曲线相差很大,而R2均低于70%,部分甚至为负值,证明其学习到的特征与特定工况高度绑定,无法应对工况的变化。相比之下,T-LLM即便在零样本条件下,依然能够大致捕捉新电池的衰减趋势,在Cell1、Cell3电池上的R2均达到了88%以上,显著优于所有对比模型。
这一结果充分证明了T-LLM框架具备优异的泛化能力。T-LLM学习到的并非是NASA电池数据集在特定工况下的那条容量衰减曲线,而是电池衰退背后更具普适性的序列演化模式。正因如此,模型才能将在一种工况下(24 ℃,标准循环)学到的知识,成功迁移到另一种完全不同的工况下(40 ℃,动态驾驶循环)。这充分证实了本框架在应对多变工况方面的强大潜力。
4 结论
1)本文提出了一种新方法——T-LLM,该方法将电池SOH的数值数据转化为语言序列。这一过程使LLM能够有效处理时序数据,从而实现更优异的预测精度。在NASA电池数据集上,T-LLM 的R2超过 96%,显著优于ARIMA、CNN-LSTM,并能准确捕捉容量恢复等复杂的非线性动态过程。
2)T-LLM框架通过利用大型语言模型预训练阶段积累的海量通用知识,展现出显著的数据效率优势。实验结果表明,该模型仅需使用30%的可用训练数据,即可实现超过94%的预测精度。这一特性大幅降低了模型对大规模标注数据集的依赖,而此类数据集的获取通常成本高昂且耗时较长,从而凸显了T-LLM在数据资源受限的实际工程场景中的可行性。
3)T-LLM方法的一个关键特性是其强大的泛化能力,这一特点已通过零样本跨数据集验证得到证实。该模型仅在NASA电池数据集上完成训练后,无需任何微调即可对完全不同的牛津大学电池数据集进行SOH预测,且R2超过 88%。这种在不同电池类型和运行条件下的成功迁移表明,该模型学习到的是电池老化的通用规律,而非单一数据集特有的特征,这印证了其稳健性和适应性。
图 1 电池容量不同阶段衰减图
Fig. 1 Battery capacity degradation diagram at different stages
图 2 Transformer结构
Fig. 2 Transformer structure
图 3 电池数据分析
Fig. 3 Analysis of battery data
图 4 不同标记化效果对比
Fig. 4 Comparison of different tokenization effects
图 5 时间序列数据预测
Fig. 5 Prediction of time series data
图 6 调参过程
Fig. 6 Parameter tuning process
图 7 电池容量衰减曲线
Fig. 7 Battery capacity degradation curves
图 8 GPT-4预测流程
Fig. 8 Prediction process of GPT-4
图 9 不同模型对数据的预测结果
Fig. 9 Prediction results of different models on data
图 10 NASA电池数据集(B0005、B0006、B0007电池)的MAE、MSE和R2
Fig. 10 MAE, MSE and R2 of NASA battery datasets(B0005,B0006, and B0007 batteries)
图 11 不同起始点的预测结果
Fig. 11 Prediction results of different starting points
图 12 不同起始点的R2
Fig. 12 R2 of different starting points
图 13 不同模型对数据的预测结果
Fig. 13 Prediction results of different models on data
表 1 NASA电池数据集相关信息
Tab. 1 Battery-related information from NASA battery dataset
表 2 牛津大学电池数据集相关信息
Tab. 2 Battery-related information from the Oxford university battery dataset
表 3 预测结果
Tab. 3 Prediction results
表 4 预测结果分析
Tab. 4 Analysis of prediction results
表 5 不同起始点对应的MAE和MSE
Tab. 5 MAE and MSE corresponding to different starting points
表 6 预测结果
Tab. 6 Prediction results
贺宁, 张思媛, 李若夏, 等. 粒子滤波和GRU神经网络融合的锂电池RUL预测[J]. 哈尔滨工业大学学报, 2024, 56(5): 142
He Ning, Zhang Siyuan, Li Ruoxia, et al. RUL prediction of lithium battery based on particle filter and GRU neural network fusion[J]. Journal of Harbin Institute of Technology, 2024, 56(5): 142. DOI: 10.11918/202211032
Lei Xu, Xie Fangjian, Wang Jialong, et al. A review of lithium-ion battery state of health and remaining useful life estimation methods based on bibliometric analysis[J]. Journal of Traffic and Transportation Engineering (English Edition), 2024, 11(6): 1420. DOI: 10.1016/j.jtte.2024.09.004
金建新, 虞儒新, 刘刚, 等. 锂离子电池健康状态估算方法研究进展[J]. 电气工程学报, 2024, 19(1): 33
Jin Jianxin, Yu Ruxin, Liu Gang, et al. Research progress on state-of-health estimating method for lithium-ion batteries[J]. Journal of Electrical Engineering, 2024, 19(1): 33. DOI: 10.11985/2024.01.004
金帅, 董静. 基于数据驱动的锂离子电池健康状态估计研究进展综述[J]. 仪器仪表学报, 2024, 45(3): 45
Jin Shuai, Dong Jing. Review on progress of data-driven based health state estimation for lithium-ion batteries[J]. Chinese Journal of Scientific Instrument, 2024, 45(3): 45. DOI: 10.19650/j.cnki.cjsi.J2412399
Zhang Jianyu, Li Kang. State-of-health estimation for lithium-ion batteries in hybrid electric vehicles: a review [J]. Energies, 2024, 17(22): 5753. DOI: 10.3390/en17225753
Xue Qiao, Shen Shiquan, Li Guang, et al. Remaining useful life prediction for lithium-ion batteries based on capacity estimation and box-cox transformation [J]. IEEE Transactions on Vehicular Technology, 2020, 69(12): 14765. DOI: 10. 1109/TVT. 2020. 3039553
张大禹, 王震坡, 刘鹏, 等. 新能源汽车动力电池衰退机制与健康状态估计研究概述[J]. 机械工程学报, 2024, 60(22): 241
Zhang Dayu, Wang Zhenpo, Liu Peng, et al. Overview of research on degradation mechanism and state of health estimation for traction battery in new energy vehicles[J]. Journal of Mechanical Engineering, 2024, 60(22): 241. DOI: 10. 3901/JME. 2024. 22. 241
Bian Zengyuan, Ma Yan. An improved particle filter method to estimate state of health of lithium-ion battery [J]. IFAC-PapersOnLine, 2021, 54(10): 344. DOI: 10.1016/j.ifacol.2021.10.186
于思琦, 牟宪民, 陈希有, 等. 基于多点阻抗的锂离子电池健康状态在线快速诊断方法[J]. 电工电能新技术, 2025, 44(2): 116
Yu Siqi, Mu Xianmin, Chen Xiyou, et al. An online rapid diagnosis method for lithium-ion battery’s state of health based on multi-point impedance [J]. Advanced Technology of Electrical Engineering and Energy, 2025, 44(2): 116. DOI: 10. 12067/ATEEE2307009
高仁璟, 吕治强, 赵帅, 等. 基于电化学模型的锂离子电池健康状态估算[J]. 北京理工大学学报, 2022, 42(8): 791
Gao Renjing, Lü Zhiqiang, Zhao Shuai, et al. Health state estimation of Li-ion batteries based on electrochemical model[J]. Transactions of Beijing Institute of Technology, 2022, 42(8): 791. DOI: 10.15918/j.tbit1001-0645.2021.310
周雅夫, 孙宵宵, 黄立建, 等. 面向全生命周期的锂电池健康状态估计[J]. 哈尔滨工业大学学报, 2021, 53(1): 55
Zhou Yafu, Sun Xiaoxiao, Huang Lijian, et al. A state of health estimation method for full lifetime of lithium-ion batteries[J]. Journal of Harbin Institute of Technology, 2021, 53(1): 55. DOI: 10.11918/202003049
李鑫尧, 陈洪波, 沈力源, 等. 锂电池状态跨域估计算法综述[J]. 电子科技大学学报, 2024, 53(5): 749
Li Xinyao, Chen Hongbo, Shen Liyuan, et al. Cross-domain state estimation of lithium-ion batteries: a review[J]. Journal of University of Electronic Science and Technology of China, 2024, 53(5): 749. DOI: 10.12178/1001-0548.2024171
Lu Jiahuan, Xiong Rui, Tian Jinpeng, et al. Deep learning to estimate lithium-ion battery state of health without additional degradation experiments [J]. Nature Communications, 2023, 14(1): 2760. DOI: 10.1038/s41467-023-38458-w
符达萌. 基于机器学习和充电特征的锂电池SOH和RUL预测方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2023
Fu Dameng. Research on the prediction methods of SOH and RUL of lithium-ion batteries based on machine learning and charging features[D]. Harbin: Harbin Institute of Technology, 2023. DOI: 10.27061/d.cnki.ghgdu.2023.004706
Zhou Danhua, Li Zhanying, Zhu Jiali, et al. State of health monitoring and remaining useful life prediction of lithium-ion batteries based on temporal convolutional network[J]. IEEE Access, 2020, 8: 53307. DOI: 10. 1109/ACCESS. 2020. 2981261
Ezemobi E, Silvagni M, Mozaffari A, et al. State of health estimation of lithium-ion batteries in electric vehicles under dynamic load conditions[J]. Energies, 2022, 15(3): 1234. DOI: 10.3390/en15031234
徐保荣, 王兴成, 张齐, 等. 自适应扩展卡尔曼滤波电池荷电状态估算方法[J]. 哈尔滨工业大学学报, 2021, 53(7): 92
Xu Baorong, Wang Xingcheng, Zhang Qi, et al. Adaptive extended Kalman filter for estimating the charging state of battery [J]. Journal of Harbin Institute of Technology, 2021, 53(7): 92. DOI: 10.11918/202006134
Lin Chuanping, Xu Jun, Jiang Delong, et al. Multi-model ensemble learning for battery state-of-health estimation: recent advances and perspectives[J]. Journal of Energy Chemistry, 2025, 100: 739. DOI: 10.1016/j.jechem.2024.09.021
Attia P M, Bills A, Brosa Planella F, et al. Review: “Knees” in lithium-ion battery aging trajectories [J]. Journal of The Electrochemical Society, 2022, 169(6): 060517. DOI: 10.1149/1945-7111/ac6d13
Chen Zhang, Chen Liqun, Shen Wenjing, et al. Remaining useful life prediction of lithium-ion battery via a sequence decomposition and deep learning integrated approach[J]. IEEE Transactions on Vehicular Technology, 2022, 71(2): 1466. DOI: 10. 1109/TVT. 2021. 3134312
Xiong Rui, Pan Yue, Shen Weixiang, et al. Lithium-ion battery aging mechanisms and diagnosis method for automotive applications: recent advances and perspectives[J]. Renewable and Sustainable Energy Reviews, 2020, 131: 110048. DOI: 10.1016/j.rser.2020.110048
李卓昊, 杨添强, 石琼林, 等. 储能电池建模与状态估计研究进展[J]. 新型电力系统, 2024, 2(2): 140
Li Zhuohao, Yang Tianqiang, Shi Qionglin, et al. Research progress in modeling and state estimation of energy storage batteries [J]. New Type Power Systems, 2024, 2(2): 140. DOI: 10.20121/j.2097-2784.ntps.230049
Vermeer W, Chandra Mouli G R, Bauer P. A comprehensive review on the characteristics and modeling of lithium-ion battery aging [J]. IEEE Transactions on Transportation Electrification, 2022, 8(2): 2205. DOI: 10. 1109/TTE. 2021. 3138357
Chen Baoliang, Liu Yonggui, Xiao Bin. A novel hybrid neural network-based SOH and RUL estimation method for lithium-ion batteries[J]. Journal of Energy Storage, 2024, 98: 113074. DOI: 10.1016/j.est.2024.113074
Hong Juntao, Bai Yulong, Huang Yuting, et al. Hybrid carbon price forecasting using a deep augmented FEDformer model and multimodel optimization piecewise error correction[J]. Expert Systems with Applications, 2024, 247: 123325. DOI: 10.1016/j.eswa.2024.123325
Lim B, ArK S Ö, Loeff N, et al. Temporal fusion transformers for interpretable multi-horizon time series forecasting [J]. International Journal of Forecasting, 2021, 37(4): 1748. DOI: 10.1016/j.ijforecast.2021.03.012
Su Liyun, Xiong Lang, Yang Jialing. Multi-Attn BLS: multi-head attention mechanism with broad learning system for chaotic time series prediction[J]. Applied Soft Computing, 2023, 132: 109831. DOI: 10.1016/j.asoc.2022.109831
Liu Chenxi, Xu Qianxiong, Miao Hao, et al. TimeCMA: towards LLM-empowered multivariate time series forecasting via cross-modality alignment[PP/OL]. V5. arXiv(2025-03-29)[2025-06-01]. https://doi.org/10.48550/arXiv.2406.01638
LIU Z, LI Y, LI T L. et al. TEST: a test-time-tuning framework for zero-shot time-series forecasting with a pre-trained language model[C]//Forty-firstInternational Conference on Machine Learning (ICML). Vienna: [s. n.], 2024
Tong Zheming, Zhang Jun, Chen Xing. Inconsistency analysis and comprehensive performance quantization of lithium-ion battery module configurations considering multi-factor cell-to-cell variation[J]. Journal of Energy Storage, 2025, 114: 115669. DOI: 10. 1016/J. EST. 2025. 115669
Onan A, Alhumyani H A. DeepExtract: semantic-driven extractive text summarization framework using LLMs and hierarchical positional encoding[J]. Journal of King Saud University-Computer and Information Sciences, 2024, 36(8): 102178. DOI: 10.1016/j.jksuci.2024.102178
ÇavŞi zaim H, Yolaan E N. FPE-transformer: a feature positional encoding-based transformer model for attack detection[J]. Applied Sciences, 2025, 15(3): 1252. DOI: 10.3390/app15031252
Tong Guoxiang, Ge Zhaoyuan, Peng Dunlu. RSMformer: an efficient multiscale transformer-based framework for long sequence time-series forecasting[J]. Applied Intelligence, 2024, 54(2): 1275. DOI: 10.1007/s10489-023-05250-8
张子恒, 耿萌萌, 范茂松, 等. 基于弛豫时间分布法的退役动力电池健康状态评估[J]. 储能科学与技术, 2025, 14(2): 770
Zhang Ziheng, Geng Mengmeng, Fan Maosong, et al. SOH estimation based on distribution of relaxation times for the retired power lithium-ion battery[J]. Energy Storage Science and Technology, 2025, 14(2): 770. DOI: 10.19799/j.cnki.2095-4239.2024.0749
吴鹏举, 甘忠然, 徐宜宾, 等. 基于CNN-LSTM-KAN的SOH预测模型研究[J/OL]. 电力电子技术. 2025-07-29. https://doi. org/10. 20222/j. cnki. cn61-1124/tm. 20250728. 002
Wu Pengju, Gan Zhongran, Xu Yibin, et al. Research on SOH prediction model based on CNN-LSTM-KAN [J/OL]. Power Electronics. 2025-07-29. https://doi.org/10.20222/j.cnki.cn61-1124/tm.20250728.002
Kim G, Son J, Kim J, et al. Enhancing Korean named entity recognition with linguistic tokenization strategies[J]. IEEE Access, 2021, 9: 151814. DOI: 10. 1109/ACCESS. 2021. 3126882
蒋雷, 汤海林, 陈瑜瑾. 基于Transformer模型的自然语言处理研究综述[J]. 现代计算机, 2024, 30(14): 31
Jiang Lei, Tang Hailin, Chen Yujin. A review of natural language processing research based on Transformer model[J]. Modern Computer, 2024, 30(14): 31. DOI: 10.3969/j.issn.1007-1423.2024.14.005
Wang Qiao, Ye Min, Celik S, et al. Unlocking the potential of unlabeled data: self-supervised machine learning for battery aging diagnosis with real-world field data[J]. Journal of Energy Chemistry, 2024, 99: 681. DOI: 10.1016/j.jechem.2024.08.037
Yang Ranchen, Li Zhenyu, Chen Zheng, et al. A rapid state-of-health estimation method for lithium-ion batteries without initial state restrictions[J]. IEEE Transactions on Transportation Electrification, 2025, 11(4): 9188. DOI: 10. 1109/TTE. 2025. 3556295
Mao Ling, Shentu B, Zhao Jinbin, et al. Online state of health estimation for lithium-ion battery based on historical charging data assisted reconstruction of partial charging curve[J]. IEEE Transactions on Transportation Electrification, 2025, 11(2): 6441. DOI: 10. 1109/TTE. 2024. 3509631
Li Xiaopeng, Zhao Minghang, Zhong Shisheng, et al. Deep transfer learning enabled online state-of-health estimation of lithium-ion batteries under small samples across different cathode materials, ambient temperature and charge-discharge protocols[J]. Journal of Power Sources, 2025, 650: 237503. DOI: 10.1016/j.jpowsour.2025.237503
Liu Yongtao, Liu Chuanpan, Liu Yongjie, et al. Review on degradation mechanism and health state estimation methods of lithium-ion batteries[J]. Journal of Traffic and Transportation Engineering (English Edition), 2023, 10(4): 578. DOI: 10.1016/j.jtte.2023.06.001
Jin Ming, Wang Shiyu, Ma Lintao, et al. Time-LLM: time series forecasting by reprogramming large language models[EB/OL]. V2. arXiv: (2023-10-03)[2025-06-08]. https://doi.org/10.48550/arxiv.2310.01728
Mahmoud A, Mohammed A. A survey on deep learning for time-series forecasting [M]//Machine learning and big data analytics paradigms: analysis, applications and challenges. Cham: Springer International Publishing, 2020: 365. DOI: 10.1007/978-3-030-59338-4_19
Zha Wenshu, Liu Yuping, Wan Yujin, et al. Forecasting monthly gas field production based on the CNN-LSTM model[J]. Energy, 2022, 260: 124889. DOI: 10.1016/j.energy.2022.124889
Liu Fangyu, Li Junlin, Wang Linbing. PI-LSTM: physics-informed long short-term memory network for structural response modeling[J]. Engineering Structures, 2023, 292: 116500. DOI: 10.1016/j.engstruct.2023.116500
Lozano Ruiz P, Damianakis N, Ram Chandra Mouli G. Physics-based and data-driven modeling of degradation mechanisms for lithium-ion batteries: a review[J]. IEEE Access, 2025, 13: 21164. DOI: 10. 1109/ACCESS. 2025. 3535918