面向高效车辆轨迹提取的轻量化目标追踪算法
doi: 10.11918/202507041
李岩 1 , 魏笑笑 1 , 陈桂珍 1 , 李昱燃 1 , 马静 2
1. 长安大学 运输工程学院,西安 710064
2. 长安大学 电子与控制工程学院,西安 710064
基金项目: 陕西省自然科学基础研究计划(2025JC-YBMS-367,2025JC-YBQN-524);福建省交通运输科技计划重点科技项目(ZD202405,YB202431)
Lightweight object tracking algorithm for efficient vehicle trajectory extraction
Li Yan 1 , Wei Xiaoxiao 1 , Chen Guizhen 1 , Li Yuran 1 , Ma Jing 2
1. School of Transportation Engineering, Chang′an University, Xi′an 710064, China
2. School of Electronics and Control Engineering, Chang′an University, Xi′an 710064, China
摘要
针对路侧设备部署的算法对车辆轨迹提取的效率及精度难以同时保障问题,提出一种高效的轻量化目标跟踪算法DeepSORT-CKFaster。该算法通过Cutmix数据增强方法缓解标签类别不平衡问题,提高YOLOv5目标检测算法的泛化能力;提出一种自适应反馈式的轻量特征提取网络,动态调整特征提取策略,减少冗余计算和频繁的内存访问,实现网络轻量化的同时提升特征提取效率;在训练过程中,提出自适应卡尔曼滤波学习率调整策略,通过实时监控梯度统计量,自动触发余弦下降或线性上升机制,在稳定提取特征的基础上提升模型收敛效果;所提出算法结合YOLOv5目标检测算法,可有效提取车辆轨迹。应用西安市高清视频在两种配置平台验证所提出算法的结果表明:所提出算法的平均目标追踪准确度为92.2%,平均目标追踪精确度为1.106 m,平均目标追踪速度为26.538 帧/s和12.819 帧/s;相比于SORT算法和基准DeepSORT算法,所提出算法的平均目标追踪准确度提高了4.3%~7.1%,平均目标追踪速度提升了4.811~11.789 帧/s。所提出算法特征提取模型的训练时间为6.2 h,计算量为1.376 GFLOPs,为基准DeepSORT算法模型训练时间的72.1%、模型计算量的71.8%。
Abstract
In order to solve the problem that algorithm deployed on roadside equipment are difficult to guarantee the efficiency and accuracy of the vehicle trajectory extraction at the same time, an efficient lightweight object tracking algorithm DeepSORT-CKFaster was proposed. The algorithm alleviates the problem of label category imbalance and improves the generalization ability of the YOLOv5 object detection algorithm through the Cutmix data augmentation method. An adaptive feedback lightweight feature extraction network was proposed, which dynamically adjusted the feature extraction strategy, reduced redundant computing and frequent memory access, and realized the lightweight network and improved the efficiency of feature extraction. In the training process, an adaptive Kalman filter learning rate adjustment strategy was proposed, which automatically triggered the cosine descent or linear rise mechanism through real-time monitoring of the gradient statistics, so as to improve the convergence effect of the model on the basis of stable feature extraction. Combined with the YOLOv5 target detection algorithm, the vehicle trajectory can be effectively extracted. The results of the proposed algorithm verified by high-resolution video in Xi′an on two configuration platforms indicate that the average target tracking accuracy and average target tracking precision of the proposed algorithm are 92. 2% , 1. 106 m, respectively. The average target tracking speed of the proposed algorithm are 26. 538 frames/ s and 12. 819 frames/ s. Compared with the SORT algorithm and the basic DeepSORT algorithm, the average target tracking accuracy and average target tracking speed of the proposed algorithm are increased by 4. 3%-7. 1% and 4. 811 frames/ s-11. 789 frames/ s, respectively. The training time of the feature extraction model of the proposed algorithm is 6. 2 h, and the computation amount is 1. 376 GFLOPs, which is 72. 1% of the training time and 71. 8% of the model computation of the basic DeepSORT algorithm.
高精度的车辆行驶轨迹数据是交通流特性分析、交通行为分析及交通安全评价等的基础[1]。传统轨迹数据采集方法存在检测范围小、精度低、成本高等局限性[2],随着计算机图像技术的快速发展,路侧高清视频成为车辆轨迹数据的一种重要数据源[3]。路侧视频一般需回传至中央集群端处理,需要大量传输、计算及存储资源才可得到高精度车辆轨迹信息。然而,可在路侧设备端部署的轨迹提取算法受限于设备算力等因素,提取效率和精度均较难满足交通管控的需求[4],故亟需一种高效、轻量、可部署于路侧设备的车辆轨迹提取算法,在路侧设备提取高精度的车辆行驶轨迹后,将轨迹数据上传至中央平台。由于无需传输大量的视频数据,可在通信带宽受限的环境下,实现交通信息的高效感知与智能获取。
基于计算机视觉的车辆轨迹提取技术包括目标检测和目标跟踪两个部分[5]。在将常用算法轻量化部署于路侧设备端时,两部分中均存在影响识别准确度和运行效率的因素。
基于深度学习的方法分为两阶段目标检测算法和单阶段目标检测算法。单阶段的目标检测算法,如YOLO系列算法[6],直接利用锚框检测目标的类别和位置,其效率相比两阶段算法更高。与其他单阶段目标检测算法相比,YOLOv5算法[7-8]具备较强的实时检测能力和较小的模型体积,在保持较高检测精度的同时,显著降低了计算资源需求,适合部署于路侧设备中。然而,在城市道路系统等复杂混合交通流系统中,车辆类型分布不均,存在目标类别不平衡现象。YOLOv5算法容易受到不平衡数据集影响[7],在训练时更倾向于拟合数量较多的类别,从而影响模型的检测精度。因此,需针对样本不平衡问题改进YOLOv5目标检测算法,以实现高效、精确的目标检测。
基准DeepSORT目标追踪算法[9]引入表观特征和级联匹配策略对SORT算法改进,提高了目标被遮挡时的跟踪性能,并克服了目标ID易于跳变的问题[10]。但其外观特征提取网络结构复杂、计算成本较高,难以满足路侧设备对实时性和高效性的要求。FasterNet网络[11]作为轻量化神经网络架构,在降低参数量和计算复杂度的同时具备良好的性能和部署优势,适用于边缘设备。然而,其在训练过程中仍存在收敛速度慢、计算策略刚性等问题,影响特征提取的稳定性与准确性。因此,亟需对DeepSORT算法的特征提取模块优化,以提升其在复杂场景下的部署性能和资源利用效率。
学习率是深度学习训练中的关键超参数,直接影响模型的收敛速度和性能[12]。基准DeepSORT模型采用预先设定好的固定学习率训练,在整个训练过程中学习率保持不变,能够保证训练过程的稳定性,但缺乏对训练状态的动态响应,导致模型训练初期收敛慢、后期易陷入局部最优,影响训练效率和效果。因此,有必要设计动态的学习率调整策略,实现学习率的精准调控,提高模型训练的鲁棒性和适应性。
针对上述问题,拟构建一种可在路侧设备部署的高效、轻量化的目标追踪算法,以在路侧端高效地提取车辆轨迹,在减少视频数据回传所需网络传输带宽的同时,提升系统的实时性与资源利用效率,为交通行为分析及交通安全评价等研究奠定基础。
1 DeepSORT-CKFaster算法
1.1 研究框架
基于计算机视觉的车辆轨迹提取办法主要包括目标检测和目标跟踪两个部分。如图1所示,以视频帧序作为输入,通过YOLOv5目标检测器获取每帧视频中车辆的位置、大小等信息,将其作为DeepSORT目标追踪算法的输入,为不同帧出现的同一车辆命名为相同ID,以实现同一车辆状态随时间空间变化的更新,最终输出视频帧序、车辆ID、车辆位置等信息。在DeepSORT目标追踪算法中,将数据集输入搭建好的模型框架中进行模型训练,依据评价指标判断模型训练结果是否符合期望,若不符合期望则需调整后重新训练模型,直至符合期望输出目标追踪模型。
为提升路侧设备对车辆轨迹的提取效率,主要应优化目标跟踪算法,在保证目标跟踪精度的同时,提升目标跟踪的速度。据此确定优化内容如下:1)针对标签类别不平衡问题,在YOLOv5目标检测算法中嵌入CutMix数据增强方法,将两个原图像样本的部分区域进行组合,生成新的训练样本和标签,从而提高模型的泛化性能。2)针对特征提取速度慢的问题,提出一种自适应反馈式的轻量化特征提取网络,在FasterNet特征提取网络中嵌入扩展卡尔曼滤波(extended Kalman filter, EKF),通过对目标状态估计结果反馈,实现高效的特征提取与资源动态分配,提升DeepSORT算法的速度与精度。3)考虑模型稳定性和收敛速度两方面的因素,提出自适应卡尔曼滤波学习率调整策略,通过实时监控训练过程中的梯度统计量,自适应地触发余弦下降或线性上升机制,使学习率处于动态变化的过程,保证模型稳定性的同时加快模型的收敛速度。综上,为实现车辆轨迹提取的轻量化追踪,将整体流程优化如图1所示。
图 1 车辆轨迹提取流程
Fig. 1 Procedures on extracting vehicle trajectory
1.2 CutMix数据增强方法
CutMix数据增强方法在输入图像中随机剪切一个矩形区域,将另一幅图像的矩形区域与原图像进行混合,生成新的训练样本,同时改变新图片的标签,可提高较少类别样本的采样概率,较好地解决样本不均的情况,从而提高模型的泛化性能。CutMix数据增强方法通过线性插值获得新图像样本及对应标签,具体按照剪切区域的面积加权来实现,操作过程如式(1)所示:
{x~=M⊙xA+(1−M)⊙xBy~=λyA+(1−λ)yB
(1)
式中:x~为新的训练样本,y~为新样本对应的标签;xA和yA为样本A及其所对应的标签,xB和yB为样本B及其所对应的标签;⊙代表逐像素相乘,M∈{0,1}(W×H)表示剪切和粘贴区域的二进制掩码,代表图像删除和填充的位置,对于样本,M=1部分的图像被保留,对于样本B,M=0部分的图像被保留,W和H为图像的宽和高;λ∈[0,1],取值服从Beta分布β(α,α),令α=1则λ服从(0,1)的均匀分布。
选取裁剪区域C=(rx,ry,rw,rh)对掩码M采样,其中rx、ry表示裁剪区域左上角的随机坐标点,rw和rh表示裁剪区域的宽和高。裁剪区域的边界框采样公式为
{rx∼Unif(0,W),rw=W1−λry∼Unif(0,H),rh=H1−λ
(2)
由式(2)可知,裁剪区域C的面积与样本B原图像的面积比例为
rwrhWH=W1−λ×H1−λWH=1−λ
(3)
保持裁剪区域与原图像的面积比例为rwrhWH=1-λ确定裁剪区域C,将掩码M中区域C的掩码设置为0,其余区域的掩码设置为1,即移除样本A的区域C,保留样本B的区域C,从而完成掩码M的采样。将样本B的裁剪区域C填充到样本A,并按照式(1)计算可得到新样本的标签。
1.3 自适应反馈式轻量化特征提取网络
为提高目标追踪算法的速度与精度,提出一种实时反馈式的轻量化特征提取网络,DeepSORT-CKFaster算法的框架如图2所示。
图 2 DeepSORT-CKFaster算法的框架
Fig. 2 The framework of the DeepSORT-CKFaster algorithm
该特征提取网络以轻量化的FasterNet特征提取网络为主干结构,结合扩展卡尔曼滤波器的状态估计结果,构建闭环反馈机制,可实现在保持目标追踪精度的同时,有效提升算法的实时性与资源利用效率。
FasterNet网络主要应用逐点卷积(pointwise convolution, PWConv)和部分卷积(partial convolution, PConv),以减少冗余计算和内存访问,提升特征提取速度。为进一步提升训练效率与资源利用率,在FasterNet模块中嵌入扩展卡尔曼滤波,构建状态感知驱动的动态计算机制。
该机制将FasterNet特征提取网络的输入作为EKF的输入向量xk,将提取的特征作为EKF的观测值yk,其神经网络行为可以表述为非线性离散时间系统:
{yk=g(θk)+vkθk+1=θk+ωk
(4)
式中:θk为平稳过程中神经网络的权重参数;ωk为过程噪声,记cov{ωk}=Qk;yk是测量向量;vk为测量噪声,记cov{vk}=Rk;g(·)是状态的非线性函数。根据泰勒公式,式(4)可围绕状态估计值θ^展开为
yk=g(θ^)+∂g(θ^)∂θ^(θ−θ^)+o(θ)
(5)
忽略高阶项,训练过程中的EKF的修正及更新过程可以表述为
{θ^k=θ^k−1+Kk[yk−g(θ^k−1)]Kk=PkHk(Rk+HkTPkHk)−1Pk+1=Pk−KkHkTPk
(6)
式中:Kk为卡尔曼增益,Hk为状态向量到测量向量的转换矩阵,Pk为近似误差协方差矩阵。扩展卡尔曼滤波模型中的P、Q和R均为对角矩阵,依据相关文献[13]设定P0=0.1I,Q=1×10-4I,R=1×10-2I,Kk按照式(6)进行实时更新。
该机制利用协方差矩阵Pk衡量预测可信度,从而动态调整特征提取策略:当归一化协方差迹小于设定阈值时(设置不同参数取值对比模型训练状况后,确定阈值为0.05),状态估计可靠,则应用EKF修正的权重参数\begin{equation}θ_{k}\end{equation}实现特征提取网络优化,通过感兴趣区域(region of interest, ROI)裁剪的方式启用轻量化特征提取网络,以降低计算资源消耗;当归一化协方差迹超过阈值,则启用完整特征提取模块,以保证特征提取的完整性和精度。该机制实现了特征提取强度与计算资源之间的自适应调节,在保障目标跟踪精度的同时,显著提升了系统的实时性与部署效率。
1.4 自适应学习率调整策略
考虑到模型稳定性和收敛速度两方面的因素,将卡尔曼滤波引入至学习率控制模块,构建基于状态估计的自适应学习率调整策略,实现对传统固定学习率方法的有效改进。
该自适应学习率调整策略将学习率调节建模为一个状态估计问题,当前时刻的观测值yt(基于梯度统计量计算的“理想学习率”)及历史状态估计值(上一时刻卡尔曼滤波器输出的学习率估计值ηt-1)作为卡尔曼滤波的输入,利用卡尔曼滤波动态评估学习率的合理性,输出当前时刻的学习率估计值ηt和协方差,并根据估计结果触发相应的调整机制。通过上述机制,训练过程中的学习率始终处于动态调控状态,实现了更稳定、高效的训练,提升了模型的收敛速度与泛化能力。自适应学习率调整策略的整体流程如图3所示。
图 3 自适应学习率调整策略
Fig. 3 Adaptive learning rate adjustment strategy
训练初期,系统采用Warmup策略逐步提升学习率,帮助模型平稳启动;当滤波器判断学习率偏大、训练波动增大时,启用如式(7)所示的余弦退火策略平滑下降学习率,防止过拟合。
η(t)=ηmin+12(η0−ηmin)(1+cos⁡TcurTmaxπ)
(7)
式中:ηmax为当前的学习率,ηmin为设定的学习率最小值,Tcur为当前epoch,Tmax为余弦退火周期的最大长度。
若学习率偏小,则激活如式(8)所示的线性上升机制增强搜索能力,避免陷入性能瓶颈。
η(t)=η0+kt
(8)
式中:k为线性增长斜率,η0为当前的学习率,增长持续至估计值附近。
2 实验设计
2.1 数据采集及预处理
采用西安市路侧高空安装的高清摄像设备在2023年9月23日—2023年9月30日采集的数据构建模型测试数据集。该数据集包含机动车通行的快速路、设置主辅路或机非隔离的主干路以及机非共行的低等级城市道路,基本覆盖了主要城市交通场景,均为连续拍摄视频,视频分辨率为1 920×1 080像素,帧率为30 帧/s。提取各摄像头6:00—22:00的视频并对其切分处理,每个视频时长为10 min。从视频中每隔3帧提取出总计2 700 000 帧关键帧。根据道路类型将视频分为3类,每种道路类型均涵盖不同交通饱和度的道路,3种道路类型拍摄的视频个数、道路等级以及平均交通饱和度的统计信息如表1所示。
表 1 数据集信息
Tab. 1 Dataset information
对从视频中提取的关键帧图像进行透视变换,使目标检测后车辆检测框像素坐标更能体现车辆真实的物理坐标位置。原始数据的图片进行透视变换以后,部分区域的车辆会产生非刚性形变,导致训练出的模型难以在透视变换后的图像上保持稳定性能[14]。故利用目标检测标注工具LabelImg对图像样本进行矩形框标注。数据集的检测类别包括:小型客车(car)、公交车(bus)和载货汽车(truck),其平均占比分别为79%,15%和6%,随机选取数据集的80%作为训练集训练模型,20%作为验证集验证模型性能。
2.2 实验环境及模型训练
本实验设置了两种硬件环境,以分析不同计算资源对目标检测与追踪算法性能的影响。两种实验环境的软件配置保持一致,均使用Windows10系统的Visual Studio Code为集成开发工具,PyTorch为深度学习框架所搭建的深度学习平台,其主要硬件配置如表2所示。实验环境一为高性能台式计算机,主要用于模型训练与参数优化;实验环境二为配置较低的便携式计算机,更贴近实际路侧设备的计算能力。实验流程:先在环境一中完成模型训练,再将模型迁移至环境二进行部署测试,以评估算法在不同硬件条件下的适应性和运行效率,验证所提轻量化目标追踪方法的实际可行性与稳定性。
表 2 硬件环境配置对比
Tab. 2 Hardware configuration comparison of experimental environments
根据网络深度和特征图宽度,YOLOv5目标检测模型有YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。为提高模型训练的收敛速度,从而减小模型训练的计算量,以YOLOv5模型在COCO(common object in context)数据集上的预训练权重为基础,在自制的数据集上训练模型。比较4个目标检测模型的性能,确定所选用的目标检测模型作为目标跟踪算法的检测器,并利用目标跟踪效果评价指标客观分析SORT算法、DeepSORT算法及DeepSORT-CKFaster算法的跟踪性能,验证所提出车辆行驶轨迹提取方法的有效性。
2.3 评价指标
依据轨迹提取模型常用的评价指标,选取相应的性能指标对目标检测与目标跟踪模型的效果进行综合评估[15]。目标检测模型采用平均精度均值(mean average precision,mAP)和每秒处理的图像帧数(frames per second,FPS)两个指标来评价,mAP和FPS分别为
mAP=∑i=1KAPiK
(9)
FPS = frameNum elapsedTime
(10)
式中:K为数据集的检测类别,AP为各个类别的检测精度。
目标追踪模型的性能采用多目标跟踪准确度(multi-object tracking accuracy,MOTA)、多目标跟踪精确度(multi-object tracking precision,MOTP)、参数量、计算量、运行速率FPS和训练时间等6个性能评价指标衡量。MOTA和MOTP可分别为
MOTA=1−FN+FP+IDSWGT
(11)
MOTP =∑t,idt,i∑tct
(12)
式中:FN为漏检个数,FP为误检个数,IDSW为ID号发生转变个数,GT为Ground Truth物体数量。ct为t帧时匹配的目标数量,dt,i表示t帧时目标i的边界框与真实边界框间的距离。
3 实验结果与分析
3.1 目标检测结果分析
分别统计4种目标检测模型根据所采集数据集训练后的mAP和FPS指标的结果如表3所示。
表 3 目标检测算法实验结果
Tab. 3 Experimental results of object detection algorithm
由表3可知,目标检测模型的平均检测精度YOLOv5s最高,YOLOv5l、YOLOv5x、YOLOv5m分别比YOLOv5s少0.5%、0.7%、0.8%。目标检测模型的检测速度由快到慢依次为YOLOv5l、YOLOv5x、YOLOv5s、YOLOv5m,YOLOv5x、YOLOv5s、YOLOv5m分别比YOLOv5l慢0.138 帧/s、1.544 帧/s、2.016 帧/s。由此可见,YOLOv5s的目标检测精度最高,但检测速度相对较慢;YOLOv5l的目标检测速度最快,且其目标检测精度仅比YOLOv5s低0.5%。故在综合考虑检测速度与精确度因素时,宜选择YOLOv5l模型作为目标追踪器的输入。
3.2 Cutmix数据增强实验
Cutmix数据增强方法的超参数主要有α和p,其中α控制标签与特征间的差值强度,常设置为0.5和1,p表示增强的概率,常设置为0.8、0.9和1[16]。基于YOLOv5l作为预训练权重训练的目标检测模型,利用平均检测精度mAP和损失值作为指标,比较引入Cutmix数据增强方法前后目标检测模型的性能,以及不同α和p取值组合下模型的性能,当α=1,p=0.9时,检测效果最好,实验结果如表4所示。
表 4 Cutmix数据增强实验结果
Tab. 4 Results of Cutmix data augmentation experiment
根据表4的实验结果得出,原YOLOv5l目标检测模型的平均目标检测精度为93.7%,损失值为0.366;引入Cutmix数据增强方法后目标检测模型的精度可提升至96.5%,损失值为0.235,说明该Cutmix数据增强方法可有效提高目标检测精度,降低损失。
3.3 DeepSORT-CKFaster模型优化实验
使用训练后的YOLOv5l算法作为检测器,选取工程中广泛应用的SORT算法、DeepSORT算法[17]及提出的DeepSORT-CKFaster算法进行目标跟踪实验。取各项评价指标的平均值作为衡量该算法跟踪性能的指标,其测试结果如表5所示。
表 5 目标追踪实验结果
Tab. 5 Results of object tracking experiment
从表5可知,两种实验环境中各算法的MOTA和MOTP保持一致,说明在使用相同模型权重和测试数据的前提下,推理精度不受运行硬件环境影响。各对比模型中,SORT目标追踪模型的MOTA最低,为85.1%。基准DeepSORT算法的MOTA相对于SORT算法提升了2.8%,但平均目标追踪速度降低了1.935 帧/s。而DeepSORT-CKFaster算法的MOTA可达92.2%,相对于基准DeepSORT算法提升4.3%,MOTP为1.106 m,降低了14.3%;与特征提取网络为FasterNet的DeepSORT算法相比,该算法的MOTA值增加了0.7%,MOTP降低了4.9%。实验环境一中,DeepSORT-CKFaster算法的目标追踪速度可达26.538 帧/s,比基准DeepSORT算法提升11.789 帧/s,即DeepSORT-CKFaster算法可在保证目标追踪精度的同时,明显加快目标追踪速度。
在实验环境一中,类别3中数据的MOTA最高,类别2的MOTA最低;类别1的FPS最大,类别2的FPS最小。总体来看,高峰时段城市主干路与快速路车流密集、易发生拥堵,相较于快速路和次干路,目标追踪算法在主干路场景中的轨迹提取速度更慢,精度相对较低。对比两种实验环境可发现,实验环境一中各算法的平均帧率均高于实验环境二,说明在更高性能的硬件支持下,目标追踪算法的运行速度显著加快。3种目标跟踪算法特征提取模型的训练时间及模型参数量、计算量指标的对比结果如表6所示。
表 6 目标跟踪算法对比
Tab. 6 Comparison of target tracking algorithms
根据表6的实验结果,SORT算法的模型参数量和GFLOPs均最小,MOTA为85.1%,即该模型最轻量化,计算量最小,但其目标追踪精度最低。与基准DeepSORT算法相比,DeepSORT-CKFaster算法特征提取模型的参数量减少了1.6 MB,训练时间减少了2.4 h,计算量减少了0.540 GFLOPs,即DeepSORT-CKFaster算法的模型更轻量化,精度较高,可满足在路侧部署以从道路视频监控数据高效提取车辆行驶轨迹的需求。
3.4 自适应卡尔曼滤波学习率调整策略实验
为提升目标跟踪模型对车辆的跟踪性能,需对DeepSORT模型重训练,而训练的学习率会影响模型的目标跟踪性能。合理的学习率调度和优化策略可加速收敛过程,提高模型的性能和稳定性。通过对不同学习率调度策略下的模型进行重训练,比较其对收敛速度与性能的影响,以确定最优的学习率调度方案。各策略下DeepSORT-CKFaster算法训练过程的loss曲线与toplerr曲线如图4(a)和4(b)所示,子图为固定学习率实验结果,主图为自适应卡尔曼滤波学习率调整策略实验结果;MOTA和MOTP变化曲线如图4(c)所示。
图 4 不同学习率策略对比
Fig. 4 Comparison of various learning rate strategies
从图4(a)和4(b)可看出,固定学习率策略下模型训练过程不稳定,在训练进行到第1轮和第4轮时,验证集的loss和toplerr突然增大,存在一定的偶然性。与固定学习率相比,自适应卡尔曼滤波学习率调整策略可减少训练过程中的剧烈震荡,加速收敛过程,提高模型稳定性。从图4(c)可看出,与固定学习率策略的DeepSORT-CKFaster算法相比,采用自适应卡尔曼滤波学习率的DeepSORT-CKFaster算法收敛速度更快,其趋于稳定时的MOTA在90.3%的基础上增加了1.9%,而MOTP降低了4.1%,说明模型的追踪准确性和定位精度均得到优化。由此可见,自适应卡尔曼滤波学习率策略能有效地引导模型训练过程,提高模型的性能和稳定性。
4 结论
1)为提高路侧设备的轨迹提取效率,提出了一种高效轻量化的车辆目标追踪方法。应用西安市实拍视频的测试结果表明,所提出方法在较低性能计算机上亦可快速有效地提取高精度车辆行驶轨迹。随着硬件性能的提升,车辆轨迹提取速度可大幅提高。
2)应用西安市视频监测数据的测试结果表明:DeepSORT-CKFaster算法的MOTA可达到92.2%,两种实验环境下该算法的检测速度可分别达到26.538 帧/s和12.819 帧/s,特征提取模型的训练时间为6.2 h,计算量为1.376 GFLOPs。与基准DeepSORT算法相比,平均目标追踪准确度增加了4.3%,平均目标追踪速度提升了6.746~11.789 帧/s,特征提取模型的训练时间减少2.4 h,计算量减少了0.540 GFLOPs。
3)后续可考虑在不同气候条件、交通管制区域等特殊场景下进行跨场景测试与对比分析,进一步提升复杂交通场景下车辆轨迹提取的精度与速度。
图 1 车辆轨迹提取流程
Fig. 1 Procedures on extracting vehicle trajectory
图 2 DeepSORT-CKFaster算法的框架
Fig. 2 The framework of the DeepSORT-CKFaster algorithm
图 3 自适应学习率调整策略
Fig. 3 Adaptive learning rate adjustment strategy
图 4 不同学习率策略对比
Fig. 4 Comparison of various learning rate strategies
表 1 数据集信息
Tab. 1 Dataset information
表 2 硬件环境配置对比
Tab. 2 Hardware configuration comparison of experimental environments
表 3 目标检测算法实验结果
Tab. 3 Experimental results of object detection algorithm
表 4 Cutmix数据增强实验结果
Tab. 4 Results of Cutmix data augmentation experiment
表 5 目标追踪实验结果
Tab. 5 Results of object tracking experiment
表 6 目标跟踪算法对比
Tab. 6 Comparison of target tracking algorithms
Chen X Q, Li Z B, Yang Y S, et al. High-resolution vehicle trajectory extraction and denoising from aerial videos [J]. IEEE Transactions on Intelligent Transportation Systems, 2021, 22 (5): 3190
Mu L, Zhao H, Li Y, et al. Traffic flow statistics method based on deep learning and multi-feature fusion [J]. CMES-Computer Modeling in Engineering & Sciences, 2021, 129(2): 465
Li Y, Xu J H, Li Y R, et al. Estimation and prediction of freeway traffic congestion propagation using tagged vehicle positioning data [J]. Transportmetrica B: Transport Dynamics, 2024, 12 (1): 2297143
Zhang W B, Yu Y H, Qi Y, et al. Short-term traffic flow prediction based on spatio-temporal analysis and CNN deep learning [J]. Transportmetrica A: Transport Science, 2019, 15(2): 1688
游峰, 梁健中, 曹水金, 等. 面向多目标跟踪的密集行人群轨迹提取和运动语义感知[J]. 交通运输系统工程与信息, 2021, 21(6): 42
You Feng, Liang Jianzhong, Cao Shuijin, et al. Dense pedestrian crowd trajectory extraction and motion semantic information perception based on multi-object tracking [J]. Journal of Transportation Systems Engineering and Information Technology, 2021, 21(6): 42
Xing Y, Lü C, Cao D P. Personalized vehicle trajectory prediction based on joint time-series modeling for connected vehicles[J]. IEEE Transactions on Vehicular Technology, 2020, 69(2): 1341
黄凯雯, 房宵杰, 梅林, 等. MPE-YOLOv5: 面向边缘计算的轻量化 YOLOv5 手势识别算法[J]. 哈尔滨工业大学学报, 2023, 55(5): 1
Huang Kaiwen, Fang Xiaojie, Mei Lin, et al. MPE-YOLOv5: lightweight YOLOv5 gesture recognition algorithm for edge computing [J]. Journal of Harbin Institute of Technology, 2023, 55(5): 1
苏亚鹏, 陈高曙, 赵彤. 不平衡样本下的 SA-YOLO 自适应损失目标检测算法[J]. 中国科学院大学学报 (中英文), 2024, 41(3): 411
Su Yapang, Chen Gaoshu, Zhao Tong. SA-YOLO: self-adaptive loss object detection method under imbalance samples [J]. Journal of University of Chinese Academy of Sciences, 2024, 41(3): 411
Wojke N, Bewley A, Paulus D. Simple online andrealtime tracking with a deep association metric [C]//2017 IEEE International Conference on Image Prcessing. Beijing: IEEE, 2017: 3645
马永杰, 马芸婷, 程时升, 等. 基于改进 YOLOv3 模型与 DeepSORT 算法的道路车辆检测方法 [J]. 交通运输工程学报, 2021, 21(2): 222
Ma Yongjie, Ma Yunting, Cheng Shisheng, et al. Road vehicle detection method based on improved YOLOv3 model and deepSORT algorithm [J]. Journal of Traffic and Transportation Engineering, 2021, 21(2): 222
Chen J, Kao S, He H, et al. Run, don′t walk: chasing higher FLOPS networks[C]//Proceedings for of Faster the Neural IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 12021
Xu J H, Lu W B, Li Y R, et al. A multi-directional recurrent graph convolutional network model for reconstructing traffic spatiotemporal diagram[J]. Transportation Letters, 2024, 16(5): 405
唐宏志, 姜金辉. 扩展卡尔曼滤波对时变参数追踪性能的影响研究[J]. 南京航空航天大学学报, 2022, 54(2): 304
Tang Hongzhi, Jiang Jinhui. Research on tracking performance of extended Kalman filter for time varying parameters[J]. Journal of Nanjing University of Aeronautics & Astronautics, 2022, 54 (2): 304. DOI: 10.16356/j.1005-2615.2022.02.017
刘宏利, 王雨林, 邵磊, 等. 基于检测框下边沿的单目视觉车辆测距研究[J]. 计算机科学, 2024, 51(增刊 1): 427
Liu Hongli, Wang Yulin, Shao Lei, et al. Study on monocular vision vehicle ranging based on lower edge of detection frame[J]. Computer Science, 2024, 51(S1): 427
Zhang Q. Multi-object trajectory extraction based on YOLOv3-DeepSort for pedestrian-vehicle interaction behavior analysis at nonsignalized intersections [J]. Multimedia Tools and Applications, 2023, 82(10): 15223
耿鹏志, 唐云祁, 樊红兴, 等. 基于 CutMix 算法和改进Xception 网络的深度伪造检测研究[J]. 激光与光电子学进展, 2022, 59(16): 358
Geng Pengzhi, Tang Yunqi, Fan Hongxing, et al. Deep forgery detection using CutMix algorithm and improved Xception network [J]. Laser & Optoelectronics Progress, 2022, 59(16): 358
贾志, 李茂军, 李婉婷. 基于改进 YOLOv5 + DeepSort 算法模型的交叉路口车辆实时检测[J]. 计算机工程与科学, 2023, 45(4): 674
Jia Zhi, Li Maojun, Li Wanting. Real-time vehicle detection at intersections based on improved YOLOv5 + DeepSort algorithm model[J]. Computer Engineering & Science, 2023, 45(4): 674