【www.zhangdahai.com--其他范文】
贾颜滔，朱永利，庄崟萃
（华北电力大学 控制与计算机工程学院，河北 保定 071003）
电力变压器运行性能直接关系到系统供电的可靠性。高压电气设备内部绝缘性能的降低会导致其内部发生局部放电，进而有可能导致缺陷周围的绝缘介质被进一步侵蚀并最终引起沿面闪络和绝缘击穿[1]。不同类型的设备缺陷所造成的危害程度不同。准确识别放电类型，可以为故障危害性评估和位置定位提供可靠信息[2]。
当前，这方面的相关研究大多数是围绕局放信号的特征提取和分类器展开的。
基于人工提取特征的方法，有统计特征量[3]、信号熵值特征[4]以及时频谱特征[5]方法。虽然上述研究均取得了相当程度的成功，但是经过人工精心挑选的特征大多存在一定限制：特征挑选过程通常需要大量的专家领域知识，容易出现人为错误；
同时，独立于分类方法的特征提取并不总能表现出最优效果[6]。
深度学习是一种集特征提取和分类器为一体的方法，其特点是：完全由数据驱动、可从高维数据中自动提取高级特征。
二维时频谱能够表达更丰富的时频信息，并与卷积神经网络（convolutional neural networks,CNN）的图像处理能力相契合。
文献[7]将局放信号变换为边际谱图像，利用深度残差网络进行特征提取，使识别准确率达到98%。
文献[8]将盲源分离方法应用到声波时频谱，实现了图谱域的降噪；
使用卷积神经网络进行特征提取，提高了噪声环境下识别准确率。
文献[9]采用跨层特征的卷积神经网络进行分类，虽然实现了99.5%的识别准确率，但在使用大卷积核以获得更优结果的同时也带来了较大的计算负担。
文献[10]采用同步挤压短时傅里叶变换方法获得时频谱，并引入Inception模块来增强模型特征提取能力。
目前，相关研究大多都是从时频变换方法着手，缺少对模型时频特征表征能力的关注。基于此，本文提出一种基于Gabor变换和注意力机制2D-1D深度残差网络的局放信号模式识别方法：首先，对采集到的一维局放信号进行Gabor变换并提取二维时频特征；
然后，采用二维频率密集型卷积核提取频率特征，对所得到的时间序列利用一维时间卷积网络提取时间分布特征，从而实现频率时间特征的分步提取；
通过融合通道注意力机制来增强特征信息，同时对特征提取模块之间进行跳跃连接，形成残差结构。针对当前时频谱学习任务在训练过程中缺乏有效的数据增强方法的问题，引入了一种特征随机遮挡方法来丰富数据多样性。
1.1 Gabor变换
利用傅里叶变换能够实现复杂信号频率信息的自适应提取，可以达到凸显故障特征的目的。
由于傅里叶变换作用于整个时间域，缺乏时间信息，所以考虑利用短时傅里叶变换，通过将源信号与窗函数相乘，利用时域局部窗口来抑制领域外信息。此时的傅里叶变换只观察局部频率分布，计算过程表达为：
式中：s(u)是时域信号；
h为窗口函数；
t和v分别为时间和频率。
设定窗口函数h为高斯函数，即：
式中：a为窗口系数。
此时的短时傅里叶变换是海森堡不确定准则下的最优变换，即Gabor变换。Gabor变换能够将信息冗余难以理解的一维信号通过先验知识转变为具有明确物理意义的二维时频谱，使特征更符合人类直觉感知。
1.2 卷积神经网络
CNN及其变体被认为是计算机视觉领域最有效的算法之一。CNN中包含了感受野、参数共享和降采样思想，其核心运算过程为：将特征图与卷积核进行卷积操作，通过在特征图上平移卷积实现参数共享，将结果经过非线性激活、池化等操作后馈入下一层网络[11]。过程可以概括如下：
式中：xl为第l层网络特征图；
“*”表示卷积操作；
Wl为第l层核矩阵参数；
bl为偏置向量；
δ为非线性激活操作。
目前最常用的激活函数为线性整流函数（rectified linear unit，ReLU），其表达式如下：
2.1 2D-1D网络
CNN通常采用小尺寸（通常为3×3或5×5）的正方形卷积核[12]，其工作模式类似于纹理滤波器——通过将卷积核在特征图上滑动遍历来匹配局部纹理，并利用最大值池化操作减小特征图尺寸、扩大卷积核视野。该操作赋予了CNN旋转平移不变特性，使其在视觉任务中有着不俗的表现。
在时频谱中，纹理信息是一种不稳健的特征。同时，旋转平移的不变会造成时间频率的绝对分布信息被扭曲。有研究者发现，利用非方形卷积核能够更好地实现对时频特征建模[13]。
基于此，本文采用完全覆盖频率轴的H×5二维卷积核来引导网络对脉冲频率特征进行建模，其中H为时频谱频率轴高度。如图1所示，通过一次沿时间轴滑动的频率密集型卷积来建立频率特征沿时间轴的分布信息。对得到的包含频率信息的时间序列，利用一维时间卷积来建立时间依赖关系，实现对频率和时间信息的分步建模。
2D-1D卷积网络模型如图1所示。与利用传统CNN学习纹理信息相比，2D-1D结构卷积网络强迫模型对频率时间分布敏感，更有利于对时频谱特征建模。
图1 2D-1D卷积网络结构Fig. 1 2D-1D convolution network structure
2.2 残差模块
随着模型深度的增加，梯度信息在经过多层反向传播后可能会消失，从而导致模型难以收敛；
因此，如图2所示，在卷积模块间引入跳跃连接结构来保障梯度的传递[14]。
图2 残差模块结构Fig. 2 Residual model structure
假设原本模块对于输入x的预测值为F(x)。残差连接的存在使得模块变为学习拟合加和值x+F(x)。在反向传播过程中，根据链式求导法则，第l+1层的求导结果可以表示为：
式中：L为分类损失值；
xl+1为第l+1个残差块的输入特征图。
加和的梯度信息有效缓解了反向传播时梯度消失的风险，加快了模型收敛速度。同时，分支的设计也丰富了特征信息，能够提高模型精确度。
2.3 通道注意力
注意力机制是一种自主学习权重分配的方法。
通过学习来分配通道权重，能够使特征信息得到增强。基于压缩激励（squeeze and excitation，SE）的通道注意力模块是一种轻量级注意力模块[15]，能够被很好地嵌入到各种模型之中。SE的计算过程可以表述为通道挤压和特征激励2个过程，如图3所示。
图3 通道注意力计算流程Fig. 3 Calculation process of channel attention
对于所输入的T×C大小特征图，使用全局均值池化进行压缩，可得到1×C大小的均值特征张量。将张量的特征维度压缩到输入的1/r，然后利用 ReLU函数进行非线性激励，最后通过全连接层恢复通道维数并整合特征信息、计算通道贡献率。具体计算方法表示为：
式中：w1，w0为全连接层权重矩阵；
Fave为全局平均池化结果；
δ为ReLU函数，用于对张量进行非线性变换；
θ为sigmoid函数，用于将张量输出映射到0～1区间以实现对通道贡献率打分。注意力张量与原特征图矩阵逐通道相乘得到通道注意力特征图。
2.4 基于注意力机制的2D-1D深度残差网络
本文提出一种2D-1D深度残差网络来分步提取时频特征，其架构和参数如图4所示。
图4 基于注意力机制的2D-1D深度残差网络模型架构Fig. 4 Model framework of 2D-1D depth residual network based on attention mechanism
模型运算可以划分为3个模块：第一阶段为频率特征提取模块，第二、三阶段为encoder时间卷积网络。
模型运算过程如下：对于输入尺寸为（1,129,390）的时频谱，在第一阶段利用 64个129×5的二维卷积核进行频率滤波。卷积核的高度完全覆盖频率轴。卷积核沿时间轴方向以步长为2的形式进行滑动，经过BN层后以ReLU函数激活。然后，利用大小为 1×3、步长为 2的最大池化层降维。在第二、三阶段，由卷积核大小为 1×5的残差单元堆叠组成的残差时间卷积网络、（以步长为2）代替池化层实现下采样。在残差模块中嵌入SE通道注意力，对时序进行特征提取。最后，通过全局平均池化压缩得到（256,1,1）的张量，利用全连接层进行故障分类。
研究发现[16]，在深层网络中采用更复杂的激活函数，如 swish函数，能够提高模型精度；
而swish计算复杂度高且存在饱和性，容易导致梯度消失。硬编码的h-swish函数图像与swish近似，其计算复杂度低，且能达到相近的非线性激励效果。
h-swish计算表达式如下：
式中：x为输入变量；
δ为ReLU6函数。
为了充分发挥h-swish的深层激励作用，在本文模型中，对第二阶段的浅层网络依然采用ReLU激活，而将第三阶段的深层网络激活函数替换为h-swish函数。
3.1 数据来源
在实验室环境下，针对悬浮放电、板间放电、尖对板放电和电晕放电，搭建了4种变压器缺陷验证模型。除了电晕放电模型外，其他模型均处于绝缘油放电环境中。
实验中所用的高压实验平台型号为 TW15133-10/100am。参考国标IEC 60270-2000标准，以脉冲电流法采集放电信号。采样频率为40 MHz，频带宽度为 40 Hz～300 kHz。
悬浮放电验证模型：分别在高压电极与接地电极处放置绝缘板，并将金属颗粒放置于绝缘板中间。
板间放电验证模型：绝缘板置于圆形板状电极间。
尖对板放电验证模型：高压电极为针状电极，接地电极为圆形板状电极，置绝缘板于电极之间。
电晕放电验证模型：通过在高压电极端放置铜丝实现在空气中产生电晕放电。
3.1.1 数据采集与划分
在实验过程中，对放电模型施加不同大小的电压，并将一个工频周期内采集到的放电数据作为一次放电样本。
采集到的放电数据按照每种故障类型随机筛选150个样本来构建数据集，以保证放电样本稀疏性和随机性。对于构建好的数据集，按照 2:1的比例进行划分，得到训练集和测试集中每种故障样本个数分别为100和50。
3.1.2 数据预处理
时频变换。对原始电信号数据进行Gabor变换，得到二维时频谱。
归一化。将时频矩阵的值归一化到 0～1，归一化公式为：
式中：xmax、xmin分别为时频矩阵最大值和最小值。
考虑时频矩阵较大，为方便计算，采用线性插值法将其缩放到129×390的大小并以灰度图形式存储。此时，横轴和纵轴分别反映时间、频率信息，像素点亮度表示信号能量分布。
时域信号及其对应时频谱如图5所示。
图5 放电信号及其时频谱Fig. 5 Discharge signal and time-frequency spectrum
电晕放电主要发生在后半周，且脉冲幅值基本相等，通过时域特征就能较好识别；
其他3种缺陷在时域分布上较为相似，在时域识别困难。经过Gabor时频变换后，可以看出，4种缺陷的时间分布和主要频率成分都具有很大差异，因此可以将其作为区分不同放电类型的特征。
3.2 模型训练
3.2.1 随机遮挡数据增强
在计算机视觉任务中，常利用平移、旋转、随机裁剪等方法来对数据进行增强和扩充，以丰富数据的多样性、提高模型的泛化性。然而，对于2个维度都有独立物理意义的时频谱，上述数据增强方法明显不适合。
当前，在时频谱学习任务相关研究中，尚缺乏有效数据增强方法方面的相关研究成果。
鉴于此，本文引入一种随机遮挡方法[17]。在训练过程中，将图谱的部分区域内像素值置换为随机噪声，对特征进行遮挡和干扰。遮挡的位置和面积均随机生成。这种数据增强方法不会破坏图谱的时频分布，同时强迫模型学习全局特征而非局部特征，所以能够提高模型的抗干扰能力和泛化性。
3.2.2 训练模型
本文算法在 Pytorch框架上实现：batch size大小为32。初始学习率为0.05。采用余弦退火算法动态改变学习率。随机遮挡概率为0.5。迭代训练150轮次。
模型训练的损失曲线和测试准确率曲线如图6所示。图6中，前期正确率出现波动，这是由于较大学习率和随机遮挡增强方法引起训练初期不稳定所导致；
经过100轮次训练后，模型损失值和正确率都逐渐平稳，说明模型已经学习到稳健特征。
图6 模型训练过程中的损失曲线及正确率曲线Fig. 6 Loss curve and accuracy curve during model training
训练好的模型在测试集上的混淆矩阵如表 1所示。
注意力机制可以通过通道之间交互来分配注意力权重，进而增强特征信息。
为了探究注意力机制对模型的影响，在上述模型的基础上，将SE模块删除并进行训练。将训练好的模型在测试集上进行测试，结果表明，引入注意力机制后，模型对“尖对板”放电类型的识别率提高了 2%，总体识别率提高了 0.5%。综上可以得出，引入注意力机制能够在一定程度上提高模型识别准确率。
3.3 实验对比分析
3.3.1 与深度学习方法对比
搭建视觉领域经典模型AlexNet、VGGNet16和ResNet18，并在相同数据集上进行训练；
将训练好的模型在测试集上与本文方法进行测试对比。对比结果如表2所示。
表2 深度学习方法识别结果对比Tab. 2 Comparison with the recognition results of deep learning methods %
由表 2可以看出，ResNet的识别准确率为98.5%；
VGGNet由于参数较多，需要采用低学习率经过更多轮次训练才能收敛，准确率为 98%；
AlexNet准确率为97%，相对较低。本文方法准确率达到了99.5%，识别精度最高。
3.3.2 与人工特征方法对比
为了验证本文所述方法提取特征的有效性，选择矩特征[18]、方向梯度直方图（histogram of oriented gradient，HOG）[19]与奇异值分解（singular value decomposition，SVD）[20]这3种常见时频谱特征提取方法作为本文方法对比对象。将提取到的特征向量采用基于径向基函数的支持向量机进行分类，并通过网格搜索法和交叉验证来确定参数。对比结果如表3所示。
从表3可以看出，基于矩特征和奇异值分解的时频谱识别方法都能取得较好的识别准确率，而基于HOG特征的方法表现不佳。相比于传统人工选择特征，基于深度学习故障分类方法简化了特征提取过程，避免了主观性带来的影响，同时也表现出更佳的性能。
表3 与人工选择特征法对比结果Tab. 3 Comparison with the results of artificial selection feature methods %
3.3.3 不同样本量识别结果对比
为比较不同方法在不同样本量下的泛化性，分别在1/4、2/4、3/4和4/4训练集下进行训练；
保持测试集不变。测试模型准确率，结果如表 4所示。
表4 不同训练集规模下识别结果比较Tab. 4 Comparison of results under different number of samples %
由表4中结果可以看出：
本文方法在训练样本数量为原训练集1/4时，仍然能够取得不错的识别率。
AlexNet在小样本下识别精度较低；
在训练样本数量为原训练集1/4时，则表现出过拟合趋势。
VGGNet由于模型复杂参数量大，在训练样本较少时难以收敛，随着训练样本增加准确率也能快速提高。
ResNet利用残差结构有效缓解了梯度消失，使其收敛更快，在小样本下依然有较高准确率。
随着数据量逐步增加，所有网络的精度都稳定上升并最终趋于饱和。
与纹理特征相比，本文方法通过学习频率和时间特征，使其更具泛化性；
因此，在训练样本较少时，本文方法也能取得更佳的效果。
t-SNE是一种无监督数据降维聚类方法，能够将高维原始数据降维到具有良好相似度的二维、三维特征，因此常常被用于数据可视化[21]。
本文利用t-SNE工具，对测试集的200个样本进行降维可视化，结果如图7所示。
图7 输入图像的可视化结果Fig. 7 Visualization results of input images
从图7中可以看出，故障样本的数据点相互混杂交错在一起，且故障样本遍布了整个区域；
同时，悬浮放电和尖对板放电特征较为相似，样本点相互叠加在一起。
将样本输入到本文模型，对全连接分类层所学习到的特征进行降维，结果如图8所示。从图8中可以看出，同种故障样本聚集在一起，不同样本聚簇之间相互距离较远，具有良好可分性。该结果表明，模型经过训练后学习到了稳健的特征。
图8 输入全连接分类层的特征向量可视化结果Fig. 8 Visualization results of feature vectors input to the fully connected classification layer
文中提出了一种基于Gabor变换和注意力机制 2D-1D深度残差网络的局部放电模式识别方法。通过对比实验，得出以下结论：
（1）通过Gabor时频变换将冗长难以理解的一维放电信号转换为符合人类感知直觉的二维时频谱，有利于局放信号特征信息的表达。采用2D-1D结构的卷积网络，分步提取频率和时间特征，并融合通道注意力机制，使模型的识别准确率达到了 99.5%，优于经典卷积神经网络和人工提取特征方法。同时，模型在小样本下进行训练也能取得较好结果。
（2）针对当前常用数据增强方法不适用于时频谱的问题，文中引入了一种随机擦除的数据增强方法。通过随机像素遮挡的方法，实现了在不破坏时频绝对分布的前提下强迫模型学习全局特征。
今后研究重点为多源放电的多信息融合诊断方法。
猜你喜欢 时频残差频谱 电机在60Hz运行过程中的故障频谱分析防爆电机(2022年3期)2022-06-17基于残差-注意力和LSTM的心律失常心拍分类方法研究成都信息工程大学学报(2022年2期)2022-06-14基于双向GRU与残差拟合的车辆跟驰建模网络安全与数据管理(2022年3期)2022-05-23高阶时频变换理论与应用计算技术与自动化(2022年1期)2022-04-15分数阶傅里叶变换改进算法在时频分析中的应用强度与环境(2021年3期)2021-07-27基于残差学习的自适应无人机目标跟踪算法北京航空航天大学学报(2020年10期)2020-11-14高聚焦时频分析算法研究现代电子技术(2020年13期)2020-08-07基于深度卷积的残差三生网络研究与应用北京航空航天大学学报(2019年9期)2019-10-26基于稀疏时频分解的空中目标微动特征分析宇航计测技术(2018年3期)2018-09-08FCC启动 首次高频段5G频谱拍卖通信产业报(2018年40期)2018-01-22本文来源：http://www.zhangdahai.com/shiyongfanwen/qitafanwen/2023/0607/608319.html
