李子睿 崔晓龙 王 超 张文俊 吴 军
（1.华中科技大学船舶与海洋工程学院 武汉 430074）（2.武汉第二船舶设计研究所 武汉 430205）
机械设备作为智能制造业的生产基础，一旦发生故障，将造成严重的安全问题和巨大的经济损失。为确保机械设备安全可靠运行，精准诊断机械设备的故障是至关重要。目前，基于深度学习的故障诊断方法备受广大研究学者关注，其能够自动从海量监测数据提取出具有代表性故障信息，实现对设备的端到端的故障诊断［1～2］。然而，基于深度学习的故障诊断方法取得高精度的诊断性能依赖于大量有标签故障样本［3］。然而，在实际生产中，设备大部分时间都是处于正常状态下运行，很难收集大量设备故障样本，导致该情况下训练出的深度学习模型的诊断精度难以保证［4］。因此，亟需研究小样本情况下的设备故障诊断方法。
近年来，学者们已经在小样本故障诊断领域开展了相关研究并取得了显著的成果，主要可以总结为两种方法：一是基于生成对抗网络进行样本扩充，如郭伟等［5］提出了一种改进的卷积生成对抗网络，借助生成对抗网络的数据生成能力和改进深层卷积网络的特征提取能力，提高复杂工况下少样本轴承故障诊断准确性。Yang 等［6］设计了一种结合条件生成对抗网络和二维卷积神经网络的融合诊断模型用于小样本轴承故障诊断。Liu 等［7］提出了一种双向InfoMax生成对抗网络的无监督表征学习方法，实现了小样本情况下的特征提取与故障诊断。二是基于迁移学习建立小样本故障诊断模型，如刘飞等［8］提出了一种基于迁移学习与深度残差网络的滚动轴承故障诊断算法，通过迁移学习方法，使得小样本数据集可以训练深层深度学习模型。Wu 等［9］利用元学习构建了用于变工况下小样本故障诊断的小样本迁移学习方法。Dong 等［10］提出了一种利用动态模型生成海量的仿真数据和参数迁移策略的小样本故障智能诊断方法。李可等［11］利用不同设备已有的数据样本，通过多源迁移学习训练得到少故障样本设备的故障诊断模型。上述两种方法都在小样本情况下取得了显著的故障诊断性能，然而，基于生成对抗网络等方法的生成故障样本质量难以保证。基于迁移学习的方法的源域数据集需与目标域数据集在数据分布上具有一定的相关性，并且要求源域数据集有足够多的有标签数据，然而实际中很难发现合适的数据集作为源域数据集。
从有限故障样本下提取出稳健的故障特征是解决小样本故障诊断问题的关键，有些学者试图结合故障机理、特征提取算法等先验知识开展小样本故障诊断研究。Wu等［12］从监测数据中提取统计特征，使用集成学习与支持向量机评估退化系统的健康状态。Xie 等［13］采用专业知识进行特征提取，并融合神经网络自适应提取的隐藏特征，实现了具有鲁棒性与泛化性的智能故障诊断。最近有研究表明，将先验知识融入到深度学习模型中可以提高其性能，如Zhang 等［14］利用先验特征来增强端到端故障诊断模型的训练过程，有效地实现了小样本故障诊断。Guo 等［15］融合领域知识、运行状态和振动信号构建了一个多任务CNN，完成故障诊断与定位。然而，现有方法仅从先验知识角度提取机械设备的故障特征，导致一些隐藏性的故障特征容易被忽略。
针对上述问题，本文提出一种基于卷积自注意力网络和先验知识的机械设备小样本故障诊断方法。该方法包括卷积模块、特征拼接模块、自注意力模块。首先，从振动信号提取出时域特征、频域特征等多维特征，并作为先验知识；
然后，卷积模块自动提取原始信号特征，并在特征拼接模块中与先验特征拼接；
最后，利用自注意力模块充分挖掘拼接特征中的先验信息与隐藏特征，并输出故障类型。通过某型号液压螺杆泵实验台验证提出方法在小样本场景下故障诊断的有效性，并与现有方法在故障诊断性能上进行比较。
本文通过构建卷积自注意力网络自动提取信号特征，利用先验知识优化诊断模型的训练，减少训练所需样本量。下面主要介绍所提出的卷积自注意力网络与所使用的先验知识。
2.1 卷积自注意力网络模型
自注意力网络利用自注意力机制获取输入不同部分之间的相关性，具有全局特征提取能力。自注意力网络的结构如图1 所示，其由N 个相同的层结构组成，每层有两个子层，一是多头自注意力机制层，利用自注意力机制学习特征内部的关系；
二是前馈层，为全连接网络，对每个输入的向量进行相同的线性变换，得到输出。两个子层都采用残差连接，并进行层归一化。
图1 自注意力网络结构
1）多头自注意力机制层
如图1 所示，多头自注意力机制层主要由有缩放的点乘注意力机制实现，其可以描述为将查询（Q）和一组键-值（K-V）对映射到输出，输出是一组值的加权和，其中分配给每个值的权重使用键进行查询计算得到。多头注意力机制为H 组有缩放的点乘注意力机制，每一组注意力用于将输入映射到不同的子表示空间，这使得模型可以在不同子表示空间中关注不同的位置。有缩放的点乘注意力机制输出矩阵计算公式如式（1）所示。
其中，dk为Q、K 矩阵的维度，公式中对矩阵Q 与K的内积除以dk的平方根，进行矩阵内积的缩放，防止内积过大导致softmax 函数的输出落在梯度较小的区域。
多头自注意力机制的计算过程如式（2）所示，
2）前馈层
前馈层为拥有两个全连接层的多层感知机，中间使用ReLU 激活函数进行连接，前馈层的输出可表示为式（3）：
其中，W1、W2、b1、b2均为网络参数，前馈层的输入和输出维度都为dmodel。
本文提出的卷积自注意力网络模型主要由卷积模块、特征拼接模块与自注意力模块组成，其结构及参数如表1 所示。模型将卷积神经网络提取的空间特征与依据先验知识提取的信号时域、频域特征通过归一化编码层与自注意力模块进行融合，使得模型在小样本情况下，能够学习到丰富的故障特征信息。
表1 模型结构及参数
2.2 多维度特征先验知识
在工程应用中，领域专家往往结合领域背景知识以及工程经验对设备故障进行诊断。专家所依赖的经验与知识，如故障机理、故障特征、诊断规则等，称为先验知识。小样本情况下，由于只有少量的训练样本，模型很难学习到具有代表性的故障特征，利用多维度先验知识能够使模型获得更丰富的样本信息，从而提升模型的泛化性。
本文选择对每个通道的振动信号提取10 个时域特征值与8 个小波包频域特征值，作为诊断模型所需的先验知识。时域特征值的计算公式如表2所示，其中X 为振动信号，X={x1,x2,…,xi}1 ≤i≤N，N为信号样本长度。
表2 先验时域特征计算
小波包频域特征计算方式为通过对振动信号进行3 层小波包分解获取8 个频段的小波包系数{s1,s2,…,s8}，计算每个频段小波包系数的L2 范数，如式（4）所示，其中n 为小波包系数的维度。得到信号的小波包频域特征值{f11,f12,…,f18}。
本文提出的机械设备小样本故障诊断方法流程如图2 所示，分为三个步骤：信号预处理、卷积自注意力网络模型训练、故障诊断。
图2 小样本故障诊断方法流程
1）信号预处理
在信号预处理步骤中主要包含两个部分，一是将原始信号转换为灰度图，二是依据先验知识计算原始信号的特征。对振动加速度传感器采集的设备多通道振动信号以长度L 进行截取，获取信号样本。为了降低模型在训练时所需的内存和时间，将每个通道的振动信号转换为大小为m×n 的二维灰度图像，其中m、n满足式（5）。
原始振动信号S 转换为二维灰度图Simage的转换公式如式（6）所示。
2）卷积自注意力网络模型训练
依据时域特征计算与频域特征计算先验知识，对原始多通道信号进行时域、频域特征提取。由于计算得出的特征值的量纲不同，存在数量级的差别，如果直接用于网络训练，网络会偏向于数值较大的特征。为了消除这种影响，对特征值进行标准化，如式（7）所示，将计算得出的特征值转换为相同数量级的无量纲特征数据，作为先验知识优化模型训练过程。
其中，特征集合f={f1,f1,…,f18}，fmean为集合的均值，fstd为集合的方差。
在卷积自注意力网络模型训练中，以多通道原始振动信号的灰度图作为输入，多通道灰度图经过二维卷积层与池化层的降维，融合为自定义维数的特征图。特征图经过维数转换，构造为单通道一维的空间特征。在此处将先验知识引入模型的训练，拼接空间特征与时域特征、频域特征，并切分为固定长度的特征序列，然后在特征序列前加入类别编码。将所有特征序列组合成为特征矩阵，分别与自注意力权重矩阵点乘，得到查询矩阵Q、键矩阵K、值矩阵V，进行自注意力机制计算。自注意力机制可以捕捉特征序列之间的关系，通过网络训练更新类别编码中的参数。自注意力层输出每个样本的类别编码，经过全连接层，得到模型预测类别向量用于后续的故障诊断。
3）故障诊断
振动信号样本被分为训练集与测试集，卷积自注意力网络模型经过训练集训练，使用测试集进行故障诊断测试。网络输出为故障类别1，故障类别2，…，故障类别N 的预测概率，选取预测概率最大的故障类别作为测试集样本的故障诊断类别。
4.1 实验说明
为了验证所提出诊断模型的有效性，采用某液压螺杆泵试验台采集到的液压螺杆泵振动数据对模型进行验证。试验台主要由液压螺杆泵组、截止阀、换热器、油箱组成，通过截止阀为液压螺杆泵提供出口油压，模拟负载。液压螺杆泵组由泵、电机、联轴器、联接架等组成，其通过减震器安装在过渡板上，过渡板安装在安装底座上。实验所用加速度传感器采样频率为20000Hz，液压螺杆泵组工作工况为电机转速2950r/min，螺杆泵出口压力5Mpa。
利用液压螺杆泵试验台及相应故障件，分别进行紧固件松动、泵汽蚀、联轴器故障、对中偏差、轴承故障共5 项故障实验，每项故障实验数据采集时间为10min。将原始信号截取为采样时间1s 的样本，每个样本的采样点数为20000 个点，每种健康状态截取150 个样本，如表3 所示。正常与各故障状态的某一样本的信号波形图如图3所示。
表3 数据集描述
图3 液压螺杆泵正常及故障状态振动信号
4.2 实验结果与分析
在本文实验中，小样本的范围设定为每种健康状态的训练样本数量不超过30 个。因此，随机从每种健康状态的样本集中分别抽取10、15、20、25、30 个样本作为训练样本，在剩余样本中均抽取80个样本作为测试样本。此外，本文还从每种健康状态样本集中抽取了60 个训练样本进行实验，目的是为了验证模型在更多训练样本数量情况下的有效性。
实验过程中，模型输入为8 通道100×200 的灰度图、长度为8×18 的先验知识特征，输出为1×6 的各健康状态预测概率。训练迭代次数为100 次，训练批次大小为10，学习率设置为0.001，损失函数使用交叉熵损失，网络参数由Adam优化器更新。
为了比较提出方法中先验知识对小样本故障诊断精度的影响，本文选择了三种方法进行比较，分别是：
1）FS：从原始振动信号中提取18 个先验知识特征，直接输入Softmax分类器进行故障分类
2）CNN：将原始振动信号转换为二维灰度图，输入到二维CNN中进行故障分类。
3）自注意力网络：将原始振动信号转换为二维灰度图，输入到自注意力网络中进行故障诊断。
为了降低偶然因素的影响，每种方法重复进行10 次实验，不同方法诊断测试结果准确率的平均值如表4 所示，图4 以直方图的形式显示了每个模型的测试结果及误差棒。
表4 故障诊断结果准确率
图4 不同方法的测试准确率
由图4 可以看出，在不同样本数量下，本文提出的方法在所有模型中均达到了最高诊断精度。随着样本数量的增加，每种方法的诊断精度都能够提高。在样本量为10 的情况下，CNN 与自注意力网络由于样本量较少，模型很难从数据中学习到有效的特征，容易出现过拟合，而提出的方法利用先验知识指导模型自动提取特征，诊断精度可以达到85.6%，相比FS网络，精度提升约14%，相比CNN与自注意力网络，精度提升约7%。当样本量达到25个时，CNN、自注意力网络和本文提出的方法诊断精度均达到90%以上，由于FS 网络仅利用先验知识提取特征，很难获得更多的样本信息，诊断精度仅84.2%。样本数为60个时，本文提出的方法相比其他方法仍具有优势。
由于自注意力网络对于数据的结构信息几乎不作任何假设，小样本情况下易过拟合，与CNN 相比，自注意力网络的诊断精度较低，这种情况在样本数低于30 个时尤其明显，且诊断结果误差较大，训练不够稳定。所提出方法通过自注意力模块将先验特征融入训练过程，在样本数量很少时，利用先验知识指导网络训练，能够达到较高的准确率，样本数为20 个时，所提出方法的诊断精度已高于90%，并且诊断结果误差小，模型训练稳定。
为了观察所提出方法对不同类别的分类效果，绘制训练集样本数为30 个时某一次测试结果的混淆矩阵，如图5 所示。纵轴为真实标签值，横轴为模型预测标签值。可以看出，所提出方法对各健康状态均能够有效识别，其中正常状态与泵汽蚀状态诊断精度相对较低，为91%左右，紧固件松动、联轴器故障、轴承故障的诊断精度为97%左右，对中偏差的诊断精度接近100%。
图5 测试结果混淆矩阵
为了进一步研究先验知识对模型训练及诊断的影响，将模型输出的特征进行T-SNE 降维可视化展示，如图6 所示。从图中可以看出，样本数为10 时，不同故障模式的边界重合度较高，未引入先验知识的模型难以区分不同故障，引入先验知识后，模型能够清晰地区分泵汽蚀、联轴器故障、对中偏差、轴承故障四种故障模式。样本数为20 时，模型引入先验知识后能够更清晰地划分泵汽蚀、联轴器故障、对中偏差的特征边界。样本数为30 时，模型已经具有良好的分类效果，仅正常与紧固件松动两种状态存在较难区分的情况，本文所提出方法能够减少混杂在正常特征中的紧固件松动特征，提升正常状态的诊断精度。总的来说，不同样本数量下，模型引入先验知识后的分类效果更好，T-SNE降维特征的边界更清晰。特别是在样本数较少时，引入先验知识能够显著地改善模型分类效果。
图6 不同样本数下模型分类效果比较
本文提出了一种基于卷积自注意力网络和先验知识的机械设备小样本故障诊断模型，解决了小样本条件下的机械设备故障诊断训练样本不足、精度低的问题。实验结果表明，在小样本情况下，所提出方法比相关方法具有更好的性能。本文主要结论如下：
1）结合卷积自注意力网络进行空间特征提取和先验知识进行时域、频域特征提取能够充分挖掘样本中的信息，有效实现小样本故障诊断。
2）提出的卷积自注意力网络可以融合模型自动提取的特征与先验知识，使得先验知识能够优化模型训练过程，可以很好地缓解样本量不足导致的过拟合问题，提升小样本故障诊断准确率。
猜你喜欢 先验注意力故障诊断 让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09基于无噪图像块先验的MRI低秩分解去噪算法研究成都信息工程大学学报(2019年3期)2019-09-25“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13基于自适应块组割先验的噪声图像超分辨率重建自动化学报(2017年5期)2017-05-14A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21因果图定性分析法及其在故障诊断中的应用重庆工商大学学报（自然科学版）(2015年10期)2015-12-28基于平滑先验法的被动声信号趋势项消除探测与控制学报(2015年4期)2015-12-15先验的废话与功能的进路东南法学(2015年2期)2015-06-05基于LCD和排列熵的滚动轴承故障诊断振动、测试与诊断(2014年5期)2014-03-01基于WPD-HHT的滚动轴承故障诊断机械与电子(2014年1期)2014-02-28