[0005] 本发明针对现有故障预测技术对传感器采集的数值数据和运行日志的文本数据特征提取和融合的不足，提出了一种基于门控三塔Transformer的智能制造装备故障预测方法。首先，设计了滑窗掩膜注意力机制进行对多尺度时序特征进行提取并利用多尺度聚合模块进行时序特征聚合，不仅能够在多个滑窗内应用掩膜注意力，减小模型的计算开销，而且能够增加模型对局部时序特征信息的提取及表达能力；然后，在提取文本特征后，采用跨塔注意力机制学习文本‑时序注意力权重，有效地实现端到端的智能制造装备故障预测。
[0006] 本发明采用由多个编码器组成的Transformer架构。首先，通道嵌入矩阵输入到通道塔编码器，得到数值数据的通道特征；然后，将时序嵌入矩阵输入到带有多尺度聚合模块的滑窗塔编码器，得到聚合时序特征，该特征包含多尺度的全局与局部时序信息；进一步，将文本表示输入至文本塔编码器得到文本特征并将文本特征和时序特征输入至跨塔注意力模块得到加权文本特征，使模型能倾向利用故障信息相关的文本特征进行预测；最后，本发明采用门控模块融合通道特征、聚合时序特征和加权文本特征进行预测故障类别，使得模型能够动态地自适应融合多台智能制造装备的三种特征，从而提升智能制造装备故障预测的准确率。
[0007] 本发明首先获取一定天数内多台同类智能制造装备的由传感器采集的相关数值数据集 运行日志文本数据集 和装备状态数据集 其中 为第s台智能制造装备在第d天的K类数值数据(如填料温
度、压力、流量等)，T为数据总天数，D为故障预测日期，N为智能制造装备总台数； 为第s台智能制造装备在第d天的多条日志文本数据； 为第s台智能制造装备在第D天第b状态的真实标记，若第s台智能制造装备的状态类别属于b则为1，否则为0，B为状态总数(如状态正常、装备某部件发生故障等)。并用 表示第s台智能制造装备的所有数值数据， 表示第s台智能制造装备第d天的所有文本数据。
[0008] 本发明具体实现包括如下步骤：
[0009] S1.数据采集：获取一定天数内多台同类智能制造装备的由传感器采集的相关数值数据集 运行日志文本数据集 和装备状态数据集
[0010] 其中 为第s台智能制造装备在第d天的K类数值数据，T为数据总天数，D为故障预测日期，N为智能制造装备总台数；
[0011] 为第s台智能制造装备在第d天的多条日志文本数据；
[0012] 为第s台智能制造装备在第D天第b状态的真实标记，若第s台智能制造装备的状态类别属于b则为1，否则为0，B为状态总数；并用 表示第s台智能制造装备的所有数值数据， 表示第s台智能制造装备第d天的所有文本数据；
[0013] S2.对数值数据及文本数据进行变换，得到通道嵌入矩阵、时序嵌入矩阵及句嵌入向量，具体包括以下子步骤：
[0014] S21.将第s台智能制造装备的转置数值数据 输入至线性层，获得通道嵌入矩阵[0015] S22.将第s台智能制造装备的原始数值数据 输入至线性层，并经过位置编码获得时序嵌入矩阵
[0016] S23.将第s台智能制造装备的文本数据 输入至BERT模型获得每条文本数据的句嵌入向量；
[0017] S24.对每天的句嵌入向量分别采用最小值、平均值、最大值池化操作获得文本表示
[0018] S3.将通道嵌入矩阵 输入至通道塔编码器，得到数值数据的通道特征，通c道塔编码器由L个通道编码层 构成，具体包括以下子步骤：
[0019] S31.对 层通道编码层提取的通道特征进行归一化处理
[0020] S32.对步骤S31得到的归一化特征进行多头注意力层特征提取，该层采用残差结构，其计算公式为：
[0021]
[0022] 多头注意力层的具体操作包括以下子步骤：
[0023] SU1.通道特征和参数矩阵相乘得到第a个自注意力SAa(·)的输入嵌入矩阵映射的查询矩阵qa、键矩阵ka和值矩阵va；
[0024] SU2.通过归一化指数softmax函数计算得到自注意力权重矩阵为映射矩阵内每个向量的维度大小；
[0025] SU3.自注意力权重矩阵sa和值矩阵va相乘得到
[0026] SU4.对各注意力层得到的特征进行拼接，并乘参数矩阵得到MSA层的输出特征[0027] S33.对步骤S32所得到的特征进行归一化处理
[0028] S34.将归一化特征输入至多层感知机进行特征提取，其结果即为第 层通道编码特征，其计算公式为：
[0029]
[0030] S35.第 层通道编码特征 输入至第 层通道编码层，重复步骤S31‑S34；
[0031] S4.滑窗塔编码器对时序嵌入矩阵 进行多层多尺度特征提取得到多尺度时序特征 具体包括以下子步骤：
[0032] S41.对 层滑窗编码层层提取的时序特征进行归一化处理
[0033] S42.对归一化后的特征采用滑窗掩膜注意力层提取特征，当 为奇数时，执行以下操作：
[0034] SN1.第 个滑窗掩膜注意力层以 时间单位大小的滑窗将时序特征进行非重叠均分且
[0035] SN2.采用不大于 时间单位大小的滑窗将边缘时序特征完整包括；
[0036] SN3.在该层滑窗内进行掩膜自注意力计算，将多头注意力计算步骤中的自注意力权重矩阵sa上三角元素置0；
[0037] SN4.使用固定滑窗进行掩膜自注意力计算，并采用残差结构计算本层的输出时序特征
[0038] 当 为偶数时，执行以下操作：
[0039] SN5.第 个滑窗掩膜注意力层先将第 个滑窗掩膜注意力层的所有滑窗以 时间单位大小进行移动；
[0040] SN6.采用不大于 时间单位大小的滑窗将边缘时序特征完整包括；
[0041] SN7.在该层滑窗内进行掩膜自注意力计算，将多头注意力计算步骤中的自注意力权重矩阵sa上三角元素置0；
[0042] SN8.使用固定滑窗进行掩膜自注意力计算，并采用残差结构计算本层的输出时序特征
[0043] S43.对步骤S42提取的时序特征进行归一化处理
[0044] S44 .对归一化后的时序特征采用多层感知机提取特征，
[0045] S45.滑窗编码层输出的多尺度时序特征 Lt进行多尺度聚合得到聚合时序特征 并输出，该特征包含多尺度的全局与局部时序信息，计算公式为：
[0046]
[0047] S5.将文本表示输入至文本塔编码器得到文本特征并将文本特征和时序特征输入至跨塔注意力模块得到加权文本特征,具体包括以下子步骤：
[0048] S51.对 层输出的文本特征进行归一化
[0049] S52.通过多头注意力层对归一化后的文本特征提取特征，计算公式为：
[0050] S53.对步骤S52计算得到的文本特征进行归一化
[0051] S54.对归一化后的文本特征进行多层感知机特征提取，计算公式为：
[0052] S6.采用门控模块融合通道特征、聚合时序特征和加权文本特征计算输出预测故障类别概率向量，具体包括以下子步骤：
[0053] S61.将全局时序特征 输入至全连接层得到线性映射后的全局时序特征[0054] S62.将全局时序特征 进行转置得到对齐的特征
[0055] S63.利用矩阵相乘操作和Softmax(·)函数得到文本‑时序注意力权重计算公式为：
[0056]
[0057] 其中，FC(·)为全连接层；
[0058] S64.输出采用文本‑时序注意力权重计算的加权文本特征：
[0059] S65.根据三种特征加权融合，得到预测结果，具体包括以下子步骤：
[0060] SW1.将通道特征 聚合时序特征 和加权文本特征 输入到门控模块；
[0061] SW2.门控层G通过自适应权重对三种特征进行加权融合得到门控特征[0062] SW3.将门控特征输入至全连接层FC得到第s台智能制造装备预测故障类别概率向量ys，计算公式为：
[0063]
[0064] S7.根据预测故障类别概率向量计算交叉熵损失，该步骤只在训练过程中使用，用以引导模型能够准确预测智能制造装备故障类别。
[0065] 作为优选，步骤S42通过在多个不重叠相邻时序滑窗内进行掩膜注意力计算,实现高效的多尺度时序特征提取,并通过滑动窗口建立多个滑窗内时序信息交流机制。
[0066] 一种滑窗掩膜注意力层，通过在多个不重叠相邻时序滑窗内进行掩膜注意力计算实现高效的多尺度时序特征提取并通过滑动窗口建立多个滑窗内时序信息交流机制；同时，本发明设计了多尺度聚合模块作为聚合多尺度时序特征的功能模块。多尺度时序特征提取与多尺度聚合的计算公式为：
[0067]
[0068] 作为优选，步骤S5跨塔注意力模块，通过计算全局时序特征 和文本特征的注意力权重实现模型对于文本‑时序相关性的端到端学习。
[0069] 作为优选，步骤S6采用门控模块融合通道特征、聚合时序特征和加权文本特征，使用多特征融合向量方法进行故障预测，提高模型对故障预测的准确率及模型的鲁棒性。
[0070] 本发明门控三塔Transformer架构由通道塔编码器、带有多尺度聚合模块的滑窗塔编码器、带有跨塔注意力模块的文本塔编码器和门控层构成。通道塔编码器、滑窗塔编码器和文本塔编码器能够分别有效地提取数值数据的通道特征、聚合时序特征和文本数据的加权文本特征，门控层利用动态权重对三种特征进行加权融合，使得模型能够针对多台智能制造装备的数据进行特征自适应，从而提升预测智能制造装备故障类别的准确性。
