基于最大相关熵深度神经网络单分类器异常检测方法   0    0

本发明公开了一种基于最大相关熵深度神经网络单分类器异常检测方法。本发明实现如下：输入只包含正常类的训练数据集；输入样本数据经过多层ELM‑AE自编码器编码和解码处理，得到重构的特征值；将重构的特征值输入最后一层ELM，基于最大相关熵准则的目标函数求得输出权值，结合定点迭代更新的梯度推导被用于输出权重的优化，并得到实际输出；然后，得到实际输出与输出标签的距离误差向量，并从大到小排列，根据设置的阈值参数，确定分隔正常类和异常类的阈值；最后，将测试数据输入到该基于最大相关熵的深层神经网络单分类器模型中，测试该模型的识别效果。本发明有较强鲁棒性。结合超限学习机保留其快速的学习性能和良好的泛化性能。

1.基于最大相关熵深度神经网络单分类器异常检测方法，其特征在于包括如下步骤：
步骤1、输入只包含正常类的训练样本集，进行特征归一化；
步骤2、提取归一化后的训练样本的特征，即将训练样本经过多层ELM‑AE自编码器编码和解码处理，得到重构的特征值；
步骤3、计算分类学习的输出权重β，将重构的特征值输入最后一层ELM，基于最大相关熵准则的目标函数求得输出权值β，结合定点迭代更新的梯度推导优化网络输出权重，并得到实际输出；
步骤4、计算单分类器阈值θ，计算实际输出与样本标签的误差距离，并将得到的误差距离进行从大到小排序，根据设置的阈值参数，确定分隔正常类和异常类的阈值；
步骤5、输入测试数据进行测试，将测试数据输入到基于最大相关熵的深层神经网络单分类器模型中，测试该模型的识别效果；
其中，测试数据包含正常类和异常类；
步骤1具体实现如下：
1‑1、给训练样本 进行特征归一化，归一化后的训练样
本 其中 表示第i个样本， 表示其为目标样本，训练集只包含目标
样本，N为训练样本数量；
步骤2具体实现如下：
2‑1、归一化后的训练样本 即ELM‑AE的输入和输出矩阵，其中：由于
ELM‑AE自编码器能够通过简单地习将输入复制到输出，所以输入和输出均为XA；
2‑2、随机生成隐层输入权值矩阵 和正交化偏置向量矩阵
将输入的训练样本XA映射到相同或者不同的数据维度空间：
T T
hk＝g(wkxα+bk)，(wk) wk＝I,(bk) bk＝I，
其中：g()表示激活函数，k＝1,2,...,K，为ELM‑AE个数；I是单位向量；
2‑3、求解ELM‑AE的输出权值矩阵
设ELM‑AE个数为K，输入输出层神经元数量为d，隐含层神经元数量为 以及每个隐含层的 正则化参数 若 或 即对于稀疏 及压缩的特征 表达，
若 即对于等维度的特征映射，
其中： 表示ELM‑AE的第k个隐含层输出矩阵。

2.根据权利要求1所述的基于最大相关熵深度神经网络单分类器异常检测方法，其特征在于步骤3具体实现如下：
3‑1、得到初始化输出权重
经过K‑1层ELM‑AE得到输出矩阵Ⅰ，表示为X′＝[x′1,x′2,...,x′N]，采用最大相关熵准则取代均方误差来优化目标函数；给定高斯核宽度σ，最大容忍误差ε和最大迭代次数J，并
0
初始化输出权重β＝0，初始误差 并将初始误差转化为对角矩阵
3‑2、优化输出权重
结合定点迭代更新的梯度推导优化网络输出权重 ；计算输出权重为
其中C是常数，计算误差为
转化为对角矩阵为
3‑3、计算成本函数
j j‑1 j j‑1
计算成本函数J(β)和J(β ),j＝1,...,J，当|J(β)‑J(β )|≥ε或者j＜J时，则重复步骤3‑2进行迭代更新，直到满足条件得到最终的输出权值β；
所述的成本函数为：
隐藏层输出节点矩阵为 且
3‑4、得到实际输出

3.根据权利要求2所述的基于最大相关熵深度神经网络单分类器异常检测方法，其特征在于步骤4具体实现如下：
4‑1、计算实际输出Yα与样本标签T的误差距离：
K K
其中，h(x′i)为H第i个样本即第i列数据；
4‑2、将得到的误差距离进行从大到小排序, 得到 其中
和 分别表示最大和最小的误差距离；
4‑3、设置阈值参数μ，得到阈值为θ＝εα[floor(μ·N)]；
其中：floor为取不大于μ·N的整数。

4.根据权利要求3所述的基于最大相关熵深度神经网络单分类器异常检测方法，其特征在于步骤5具体实现如下：
5‑1、给定测试样本 其中 表示第i个样本， 表示
其为目标样本， 表示其为非目标样本，P为总共的测试样本数量；
5‑2、输入到多层ELM‑AE得到每层输出 令最后一层ELM‑AE输出为Y′＝[y′1,y′2,...,y′N]；
5‑3、输入到ELM分类层得到Yβ＝β·Y′，计算实际输出与样本标签T的误差距离
5‑4、将得到的误差距离 与单分类器阈值θ比较