一种基于最优结构多维泰勒网的参数自适应更新方法   0    0

本发明涉及一种基于最优结构多维泰勒网的参数自适应更新方法，本发明大体包括三部分内容。第一部分针对具备噪声干扰的非线性时变系统进行系统建模；第二部分，用卡尔曼滤波的参数更新算法对多维泰勒网的连接权值进行参数更新；第三部分，结合剪枝算法来优化网络结构，建立一种具备最优结构和最佳泛化能力的多维泰勒网络。在负荷电荷的预测中，基于多维泰勒网的卡尔曼滤波参数更新算法相比于带有遗忘因子的递归最小二乘算法，在每一步的更新估计中增加了噪声，卡尔曼滤波算法使用新的量测值和估计值进行融合可以更好的估计参数精度。

1.一种基于最优结构多维泰勒网的参数自适应更新方法，其特征在于该方法包括以下步骤：
步骤
1.系统建模；
多维泰勒网包括三层结构，采用前向单中间层结构；包括输入层、中间层和输出层，中间层表示多维泰勒网络的处理层，输入变量在中间层实现各幂次的乘积项单元的加权求和；中间层是由各个幂次乘积项单元和对应的权值向量w表示，其中w＝{w1,w2,...,wt,...,wN}表示连接层中间节点和网络输出层节点的连接权值向量，wt表示逼近展开式中第t个乘积项之前的权值；
步骤1.1对神经网络隐含层激活函数进行泰勒展开；由于神经网络中的激活函数常选取sigmod函数，其结构形式为 故得其泰勒展开的形式如下：
上述结构形式的一般性描述如下：
2 n n
f(x)＝a0+a1x+a2x+…+anx+o(x)                    (2)
步骤1.2使用原始激活函数的n阶泰勒展开式替代原有激活函数，得到神经网络第j个隐含层节点输出，如式(3)所示：
其中，N(n,m)表示n元多项式m次幂展开后对应的多项式项数，ωt为各幂次乘积项对应的系数，a＝1,2,…,n；
步骤1.3将整个网络隐含节点的输出进行线性组合，作为神经网络的输出；故将神经网络的输出层输出描述成如下形式：
T m
设输入为m个节点x(k)＝{x1(k),x2(k),....,xm(k)}∈R ，x(k)表示输入的电荷数据，y(k)表示实际电荷的真实值， 表示输出电荷预测值，中间层与输出层的连接权值wI(k)T
＝{w1(k),w2(k),....,wm(k)}，将(4)式改写为下列形式：
式中， 为第t个变量乘积项之前的权值，将多维泰勒网的输出模型转换为矩阵形式：
步骤1.4定义如下目标函数：
J(wI)＝E{wI|Y(1),Y(2)...,Y(M)}                      (8)
已知观测序列Y(0),Y(1),...Y(M)，找出w(k+1)的最优估计值
步骤1.5使得估计误差 的方差最小即
步骤2、给出卡尔曼滤波在多维泰勒网的参数更新计算步骤；
步骤2.1离线阶段求取多维泰勒网的初始的连接权值β；
多维泰勒网的结构和极限学习机的相似，其中极限学习机是把传统的BP神经网络的隐含层输入权值以及偏置给随机初始化，从而只求解隐含层的输出的权值，并且隐含层的选取是和神经网络相同的；
其中式子(11)可以看做BP神经网络的模型结构，其中极限学习机是将BP神经网络的输入权值和偏置给随机初始化，而输出的偏置为零，即ω和a为随机的常数，b＝0，所以极限学习机的结构写成下列形式：
T
Y＝[y(1),y(2),...y(M)]＝H·B                                (12)其中H表示隐含层的输出B表示输出的权值，Y表示期望的输出；当输入的权重ωij与隐含层的偏置aj被随机给定，隐含层的矩阵就被唯一的确定；隐含层和输出的权值β求解就转换为通过最小二乘求解的问题，求得最小二乘解：
min||Hβ‑Y||      (13)
所以最优解为
步骤2.2在线序贯学习阶段，使用kalman filter来更新参数β；
(1):假设输出权重β是kalman filter中的状态x，则有
β(k+1/k)＝β(k/k)+w(k)                          (15)
这里，β(k+1/k)指的是预测状态，β(k/k)指的是k时刻的最优状态估计值；
(2):预测对应于β(k+1/k)的协方差矩阵P，即
T
P(k+1/k)＝A(k+1/k)P(k/k)A(k+1/k) +Q                      (16)
这里，P(k+1/k)是对应于β(k+1/k)的协方差，而P(k/k)是对应于β(k/k)的协方差，Q指的是状态方程中的噪声的协方差矩阵；
(3):计算Kalman filter最优增益阵K(k+1)，可得下式：
T T ‑1
K(k+1)＝P(k+1/k)H(k+1)[H(k+1)P(k+1/k)H(k+1) +R]         (17)
(4):基于预测的状态，当前状态 的最好估计计算如下:
(5):更新 的协方差P，即：
(6):重复(1)～(5)，实现待估参数的迭代更新；
步骤3基于剪枝法卡和尔曼滤波混合算法辨识步骤：
步骤3.1为了实现最优结构的多维泰勒网在具备含有噪声干扰的非线性时变系统参数辨识，在kalman filter每一次迭代过程中嵌入改进权值的剪枝算法；辨识分为离线和在线的两个阶段，离线状态无实时性要求，所以可以多次迭代获得最佳泛化能力的网络，设目标函数的形式为：
步骤3.2其中上式子中右边第一项用来表示多维泰勒网的性能，其为k+1时刻所有训练样本误差的平方和；而第二项用来表示多维泰勒网的规模；其训练过程中权值调整为：
上式中，
通过剪枝算法将多维泰勒网中间层的一些权值逐步的衰减到0附近，在离线阶段，假设中间层的权值趋近于0，那么就删除冗余节点，这样会保留网络中重要的信息；最后得到最优的网络结构的多维泰勒网；
步骤3.3权值的调整和剪枝的步骤为：
a:规定初始化多维泰勒网的规模，并且初始化其权值；
b:用卡尔曼滤波和剪枝混合算法的多维泰勒网模型进行训练，并且以公式(20)为目标函数；然后根据权值调整公式来调整权值，最终达到误差的精度要求；
c:删除多维泰勒网中间层的冗余信息的节点，最终得到具备最优结构和最佳泛化能力的多维泰勒网结构；
步骤3.4在求得最优多维泰勒网结构的基础上，在线阶段，多维泰勒网的权值仅由kalman filter来进行调整，所以需要最小的瞬时目标函数为：
并通过权值的调整项从网络权值瞬时校正法则去除；
步骤3.5在对网络输入到输出的中间层进行节点的参数调整后，在代入到卡尔曼滤波算法中进行参数的自适应更新，最后得到训练好的网络参数值。