[0049] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0050] 本发明的目的是针对现有技术的缺陷，提供了一种基于图网络池化的新闻文本分类方法。
[0051] 实施例一
[0052] 本实施例提供一种基于图网络池化的新闻文本分类方法，如图1所示，包括步骤：
[0053] S1.在注意力机制中将结构信息与特征信息相结合，并计算图神经网络中一阶邻域内节点之间的相似性得分，得到具有相似性节点的注意力机制；
[0054] S2.采用稀疏概率激活函数sparsemax算法将得到的注意力机制进行稀疏化，得到节点相对应的集群；
[0055] S3.采用局部聚合卷积计算每个集群的分数，并通过得分高低来判断集群所含有的信息量；
[0056] S4.采用topk选出得分最高的前 个集群，并将选择出的集群进行重新连边得到最终池化后的神经网络。
[0057] 本实施例具体为：首先在图中，利用稀疏注意力自适应地选择相似度高的节点形成集群。在注意力机制中加入结构信息权重，使之与节点特征相结合，有利于学习结构，计算出其一阶邻域内节点之间的相似性得分，再利用sparsemax将注意力值进行稀疏化得到分配矩阵，由此得到最终每个集群的节点构成。然后利用局部聚合卷积函数聚合节点得到集群表示，并计算每个集群的信息量，使用TopK选择分数较高的集群，然后通过分配矩阵重新计算图的邻接矩阵，获得最终池化后图的特征矩阵和邻接矩阵。
[0058] 在步骤S1中，在注意力机制中将结构信息与特征信息相结合，并计算图神经网络中一阶邻域内节点之间的相似性得分，得到具有相似性节点的注意力机制。
[0059] 使用注意力机制计算图中一阶邻域内节点之间的相似性得分，其注意力机制将结构信息与特征信息相结合。
[0060] 为了使集群内的节点相似度高，选择在一阶范围内计算。通过注意力机制计算每个一阶邻域内节点之间的相似度，从而找到在当前邻域内应该关注哪些节点信息。此外，为了保持图的结构性，把图的结构也考虑进去，因此节点i和节点j之间的相似注意力为：
[0061] ei,j＝σ(we[xi||xj]T)+λ·ai,j
[0062] 其中σ为激活函数， 为权重向量， 和 分别是节点i和节点j的特征向量，||为拼接操作。 表示当前图的邻接矩阵，ai,j为A的第i行第j列的值。
当节点i和节点j直接相连时，ai,j＝0；当两个节点没有直接相连时，ai,j≠0。
[0063] 在步骤S2中，采用稀疏概率激活函数sparsemax算法将得到的注意力机制进行稀疏化，得到节点相对应的集群。
[0064] 采用sparsemax(稀疏概率激活函数)算法，将得到的注意力进行稀疏化，即对节点特征相似度小的直接赋为0。
[0065] 令si为ei进行归一化后的向量，其中ei为节点i的注意力值，即ei＝[ei,1,ei,2,...ei,N]。 表示维度为N‑1的单纯形。在这里使用sparsemax，其特点是产生稀疏的概率分布：
[0066]
[0067] sparsemax直接将输出ei投影到单纯形的方式能够起到输出的稀疏化效果。但上述的函数形式在真实分布未知的情况下并不能直接求解。因此首先定义拉格朗日函数：
[0068]
[0069] 最优解集 满足下列KKT条件：
[0070]
[0071]
[0072]* *
[0073] 若j∈{1,...,N},有si,j＞0，则μi,j＝0，有 令c(ei)＝{z∈{1,...,N}*|si,z＞0}，有 则
[0074] 综合上述，其对偶形式为
[0075] si,j＝sparsemax(ei,j)＝[ei,j‑τ(ei)]+
[0076]
[0077] 其中[x]+＝max{0,x}，τ(·)为阈值函数，sparsemax(·)保留阈值以上的值，小于阈值的则设为零。
[0078] 在步骤S3中，采用局部聚合卷积计算每个集群的分数，并通过得分高低来判断集群所含有的信息量。
[0079] 利用局部聚合卷积计算出每个集群的分数，通过得分高低来判断集群所含有的信息量；
[0080] 使用适应度函数fφ，根据集群适应度得分φi对集群进行采样。为了计算集群所含有的信息量，对集群表示采取聚合的方式，并计算其局部信息，即局部聚合卷积：
[0081]
[0082] 其中激活函数σ采用sigmoid， 分别表示节点i、节点j的邻域，是可学习参数。其同时考虑了集群的全局和局部重要性，可以综合得出每个集群的分数。前一项 为第i个节点的特征变换，后一项
为当前节点表示与其一阶邻域内的节点表示差
值，若其邻节点能很好表示该节点，则后一项的得分较低，也就是说，舍弃该节点对整体的影响不大。由于之前的注意力稀疏化没有包含每个一阶邻节点信息，所以此处当前节点与其邻域节点的差异性增大，从而筛选出含有信息量较多的节点。
[0083] 在步骤S4中，采用topk选出得分最高的前 个集群，并将选择出的集群进行重新连边得到最终池化后的神经网络。
[0084] 利用topk选出得分最高的前 个集群，并将这些集群进行重新连边得到最终池化后的图；
[0085] 将适应度向量Φ＝[φ1,φ2,...,φN]T与集群表示矩阵SX相乘，以使适应度函数fφ可学习：
[0086]
[0087] 其中 为哈达玛积，S＝[s1,s2,...,sN]为集群分配矩阵，X＝[x1,x2,...,xN]T为特c征矩阵。函数TOPk(·)对适应度得分进行排序，并以比率k进行筛选保留，得出G中前个所选集群的索引 如下所示：
[0088]
[0089] 通过选择这些前 个群集来形成池化图Gp。则对应的分配矩阵 和节点特征矩阵 由下式给出：
[0090]
[0091] 对集群进行了采样后，池化图Gp中用 和 来获得新的邻接矩阵Ap：
[0092]
[0093] 其中 I为单位矩阵。如果两个集群之间中有共同节点，或者这两个集群中p存在节点在原始图G中是相连的，则这个公式可以保证在图G中集群i和j是相连的，增强了图的连通性，减少孤立节点的存在。
[0094] 与现有的新闻文本分类方法相比，本发明的有益效果是：
[0095] 1、使用了注意力机制，将图的结构信息与节点的特征信息相结合，可以更加准确计算出节点之间的相似度。
[0096] 2、使用了sparsemax算法，对一阶邻域的注意力值进行稀疏化，使相似度高的节点形成集群，为集群形成提供了一种新的方法。
[0097] 3、将局部聚合卷积与topk算法相结合，有效地避免了节点特征过平滑的问题，并实现了自适应池化操作，比传统的图池化方法准确率更高。
[0098] 注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
