首页 > 专利 > 杭州电子科技大学 > 一种用于理解图卷积神经网络的可视分析方法专利详情

一种用于理解图卷积神经网络的可视分析方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-10-14
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2020-03-06
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-08-05
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-10-14
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910973555.7 申请日 2019-10-14
公开/公告号 CN110781933B 公开/公告日 2022-08-05
授权日 2022-08-05 预估到期日 2039-10-14
申请年 2019年 公开/公告年 2022年
缴费截止日
分类号 G06N3/04G06N3/08G06K9/62 主分类号 G06N3/04
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 8
权利要求数量 9 非专利引证数量 1
引用专利数量 1 被引证专利数量 0
非专利引证 1、2015.09.17吴飞等.深度学习的可解释性《.航空兵器》.2019,第26卷(第1期),;
引用专利 US2015261846A 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 史晓颖、僧德文、吕凡顺、徐海涛 第一发明人 史晓颖
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 4
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州浙科专利事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
吴秉中
摘要
本发明公开了一种用于理解图卷积神经网络的可视分析方法,包括如下步骤:步骤一,将输入的图结构数据集划分为训练集、验证集和测试集;步骤二,定义参数集合,包括隐藏层数集合和隐藏神经元数集合;步骤三,基于定义好的所述参数集合,训练得到一系列的图卷积神经网络模型;步骤四,设计隐藏层分析视图,展示隐藏层参数对分类准确率的影响;步骤五,设计损失和准确率视图,展示所述模型迭代训练过程中损失和分类准确率的变化;步骤六,采用GraphTSNE可视化方法计算图中节点的位置,设计图布局视图,呈现在不同训练步数下所述节点的预测情况和两个训练步数间所述节点预测情况的差异。
  • 摘要附图
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图1
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图2a
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图2b
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图2c
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图3a
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图3b
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图3c
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图3d
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图4a
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图4b
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图4c
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图4d
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图5a
    一种用于理解图卷积神经网络的可视分析方法
  • 说明书附图:图5b
    一种用于理解图卷积神经网络的可视分析方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-08-05 授权
2 2020-03-06 实质审查的生效 IPC(主分类): G06K 9/62 专利申请号: 201910973555.7 申请日: 2019.10.14
3 2020-02-11 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种用于理解图卷积神经网络的可视分析方法,其特征在于,包括如下步骤:
步骤一,将输入的图结构数据集划分为训练集、验证集和测试集;
步骤二,定义参数集合,包括隐藏层数集合和隐藏神经元数集合;
步骤三,基于定义好的所述参数集合,训练得到一系列的图卷积神经网络模型;
步骤四,设计隐藏层分析视图,展示隐藏层参数对分类准确率的影响;
步骤五,设计损失和准确率视图,展示所述模型迭代训练过程中损失和分类准确率的变化;
步骤六,采用GraphTSNE可视化方法计算图中节点的位置,设计图布局视图,呈现在不同训练步数下所述节点的预测情况和两个训练步数间所述节点预测情况的差异,包括如下步骤:
(1)采用所述GraphTSNE可视化方法将具有高维特征向量的节点集合V映射到二维点空间中;特征矩阵X可以表示为一个特征集合 每个节点的所述特征向量xi可以被看作是一个高维点,采用所述GraphTSNE可视化方法得到一个非线性的映射函数,所述映射函数将所述高维特征向量映射到二维点空间,基于所述映射函数计算所述每个节点的位置,并采用所述每个节点的位置渲染图布局中的节点;
(2)设计图布局视图,所述图布局视图包括预测版本和差异比较版本;
所述预测版本展示所述图卷积神经网络模型在不同状态下的预测情况,所述预测版本包括初始状态视图和中间状态视图,所述初始状态视图展示了图结构数据初始时的布局情况,节点位置由所述GraphTSNE可视化方法计算得到,对于所述训练集中的节点,由于节点类别是已知的,节点颜色代表真实的类别,对于其他节点,即所有不在训练集中的节点,所述节点颜色用灰色表示;所述中间状态视图随着epoch的增加,节点预测状况会变化,用户首先需要输入一个所述epoch,所述视图中用带有外环的较大圆点表示训练集节点,一个圆点的中心颜色表示该节点真实的类别,所述外环颜色表示在当前epoch中节点的预测类别,如果所述预测类别正确,则所述圆点的所述中心颜色和所述外环颜色是相同的,对于其他节点,用灰色表示在当前epoch中被预测错误的节点,而被预测正确的节点用它们真实的类别颜色所表示;
所述差异比较版本,首先需要用户输入startEpoch和endEpoch两个数值,分别表示起始训练步数和终止训练步数,所述节点位置由GraphTSNE计算得到,在所述startEpoch中被预测错误而在所述endEpoch中被预测正确的节点用它们真实的所述类别颜色绘制,剩余的节点则用灰色所表示。

2.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法,其特征在于,所述步骤一,所述图结构数据集可以表示为G=(V,E),其中所述 为具有N个所述节点的节点集合,所述 为边集合,所述vi和所述vj分别表示第i个和第j个节N×N N×C
点;邻接矩阵A∈R 编码了所述节点间的关联,特征矩阵X∈R 包含所有所述节点的特征向量,其中每个所述节点vi具有一个C维的所述特征向量xi和一个类别标签,所述数据集共有F个类别;根据所述节点的总数N将所述数据集划分为所述训练集、所述验证集和所述测试集。

3.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法,其特征在于,所述步骤二,定义所述隐藏层数集合为{1,2,3};对于每个隐藏层,使用{layerID‑startID:
stepID:endID}来定义所述隐藏神经元数集合,所述layerID为隐藏层数,所述startID为第ID个所述隐藏层的起始隐藏神经元数,所述stepID为每次递增的隐藏神经元数,所述endID为第ID个所述隐藏层的结束隐藏神经元数。

4.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法,其特征在于,所述步骤三,具有一个隐藏层的图卷积神经网络模型表示为
其中所述 所述 所述IN是一个单位矩
阵, 是一个对角矩阵,且 所述 是从输入层到第一个隐藏层的权重矩
阵,所述第一个隐藏层具有H1个特征图,所述 是从所述第一个隐藏层到输出层的权重矩阵,所述F为类别数量,所述softmax(·)和所述ReLu(·)代表激励函数;
具有两个隐藏层的图卷积神经网络模型表示为
所述第二个隐藏层具有所述H2个特征图,所述 是从所述第二个隐藏层到所述输出层的所述权重矩阵;
具有三个隐藏层的图卷积神经网络模型表示为
所述第三个隐藏层具有所述H3个特征
图,所述 是从所述第三个隐藏层到所述输出层的所述权重矩阵;
当所述隐藏层数为一层、二层、三层时,分别选择相应的所述图卷积神经网络模型,从所述隐藏神经元数集合{layerID‑startID:stepID:endID}中得到所述H1、H2和H3的取值范围;在训练过程中,使用epoch表示所述训练步数,epoch=1表示所有训练数据集都训练过一次,使用Xavier初始化方法对初始的所述权重矩阵进行随机赋值,使用Adam方法训练所述模型,以交叉熵作为损失函数;在所述迭代训练过程中,针对每一个所述epoch,分别计算所述训练集和所述验证集的损失和分类准确率;在训练完成得到相应的图卷积神经网络模型后,采用所述测试集计算模型的所述分类准确率。

5.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法,其特征在于,所述步骤四,采用基于网格的可视化方法来设计隐藏层分析视图,展示隐藏层参数对所述分类准确率的影响,所述隐藏层参数包括所述隐藏层数和每层的所述隐藏神经元数,设计三个子视图来分别展示具有不同所述隐藏层的所述图卷积神经网络模型的所述分类准确率;
对于具有一个隐藏层的图卷积神经网络模型,设计一个隐藏层子视图,首先基于所述隐藏神经元数集合{layer1‑start1:step1:end1}计算所述集合中的所有元素,然后采用一维网格来渲染所述一个隐藏层子视图;其中x轴表示第一个隐藏层中隐藏神经元的数量;
对于具有两个隐藏层的图卷积神经网络模型,设计两个隐藏层子视图,首先基于所述隐藏神经元数集合{layer1‑start1:step1:end1}和{layer2‑start2:step2:end2}计算所述集合中的所有元素,然后采用二维网格来渲染所述两个隐藏层子视图;其中所述x轴表示所述第一个隐藏层中所述隐藏神经元的数量,y轴表示第二个隐藏层中所述隐藏神经元的数量;
对于具有三个隐藏层的图卷积神经网络模型,设计三个隐藏层子视图,首先基于所述隐藏神经元数集合{layer1‑start1:step1:end1}、{layer2‑start2:step2:end2}和{layer3‑start3:step3:end3}计算所述集合中的所有元素,然后用所述二维网格编码前两个所述隐藏层中的所述隐藏神经元的数量,最后将多个所述二维网格并列排放来编码第三个隐藏层的所述隐藏神经元数量,并采用并列排放的所述二维网格来渲染所述三个隐藏层子视图;其中第一个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3时的所述分类准确率,第二个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3+step3时的所述分类准确率,以此类推,直到最后一个所述二维网格展示的所述第三个隐藏层的所述隐藏神经元数为end3时的所述分类准确率;
每个所述子视图中网格的颜色编码了每一种参数组合在所述测试集上的所述分类准确率。

6.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法,其特征在于,所述步骤五,所述损失和准确率视图包括损失子视图和准确率子视图,所述两个子视图的x轴代表epoch,y轴分别代表所述损失和所述分类准确率,所述损失子视图包括所述训练集和所述验证集的损失曲线,所述准确率子视图包括所述训练集和所述验证集的分类准确率曲线,当选中所述隐藏层分析视图中的一格时,表明选择了对应所述隐藏层参数的一个所述模型,此时,所述损失和准确率视图会同步更新来展示所选择的所述模型对应的所述曲线。

7.根据权利要求5所述的一种用于理解图卷积神经网络的可视分析方法,其特征在于,当选中所述网格的一格时,显示该格的细节信息,所述细节信息包括每一层中的隐藏神经元数取值和对应的所述分类准确率。

8.根据权利要求5所述的一种用于理解图卷积神经网络的可视分析方法,其特征在于,所述颜色采用渐变的颜色映射机制,使不同颜色的所述网格对应不同的所述分类准确率。

9.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法,其特征在于,所述图布局视图,当选中一个节点时,不仅展示对应的预测信息,同时显示该节点直接相连的邻居节点,所述预测信息包括节点ID、真实类别和所述预测类别。
说明书

技术领域

[0001] 本发明涉及了图卷积神经网络,尤其是涉及了一种用于理解图卷积神经网络的可视分析方法。

背景技术

[0002] 随着人工智能的发展,图卷积神经网络(Graph Convolutional Network,GCN)在近几年来受到了广泛的关注。GCN可以用于处理任意结构的图数据,并被成功用于处理不同的任务,如对推荐系统做推荐、预测交通状况、对引文网络中的文章进行分类等。
[0003] 尽管GCN被用于解决各类问题,但由于其内在的复杂性和非线性结构,人们对其底层的决策过程和模型为什么能实现良好的性能没有得到很好的理解。解释和理解深度神经网络是现阶段人工智能研究的热点之一。现有的数据可视分析方法能辅助人们理解深度神经网络,但主要针对卷积神经网络、循环神经网络和深度强化学习模型等。现有的研究缺乏以一种易于理解的方式分析GCN的内部操作和执行过程。
[0004] 由于图结构数据集内在的复杂性,如何可视化GCN的决策过程存在三大难点。
[0005] 1)图节点通常包含高维特征,且节点间的关系非常复杂。常用的可视化图数据的方法有力导引图和t‑SNE(t‑distributed Stochastic Neighbor Embedding,t‑分布领域嵌入)降维方法。前者只考虑了节点间的关联,会生成拥挤的节点聚集。后者只能对节点的特征维度进行降维,忽略了图结构信息。如何同时考虑节点特征和节点间的关系来布局节点,生成简洁清楚的图布局结果是一个难点。
[0006] 2)多种因素会影响GCN模型预测的准确率,如隐藏层数、隐藏神经元数、训练步数等。需要设计可视化视图直观地呈现多种因素的影响。
[0007] 3)分析者可能不熟悉GCN,需要设计一种可视分析方法支持自上而下、渐进式地分析GCN,帮助分析者快速理解模型的运行机理。

发明内容

[0008] 为解决现有技术的不足,使分析GCN的操作和过程更易于理解,本发明采用如下的技术方案:
[0009] 一种用于理解图卷积神经网络的可视分析方法,包括如下步骤:
[0010] 步骤一,将输入的图结构数据集划分为训练集、验证集和测试集;
[0011] 步骤二,定义参数集合,包括隐藏层数集合和隐藏神经元数集合;
[0012] 步骤三,基于定义好的所述参数集合,训练得到一系列的图卷积神经网络模型;
[0013] 步骤四,设计隐藏层分析视图,展示隐藏层参数对分类准确率的影响;
[0014] 步骤五,设计损失和准确率视图,展示所述模型迭代训练过程中损失和分类准确率的变化;
[0015] 步骤六,采用GraphTSNE可视化方法计算图中节点的位置,设计图布局视图,呈现在不同训练步数下所述节点的预测情况和两个训练步数间所述节点预测情况的差异。GraphTSNE是一种图结构数据的可视化方法。
[0016] 所述步骤一,所述图结构数据集可以表示为G=(V,E),其中所述 为具有N个所述节点的节点集合,所述 为边集合,所述vi和所述vj分别表示第i个和N×N N×C第j个节点;邻接矩阵A∈R 编码了所述节点间的关联,特征矩阵X∈R 包含所有所述节点的特征向量,其中每个所述节点vi具有一个C维的所述特征向量xi和一个类别标签,所述数据集共有F个类别;根据所述节点的总数N将所述数据集划分为所述训练集、所述验证集和所述测试集,如将5%的节点划分到训练集,训练集中的节点类别是已知的,且每个类别包含的节点个数相同;将20%的节点划分到验证集,将40%的节点划分到测试集。
[0017] 所述步骤二,定义所述隐藏层数集合为{1,2,3},由于当隐藏层数较大时,图卷积神经网络的分类性能不佳,因此最多考虑3个隐藏层,保证图卷积神经网络有较好的分类性能;对于每个隐藏层,使用{layerID‑startID:stepID:endID}来定义所述隐藏神经元数集合,所述layerID为隐藏层数,所述startID为第ID个所述隐藏层的起始隐藏神经元数,所述stepID为每次递增的隐藏神经元数,所述endID为第ID个所述隐藏层的结束隐藏神经元数,如{1‑16:16:80}表示选择{16,32,48,64,80}作为第一个隐藏层的所述隐藏神经元数。
[0018] 所述步骤三,具有一个隐藏层的图卷积神经网络模型表示为其中所述 所述 所述IN是一个单位矩阵, 是一个对角矩阵,且
所述 是从输入层到所述第一个隐藏层的权重矩阵,所述第一个隐藏层具有H1个特征图,所述 是从所述第一个隐藏层到输出层的所述权重矩阵,所述F为类别数量,所述softmax(·)和所述ReLu(·)代表激励函数;
[0019] 具有两个隐藏层的图卷积神经网络模型表示为其中所述 是从所述输入层到第所述一
个隐藏层的所述权重矩阵,所述第一个隐藏层具有所述H1个特征图,所述 是从所述第一个隐藏层到第二个隐藏层的所述权重矩阵,所述第二个隐藏层具有所述H2个特征图,所述 是从所述第二个隐藏层到所述输出层的所述权重矩阵;
[0020] 具有三个隐藏层的图卷积神经网络模型表示为其中所述 是从所述输入层到
所述第一个隐藏层的所述权重矩阵,所述第一个隐藏层具有所述H1个特征图,所述是从所述第一个隐藏层到第二个隐藏层的所述权重矩阵,所述第二个隐藏层具有所述H2个特征图,所述 是从所述第二个隐藏层到三个隐藏层的权重矩阵,所述第三个隐藏层具有所述H3个特征图,所述 是从所述第三个隐藏层到所述输出层的所述权重矩阵;
[0021] 当所述隐藏层数为一层、二层、三层时,分别选择相应的所述图卷积神经网络模型,从所述隐藏神经元数集合{layerID‑startID:stepID:endID}中得到所述H1、H2和H3的取值范围;在训练过程中,使用epoch表示所述训练步数,epoch=1表示所有训练数据集都训练过一次,使用Xavier初始化方法对初始的所述权重矩阵进行随机赋值,使用Adam方法训练所述模型,以交叉熵作为损失函数;在所述迭代训练过程中,针对每一个所述epoch,分别计算所述训练集和所述验证集的损失和分类准确率;在训练完成得到相应的图卷积神经网络模型后,采用所述测试集计算模型的所述分类准确率。
[0022] 所述步骤四,采用基于网格的可视化方法来设计隐藏层分析视图,展示隐藏层参数对所述分类准确率的影响,所述隐藏层参数包括所述隐藏层数和每层的所述隐藏神经元数,设计三个子视图来分别展示具有不同所述隐藏层的所述图卷积神经网络模型的所述分类准确率;
[0023] 对于所述具有一个隐藏层的图卷积神经网络模型,设计一个隐藏层子视图,首先基于所述隐藏神经元数集合{layer1‑start1:step1:end1}计算所述集合中的所有元素,然后采用一维网格来渲染所述一个隐藏层子视图;其中x轴表示所述第一个隐藏层中隐藏神经元的数量;
[0024] 对于所述具有两个隐藏层的图卷积神经网络模型,设计两个隐藏层子视图,首先基于所述隐藏神经元数集合{layer1‑start1:step1:end1}和{layer2‑start2:step2:end2}计算所述集合中的所有元素,然后采用二维网格来渲染所述两个隐藏层子视图;其中所述x轴表示所述第一个隐藏层中所述隐藏神经元的数量,y轴表示所述第二个隐藏层中所述隐藏神经元的数量;
[0025] 对于所述具有三个隐藏层的图卷积神经网络模型,设计三个隐藏层子视图,首先基于所述隐藏神经元数集合{layer1‑start1:step1:end1}、{layer2‑start2:step2:end2}和{layer3‑start3:step3:end3}计算所述集合中的所有元素,然后用所述二维网格编码前两个所述隐藏层中的所述隐藏神经元的数量,最后将多个所述二维网格并列排放来编码所述第三个隐藏层的所述隐藏神经元数量,并采用并列排放的所述二维网格来渲染所述三个隐藏层子视图;其中第一个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3时的所述分类准确率,第二个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3+step3时的所述分类准确率,以此类推,直到最后一个所述二维网格展示的所述第三个隐藏层的所述隐藏神经元数为end3时的所述分类准确率;
[0026] 每个所述子视图中网格的颜色编码了每一种所述参数组合在所述测试集上的所述分类准确率。
[0027] 所述步骤五,所述损失和准确率视图包括损失子视图和准确率子视图,所述两个子视图的x轴代表epoch,y轴分别代表所述损失和所述分类准确率,所述损失子视图包括所述训练集和所述验证集的损失曲线,所述准确率子视图包括所述训练集和所述验证集的分类准确率曲线,当选中所述隐藏层分析视图中的一格时,表明选择了对应所述隐藏层参数的一个所述模型,此时,所述损失和准确率视图会同步更新来展示所选择的所述模型对应的所述曲线。
[0028] 所述步骤六,包括如下步骤:
[0029] (1)采用所述GraphTSNE可视化方法将具有高维特征向量的所述节点集合V映射到二维点空间中;所述特征矩阵X可以表示为一个特征集合 每个节点的所述特征向量xi可以被看作是一个高维点,采用所述GraphTSNE可视化方法得到一个非线性的映射函数,所述映射函数将所述高维特征向量映射到二维点空间,基于所述映射函数计算所述每个节点的位置,并采用所述每个节点的位置渲染图布局中的节点;
[0030] (2)设计图布局视图,所述图布局视图包括预测版本和差异比较版本;
[0031] 所述预测版本展示所述图卷积神经网络模型在不同状态下的预测情况,帮助用户观察节点预测情况的演化过程;所述预测版本包括初始状态视图和中间状态视图,所述初始状态视图展示了图结构数据初始时的布局情况,节点位置由所述GraphTSNE可视化方法计算得到,对于所述训练集中的节点,由于节点类别是已知的,节点颜色代表真实的类别,对于其他节点,即所有不在训练集中的节点,所述节点颜色用灰色表示;所述中间状态视图随着所述epoch的增加,节点预测状况会变化,在观察所述中间状态视图时,用户首先需要输入一个所述epoch,所述视图中用带有外环的较大圆点表示训练集节点,一个圆点的中心颜色表示该节点真实的类别,所述外环颜色表示在当前epoch中节点的预测类别,如果所述预测类别正确,则所述圆点的所述中心颜色和所述外环颜色是相同的,用户从中可以识别出一个训练节点是否被正确预测,对于其他节点,用灰色表示在当前epoch中被预测错误的节点,而被预测正确的节点用它们真实的类别颜色所表示;
[0032] 所述差异比较版本帮助用户比较不同所述epoch间预测情况的差异,首先需要用户输入startEpoch和endEpoch两个数值,分别表示起始训练步数和终止训练步数,所述节点位置由GraphTSNE计算得到,在所述startEpoch中被预测错误而在所述endEpoch中被预测正确的节点用它们真实的所述类别颜色绘制,剩余的节点则用灰色所表示,可以帮助用户清晰地了解在两个epoch间哪些节点被预测正确了。
[0033] 当用户将鼠标移动到所述网格中的某一格上时,显示该格的细节信息,所述细节信息包括每一层中的隐藏神经元数取值和对应的所述分类准确率。
[0034] 所述颜色采用渐变的颜色映射机制,使不同颜色的所述网格对应不同的所述分类准确率。使用户更直观的通过颜色比较出分类准确率的高低。
[0035] 所述图布局视图,当用户将鼠标移动到某一个节点上时,不仅展示对应的预测信息,同时显示该节点直接相连的邻居节点,所述预测信息包括节点ID、真实类别和所述预测类别。
[0036] 本发明的优势和有益效果在于:
[0037] 提出了一种新的可视分析方法,能支持渐进式地分析图卷积神经网络的工作流程和影响因素。该发明设计了多个协同的视图,通过解决半监督的节点分类任务来展示图卷积神经网络的作用,其中隐藏层分析视图、损失和准确率视图能直观地展示多个隐藏层参数对分类准确率的影响;图布局视图采用新型的GraphTSNE,一种图结构化数据的可视化方法来布局图结构数据中的节点位置,不仅同时考虑了图结构和节点特征,而且能清晰地呈现节点预测状况的演化过程。分析者可以通过与丰富的可视化视图进行交互,深入理解图卷积神经网络的执行过程和运行机理,理解GCN模型如何有效地在图上传导信息、基于训练集中少量已知标签的节点来正确预测大量节点的标签、发现节点被分类错误的原因。

实施方案

[0052] 以下结合附图和具体实施例对本发明作具体的介绍。
[0053] 如图1所示,一种用于理解图卷积神经网络的可视分析方法,包括如下步骤:
[0054] 步骤一,将输入的图结构数据集划分为训练集、验证集和测试集;
[0055] 步骤二,定义参数集合,包括隐藏层数集合和隐藏神经元数集合;
[0056] 步骤三,基于定义好的所述参数集合,训练得到一系列的图卷积神经网络模型;
[0057] 步骤四,设计隐藏层分析视图,展示隐藏层参数对分类准确率的影响;
[0058] 步骤五,设计损失和准确率视图,展示所述模型迭代训练过程中损失和分类准确率的变化;
[0059] 步骤六,采用GraphTSNE可视化方法计算图中节点的位置,设计图布局视图,呈现在不同训练步数下所述节点的预测情况和两个训练步数间所述节点预测情况的差异。
[0060] 所述步骤一,所述图结构数据集可以表示为G=(V,E),其中所述 为具有N个所述节点的节点集合,所述 为边集合,所述vi和所述vj分别表示第i个和N×N N×C第j个节点;邻接矩阵A∈R 编码了所述节点间的关联,特征矩阵X∈R 包含所有所述节点的特征向量,其中每个所述节点vi具有一个C维的所述特征向量xi和一个类别标签,所述数据集共有F个类别;根据所述节点的总数N将所述数据集划分为所述训练集、所述验证集和所述测试集,如将5%的节点划分到训练集,训练集中的节点类别是已知的,且每个类别包含的节点个数相同;将20%的节点划分到验证集,将40%的节点划分到测试集。
[0061] 所述步骤二,定义所述隐藏层数集合为{1,2,3},由于当隐藏层数较大时,图卷积神经网络的分类性能不佳,因此最多考虑3个隐藏层,保证图卷积神经网络有较好的分类性能;对于每个隐藏层,使用{layerID‑startID:stepID:endID}来定义所述隐藏神经元数集合,所述layerID为隐藏层数,所述startID为第ID个所述隐藏层的起始隐藏神经元数,所述stepID为每次递增的隐藏神经元数,所述endID为第ID个所述隐藏层的结束隐藏神经元数,如{1‑16:16:80}表示选择{16,32,48,64,80}作为第一个隐藏层的所述隐藏神经元数。
[0062] 所述步骤三,具有一个隐藏层的图卷积神经网络模型表示为其中所述 所述 所述IN是一个单位矩阵, 是一个对角矩阵,且
所述 是从输入层到所述第一个隐藏层的权重矩阵,所述第一个隐藏层
具有H1个特征图,所述 是从所述第一个隐藏层到输出层的所述权重矩阵,所述F为类别数量,所述softmax(·)和所述ReLu(·)代表激励函数;
[0063] 具有两个隐藏层的图卷积神经网络模型表示为其中所述 是从所述输入层到第所述一
个隐藏层的所述权重矩阵,所述第一个隐藏层具有所述H1个特征图,所述 是从所述第一个隐藏层到第二个隐藏层的所述权重矩阵,所述第二个隐藏层具有所述H2个特征图,所述 是从所述第二个隐藏层到所述输出层的所述权重矩阵;
[0064] 具有三个隐藏层的图卷积神经网络模型表示为其中所述 是从所述输入层到
所述第一个隐藏层的所述权重矩阵,所述第一个隐藏层具有所述H1个特征图,所述是从所述第一个隐藏层到第二个隐藏层的所述权重矩阵,所述第二个隐藏层具有所述H2个特征图,所述 是从所述第二个隐藏层到三个隐藏层的权重矩阵,所述第三个隐藏层具有所述H3个特征图,所述 是从所述第三个隐藏层到所述输出层的所述权重矩阵;
[0065] 当所述隐藏层数为一层、二层、三层时,分别选择相应的所述图卷积神经网络模型,从所述隐藏神经元数集合{layerID‑startID:stepID:endID}中得到所述H1、H2和H3的取值范围;在训练过程中,使用epoch表示所述训练步数,epoch=1表示所有训练数据集都训练过一次,使用Xavier初始化方法对初始的所述权重矩阵进行随机赋值,使用Adam方法训练所述模型,以交叉熵作为损失函数;在所述迭代训练过程中,针对每一个所述epoch,分别计算所述训练集和所述验证集的损失和分类准确率;在训练完成得到相应的图卷积神经网络模型后,采用所述测试集计算模型的所述分类准确率。
[0066] 所述步骤四,采用基于网格的可视化方法来设计隐藏层分析视图,展示隐藏层参数对所述分类准确率的影响,所述隐藏层参数包括所述隐藏层数和每层的所述隐藏神经元数,设计三个子视图来分别展示具有不同所述隐藏层的所述图卷积神经网络模型的所述分类准确率;
[0067] 如图2a所示,对于所述具有一个隐藏层的图卷积神经网络模型,设计一个隐藏层子视图,首先基于所述隐藏神经元数集合{layer1‑start1:step1:end1}计算所述集合中的所有元素,然后采用一维网格来渲染所述一个隐藏层子视图;其中x轴表示所述第一个隐藏层中隐藏神经元的数量;
[0068] 如图2b所示,对于所述具有两个隐藏层的图卷积神经网络模型,设计两个隐藏层子视图,首先基于所述隐藏神经元数集合{layer1‑start1:step1:end1}和{layer2‑start2:step2:end2}计算所述集合中的所有元素,然后采用二维网格来渲染所述两个隐藏层子视图;其中所述x轴表示所述第一个隐藏层中所述隐藏神经元的数量,y轴表示所述第二个隐藏层中所述隐藏神经元的数量;
[0069] 如图2c所示,对于所述具有三个隐藏层的图卷积神经网络模型,设计三个隐藏层子视图,首先基于所述隐藏神经元数集合{layer1‑start1:step1:end1}、{layer2‑start2:step2:end2}和{layer3‑start3:step3:end3}计算所述集合中的所有元素,然后用所述二维网格编码前两个所述隐藏层中的所述隐藏神经元的数量,最后将多个所述二维网格并列排放来编码所述第三个隐藏层的所述隐藏神经元数量,并采用并列排放的所述二维网格来渲染所述三个隐藏层子视图;其中第一个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3时的所述分类准确率,第二个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3+step3时的所述分类准确率,以此类推,直到最后一个所述二维网格展示的所述第三个隐藏层的所述隐藏神经元数为end3时的所述分类准确率;
[0070] 每个所述子视图中网格的颜色编码了每一种所述参数组合在所述测试集上的所述分类准确率。如图2b所示,右侧为颜色映射条,所述颜色采用红黄绿渐变的颜色映射机制,分辨率自高到低分别用由红到黄、由黄到绿的不同分辨率的网格表示,使用户更直观的通过颜色比较出分类准确率的高低。所述三个子视图中都采用同样的颜色映射机制。
[0071] 当用户将鼠标移动到所述网格中的某一格上时,显示该格的细节信息,所述细节信息包括每一层中的隐藏神经元数取值和对应的所述分类准确率。
[0072] 所述步骤五,所述损失和准确率视图包括损失子视图和准确率子视图,所述两个子视图的x轴代表epoch,y轴分别代表所述损失和所述分类准确率,所述损失子视图包括所述训练集和所述验证集的损失曲线,所述准确率子视图包括所述训练集和所述验证集的分类准确率曲线,当选中所述隐藏层分析视图中的一格时,表明选择了对应所述隐藏层参数的一个所述模型,此时,所述损失和准确率视图会同步更新来展示所选择的所述模型对应的所述曲线。
[0073] 图3a‑d展示了当隐藏层数为1时,基于Cora数据集的损失和准确率视图,Cora数据集是一种论文数据集;图3a、b为隐藏神经元数为16时的损失子视图和准确率子视图,图3a中,随着epoch的增加,训练集损失和验证集损失逐渐降低,图3b中,当epoch大于70时,训练集和验证集的分类准确率趋于稳定,其中训练集准确率接近1,表明几乎训练集中所有的节点都被预测正确,验证集准确率接近于0.8;图3c、d为隐藏神经元数为80时的损失子视图和准确率子视图,相较于隐藏神经元数为16时的结果,图3d中,训练集和验证集的准确率快速收敛,在最初的10个epoch中,准确率快速提升,当epoch大于40时,准确率趋于稳定。
[0074] 所述步骤六,包括如下步骤:
[0075] (1)采用所述GraphTSNE可视化方法将具有高维特征向量的所述节点集合V映射到二维点空间中;所述特征矩阵X可以表示为一个特征集合 每个节点的所述特征向量xi可以被看作是一个高维点,采用所述GraphTSNE可视化方法得到一个非线性的映射函数,所述映射函数将所述高维特征向量映射到二维点空间,基于所述映射函数计算所述每个节点的位置,并采用所述每个节点的位置渲染图布局中的节点;
[0076] (2)设计图布局视图,所述图布局视图包括预测版本和差异比较版本;
[0077] 所述预测版本展示所述图卷积神经网络模型在不同状态下的预测情况,帮助用户观察节点预测情况的演化过程;所述预测版本包括初始状态视图和中间状态视图,所述初始状态视图展示了图结构数据初始时的布局情况,节点位置由所述GraphTSNE可视化方法计算得到,对于所述训练集中的节点,由于节点类别是已知的,节点颜色代表真实的类别,对于其他节点,即所有不在训练集中的节点,所述节点颜色用灰色表示;所述中间状态视图随着所述epoch的增加,节点预测状况会变化,在观察所述中间状态视图时,用户首先需要输入一个所述epoch,所述视图中用带有外环的较大圆点表示训练集节点,一个圆点的中心颜色表示该节点真实的类别,所述外环颜色表示在当前epoch中节点的预测类别,如果所述预测类别正确,则所述圆点的所述中心颜色和所述外环颜色是相同的,用户从中可以识别出一个训练节点是否被正确预测,对于其他节点,用灰色表示在当前epoch中被预测错误的节点,而被预测正确的节点用它们真实的类别颜色所表示;图4a‑d利用图布局视图,分析了隐藏层数为1,隐藏神经元数为16时,基于Cora数据集的节点预测状况演化过程;图4a为预测版本的初始状态视图,训练集中所有的节点用它们真实的类别颜色所表示;图4b‑d为预测版本的中间状态视图,展示了节点在训练过程中的预测类别,如图4b所示,当epoch=1时,训练集中少量具有统一颜色的大节点为类别被预测正确的节点,大多数具有不同中心和外环颜色的大节点为类别被预测错误的训练节点;如图4c所示,当epoch增加到10时,更多的训练节点和其他节点被预测正确;如图4d所示,当epoch=70时,几乎所有的训练节点都被预测正确,更多的其他节点也被赋予了正确的类别;大多数被预测错误的节点是孤立的节点或孤立的子图,如图4d中的圆环所圈出所示。
[0078] 所述图布局视图,当用户将鼠标移动到某一个节点上时,不仅展示对应的预测信息,同时显示该节点直接相连的邻居节点,所述预测信息包括节点ID、真实类别和所述预测类别,使用户能够发现若一个节点与它的邻居节点具有不同的类别,则很容易被错误地分类,如图4d的右上角所展示的预测信息,节点2119同时与类别为4和5的节点相连,它的真实类别是4,却被错误地分到了类别5。
[0079] 图5a和5b是本发明中epoch=1和epoch=2时的预测情况细致分析图。如图5a所示,当epoch=1时,很多训练节点被预测错误,少量的其他节点被预测正确;如图5b所示,在epoch为1和2之间,一些新的训练节点被预测正确,它们的邻居节点同样被预测正确;当用户把鼠标移动到该节点上来观察时,可以更进一步分析两个epoch间某个特定节点的预测情况,如图5a、b右上角的节点73所示,当epoch=1时,节点73的类别被预测错误,当epoch=2时,节点73和其邻居节点被赋予了正确的类别标签;此外,如图5a、b右下角的节点364所示,随着epoch的增加,已经被正确预测的类别标签会扩散到邻居节点。
[0080] 所述差异比较版本帮助用户比较不同所述epoch间预测情况的差异,首先需要用户输入startEpoch和endEpoch两个数值,分别表示起始训练步数和终止训练步数,所述节点位置由GraphTSNE计算得到,在所述startEpoch中被预测错误而在所述endEpoch中被预测正确的节点用它们真实的所述类别颜色绘制,剩余的节点则用灰色所表示,可以帮助用户清晰地了解在两个epoch间哪些节点被预测正确了。

附图说明

[0038] 图1是本发明的可视分析方法的流程图。
[0039] 图2a是本发明中一个隐藏层子视图的生成过程图。
[0040] 图2b是本发明中两个隐藏层子视图的生成过程图。
[0041] 图2c是本发明中三个隐藏层子视图的生成过程图。
[0042] 图3a是本发明中隐藏神经元数为16的损失子视图。
[0043] 图3b是本发明中隐藏神经元数为16的准确率子视图。
[0044] 图3c是本发明中隐藏神经元数为80的损失子视图。
[0045] 图3d是本发明中隐藏神经元数为80的准确率子视图。
[0046] 图4a是本发明中初始状态视图。
[0047] 图4b是本发明中epoch=1时的中间状态视图。
[0048] 图4c是本发明中epoch=10时的中间状态视图。
[0049] 图4d是本发明中epoch=70时的中间状态视图。
[0050] 图5a是本发明中epoch=1时的预测情况细致分析图。
[0051] 图5b是本发明中epoch=2时的预测情况细致分析图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号