发明内容
[0008] 针对缺少与人类觉察特性较为吻合的先进计算模型与方法问题,本发明提供了一种基于伪脑网络模型下的涉恐场景协同认知方法,如图1所示。
[0009] 为解决技术问题,本发明解决包括如下步骤:
[0010] 步骤1、通过CNN图像分类器,得到涉恐场景图片概率值Ⅰ;CNN 图像分类器模型结构如图2所示。
[0011] 步骤2、通过伪脑网络图像分类器,得到涉恐场景图片概率值II;
[0012] 步骤3、分别将CNN图像分类器分类结果概率值Ⅰ和伪脑网络图像分类器分类结果概率值II输入给神经网络融合模型(如图1所示),输出场景事件分类结果(涉恐场景=1,非涉恐场景=0).
[0013] 所述的步骤2具体实现如下:
[0014] 步骤2‑1如图3所示;
[0015] 1)选择志愿者观看特定场景视频:
[0016] 组织志愿者分别对涉恐场景图片、其它场景图片进行观看。
[0017] 2)通过fMRI设备测试人脑得到脑网络节点数据:
[0018] 根据脑网络节点构建脑网络,本发明将标准脑区定义成网络的一个节点,采用国际脑成像领域广泛使用的标准脑模板AAL,将全脑分割成90个标准的功能区域,脑区内全部体素信号共同表示该区域神经元活动情况。
[0019] 3)通过皮尔逊相关系数获取脑网络节点之间的相关性,并建立脑网络节点的相关性矩阵Ⅰ;
[0020]
[0021] 其中,体素i和体素j的时间序列分别用xi和xj表示,体素i和体素j的时间序列的均值分别用 和 表示。利用公式(1)得到脑区之间两两的相关性就是一个90×90的相关性矩阵Ⅰ,且矩阵元素取值范围[‑1,1];T取值90;
[0022] 4)通过遗传算法将相关性矩阵Ⅰ转化成只有0和1的矩阵II,其中1表示两个脑网络节点相关,0表示两个脑网络节点不相关;
[0023] 5)构建基于DCGAN的生成模型和判别模型
[0024] 参考深度卷积生成网络(DCGAN)将卷积神经网络(CNN)引入到了生成模型和判别模型当中。通过对抗生成网络,优化得到伪脑网络生成器,即DCGAN的生成模型。
[0025] 步骤2‑2.通过伪脑网络生成器得到输入图片的对应伪脑网络,如图4所示。即为90*90的二值矩阵。应用kruskal算法得到脑网络最小生成树,再利用基于RBF核函数的SVM算法进行分类。
[0026] 所述的步骤3具体实现如图5所示:
[0027] 神经网络混合模型为三层神经网络结构,包括2个神经元输入层、3个神经元隐藏层以及采用sigmoid分类器,输出层神经元个数为1.通过反向传播算法进行神经网络优化。
[0028] 本发明有益效果:
[0029] 本发明将深度学习算法与等效伪脑网络模型相结合。深度学习网络用于机器视觉图像分类,伪脑网络模型替代人脑对视听觉信息高级特征进行融合,实现环境物体感知和环境认知。