一种基于深度关系自注意力网络的场景图生成方法   0    0

本发明公开了一种基于深度关系自注意力网络的场景图生成方法。本发明步骤如下：1、数据预处理及数据集的划分，2、使用预训练的目标检测网络对图像提取特征，3、构建目标的空间特征，4、构建目标的语言特征，5、构建相对关系特征，6、构建深度神经网络，7、损失函数，8、训练模型、9、网络预测值计算。本发明用于同时建模目标上下文和关系上下文的RSAN网络在场景图生成的任务上取得了显著性的提升效果，超越了该任务上的大部分主流方法。并且本发明的RSAN网络在其他跨模态相关领域中如图像内容问答和视觉关系检测中也具有十分重要的应用价值和巨大的潜力。

1.一种基于深度关系自注意力网络的场景图生成方法，其特征在于包括如下步骤：
步骤(1)、数据集的预处理及划分
首先对数据集中的图像进行预处理，然后划分数据集；
步骤(2)：使用训练好的目标检测网络对预处理后的数据集中图像提取特征；
对于一张输入图像，使用训练好的目标检测网络计算出图像中包含物体的m个候选框；
针对每一个候选框，将该候选框在图像中对应的区域输入到目标检测网络中，并提取目标检测网络中某一层的输出作为该候选框的视觉特征 将一张图像中所有候选框的特征拼接成总体视觉特征 表示自然实数集，dυ代表候选框的视觉特征维
度；
步骤(3)：构建候选框的空间特征
针对每张图像，根据步骤(2)中得到的m个候选框来计算每个候选框的空间特征将每张图像中所有候选框的空间特征拼接成总空间特征为 ds代表候选框的空间特征维度；
步骤(4)：构建候选框的语言特征
根据预先训练好的词向量模型，将候选框对应的分类转换为包含语义信息的词向量也就是将离散的候选框的分类转换为连续语言特征，将每张图像中的所有候选框的语言特征拼接成总语言特征为
步骤(5)：构建相对关系特征
根据图像中的任意两个候选框生成相对关系特征 将一张图像中所有的候选框都构建成总相对关系特征为
步骤(6)：构建深度神经网络
将图像的视觉特征V、位置特征S、语言特征L拼接成最终的图像特征
将该图像特征输入到深度神经网络，结合相对关系特征F，根据自注意
力机制将图像特征和相对关系特征F一起映射到隐藏特征空间，产生特征向量最后将图像特征Z输入到全连接函数及激活函数中，输出的预测值是m个候选框的分类分数向量 同时预测m×m对候选框之间的关系分类分数向量
步骤(7)：损失函数
将步骤(6)中输出的两个预测的分类分数向量和关系分类分数向量分别同对应的标签向量一起输入到相应的损失函数中，并分别输出两个损失值；
所述的标签向量是步骤(1)数据集自带；
步骤(8)：训练深度神经网络模型
根据步骤(7)中的损失函数产生的损失值，利用反向传播算法对步骤(6)中构建的深度神经网络的模型参数进行梯度回传，不断优化，直至整个网络模型收敛；
步骤(9)：深度神经网络模型预测值计算
将候选框的分类分数向量进行排序，选择最高分数对应的分类作为其预测分类；将候选框的关系分类分数向量进行排序，选择最高分数对应的关系作为其关系分类。

2.根据权利要求1所述的一种基于深度关系自注意力网络的场景图生成方法，其特征在于步骤(2)所述的用目标检测网络对图像提取特征，具体如下：
提取目标检测网络中某一层的输出作为该候选框的特征 每张图像选取m个候选框，将图像中所有的候选框拼接成总体视觉特征 具体公式如下：
1 2 i m
V＝[υ，υ，...，υ，...，υ]    (公式1)。

3.根据权利要求2所述的一种基于深度关系自注意力网络的场景图生成方法，其特征在于步骤(3)所述的构建候选框的空间特征，具体如下：
每个候选框的空间位置坐标为(xmin，ymin，xmax，ymax)，(xmin，ymin)表示候选框的左上角点的位置坐标，(xmax，ymax)表示候选框的右下角点的位置坐标，每个候选框的空间特征s公式如下：
其中，W、H表示图像的宽和高；w、h表示对应的候选框的宽和高；
将一张图像中的所有候选框的空间特征拼接成总体空间特征 具体公式如
下：
1 2 i m
S＝[s，s，...，s，...，s]    (公式3)。

4.根据权利要求书3所述的一种基于深度关系自注意力网络的场景图生成方法，其特征在于步骤(4)所述的构建目标的语言特征，具体如下：
根据预先训练好的词向量模型，将候选框对应的分类转换为包含语义信息的词向量每张图像中的所有候选框的语言特征拼接成总语言特征为 具体公式如
下：
1 2 i m
L＝[l，l，...，l，...，l]    (公式4)。

5.根据权利要求书4所述的一种基于深度关系自注意力网络的场景图生成方法，其特征在于步骤(5)所述的构建相对关系特征，具体如下：
由于候选框的空间特征建模了单个候选框的位置信息，因此通过任意两个候选框之间的相对位置信息进行建模生成关系特征 将第i个候选框的空间位置定义为(xi，yi，wi，hi)，该四维坐标分别表示候选框的中心点横坐标、纵坐标、宽、高；第i个候选框和第j个候选框之间的关系特征定义为：
将图像中的所有候选框的关系特征拼接成总关系特征为 具体公式如下：

6.根据权利要求书5所述的一种基于深度关系自注意力网络的场景图生成方法，其特征在于步骤(6)所述的构建深度神经网络，具体如下：
6‑
1.融合视觉特征、空间特征、语言特征；
视觉特征V、空间特征S、语言特征L是候选框的多种角度的特征，它们自然对齐所以方便融合；将空间特征S、语言特征L先经过全连接层转换到和视觉特征V一样的维度，然后三种特征拼接后的融合特征 公式如下：
Z＝[V，S，L]    (公式7)
6‑
2.构建关系自注意力网络(RSA)
融合特征Z经过全连接映射转化为融合特征向量 公式如下：
X＝Linear(Z)    (公式8)
将为融合特征向量X和关系特征F作为关系自注意力网络RSA的输入，输出特征向量B′＝LN(X+RMHA(X，X，X，F))    (公式9)
B＝LN(B′+FFN(B′))    (公式10)
其中，RMHA的输入是融合特征向量X和关系特征F，输出是富含上下文信息特征向量公式如下：
Q＝Linear(X)    (公式11)
K＝Linear(X)    (公式12)
V＝Linear(X)    (公式13)
其中Q、K、V分别由融合特征Z经过全连接层映射得到，其中，
‑6
φ(F)＝log(MLP(F)+∈)，∈＝1e ，MLP是两层感知
机，ReLU是激活函数；
其中，FFN结构，输入是上下文信息特征向量B′，公式如下：
FFN(B′)＝FCd(Drop(ReLU(FC4d(B′))))    (公式15)
其中，LN是归一化函数；
6‑
3.深度堆叠RSA网络
(1) (2) (N)
以融合特征Z和关系特征F作为深度堆叠RSA网络[RSA ，RSA ，...，RSA ]的输入；将(n) (n) (n+1)
第n层RSA 的输出特征Z 和关系特征F作为第n+1层RSA 的输入，迭代往复，公式如下：
(n) (n) (n‑1)
Z ＝RSA (Z ，F)    (公式16)
(0)
其中，Z ＝Z，对不同层的RSA，关系特征F保持不变；
6‑
4.候选框分类优化
(n)
将输出特征Z 经过全连接层映射到分类分数向量 c代表选框的分类数目，
公式如下：
(n)
O＝Linear(Z )    (公式17)
6‑
5.多头注意力关系预测
(n)
将输出特征Z 作为输入，经过全连接层映射输出单头pj，公式如下：
(n) (n) T
pj＝Linear(Z )Linear(Z )    (公式18)
(n)
将输出特征Z 和关系特征F作为多头注意力关系预测器的输入，关系分类分数向量作为其输出，r代表关系分类数目，公式如下：
P＝([p1，p2，...，pj，...，phead]+MLP(F))Wr    (公式19)
其中，head代表注意力头的数目，MLP代表二层感知机，

7.根据权利要求书6所述的一种基于深度关系自注意力网络的场景图生成方法，其特征在于步骤(7)所述的损失函数，具体如下：
*
7‑
1.计算候选框预测分类分数oi与真实标签oi之间的差距，使用交叉熵计算如下：
7‑
2.计算候选框的预测关系分类分数与标签向量中真实值之间的差距，使用交叉熵计算如下：
7‑
3.深度神经网络的总损失，具体公式如下：
Loss＝Lossobj+λLossrel    (公式22)
其中，λ是用来平衡两个损失的超参数。