[0005] 本发明主要解决原有的缺少在不同尺度空间下对视差信息提取与融合的技术问题，提供一种基于多尺度空间视差信息的立体视频舒适度预测方法，在不同尺度空间提取特征，并将不同尺度空间特征进行融合，建立不同特征的权重关系，有效体现每个尺度的时间流视差特征对舒适度预测的贡献，有效体现每个尺度的时间流视差特征对舒适度预测的贡献，对立体视频视觉舒适度进行更准确的预测。
[0006] 本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤：
[0007] (1)从立体视频每帧的不同尺度视差信息提取特征；将立体视频视差图输入多尺度变换获得不通尺度空间下的视差图，所有尺度空间下的空间域视差信息融合为尺度空间域特征，所有尺度空间下的时间流视差特征融为尺度空间流特征。
[0008] (2)建立尺度空间域特征与尺度空间流特征权重关系得到立体视频每帧输入特征；确定尺度空间域特征与尺度空间流特征权重因子后将尺度空间域特征与尺度空间流特征融合计算。
[0009] (3)利用SVR进行单帧舒适度预测并采用时间中值池化策略得到立体视频舒适度得分。将建立权重后的特征作为输入值，对应的MOS值作为输出进行训练和测试，训练集与测试集比例为9:1，将进行2000次训练测试结果的平均值作为最终该条件下的结果。
[0010] 作为优选，所述的步骤(1)中提取的特征包括尺度空间域特征和尺度空间流特征。
[0011] 作为优选，所述的步骤(1)中尺度空间域特征提取的过程为：获得立体视频的帧视差图I，即
[0012]
[0013] 当前帧通过变换后在同一尺度将每帧视差最大值与平均值之差的平方加上最小值与平均值之差的平方，即
[0014]
[0015] 其中， 为第l尺度输入的当前帧最大视差值， 为第l尺度输入的当前帧最小视差值， 为第l尺度输入的当前帧平均视差值；
[0016] 将不同尺度空间的空间域视差特征融合，得到尺度空间域特征，即[0017]
[0018] 作为优选，所述的步骤(1)中尺度空间流特征提取的过程为：将当前帧与前后帧的视差图变换后在同一尺度对应相减，得到五个不同尺度下的时间流视差特征，即[0019]
[0020]
[0021] 其中， 为当前尺度当前视差帧， 为当前尺度前一视差帧， 为当前尺度下一视差帧，P为每帧总像素数；
[0022] 将不同尺度空间的时间流视差特征融合，得到尺度空间流特征，即[0023]
[0024] 作为优选，所述的步骤(1)包含获得每个尺度空间的空间域视差特征与时间流视差特征，对于某一尺度空间的空间域视差特征，计算此尺度的空间域方差，即[0025]
[0026] 对于某一尺度空间的时间流视差特征，计算此尺度的时间流方差，即[0027]
[0028] 其中，l为尺度等级，t为立体视频当前帧，N为立体视频总帧数。
[0029] 计算方差前为避免不同尺度空间下的空间域视差特征与时间流视差特征存在幅值差异，将它们先进行归一化。
[0030] 作为优选，所述的步骤(1)包含将各尺度时间流视差特征进行线性加权，加权权重为
[0031]
[0032] 得到尺度空间域特征
[0033]
[0034] 将各尺度时间流视差特征进行线性加权，加权权重为
[0035]
[0036] 得到尺度空间流特征
[0037]
[0038] 作为优选，所述的步骤(2)将尺度空间域特征与尺度空间流特征融合，公式如下：
[0039]
[0040] 其中，wSSD为尺度空间域特征权重因子，wSSF为尺度空间流特征权重因子。当wSSD＝SSF0.8，w ＝0.2将不同尺度空间下的时间流特征与空间域特征相结合，获得输入特征。
[0041] 作为优选，所述的步骤(3)采用SVR，将建立权重后的特征作为输入值，对应的MOS值作为输出进行训练和测试，训练集与测试集比例为9:1，将进行若干次训练测试结果的平均值作为最终该条件下的结果。
[0042] 作为优选，所述的步骤(3)利用时间中值池化策略，取立体视频所有帧预测值的中值作为该立体视频的舒适度预测值。
[0043] 本发明的有益效果是：在不同尺度空间提取特征，并将不同尺度空间特征进行融合，建立不同特征的权重关系，有效体现每个尺度的时间流视差特征对舒适度预测的贡献，有效体现每个尺度的时间流视差特征对舒适度预测的贡献，对立体视频视觉舒适度进行更准确的预测。
