首页 > 专利 > 杭州电子科技大学 > 融合脑电信号与注视跟踪特征的广告评估方法专利详情

融合脑电信号与注视跟踪特征的广告评估方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2017-06-13
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2017-11-17
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2020-08-25
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2037-06-13
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201710442471.1 申请日 2017-06-13
公开/公告号 CN107274223B 公开/公告日 2020-08-25
授权日 2020-08-25 预估到期日 2037-06-13
申请年 2017年 公开/公告年 2020年
缴费截止日
分类号 G06Q30/02G06F3/01G06K9/62 主分类号 G06Q30/02
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 0
权利要求数量 1 非专利引证数量 1
引用专利数量 0 被引证专利数量 0
非专利引证 1、CN 106169063 A,2016.11.30CN 103340637 A,2013.10.09CN 106778788 A,2017.05.31徐思佳.基于神经营销的广告评价研究《.中国优秀硕士学位论文全文数据库 信息科技辑》.2015,(第6期),页码:I138-692. 周凌霄.多源生理信号融合的驾驶疲劳检测预警系统研究《.中国优秀硕士学位论文全文数据库 信息科技辑》.2015,(第10期),页码:I140-68. 陈佩.主成分分析法研究及其在特征提取中的应用《.中国优秀硕士学位论文全文数据库 信息科技辑》.2015,(第2期),页码:I138-1058.;
引用专利 被引证专利
专利权维持 5 专利申请国编码 CN
专利事件 许可 事务标签 公开、实质审查、授权、实施许可
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 孔万增、张昕昱、汪露雲、范巧男、邓彬 第一发明人 孔万增
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 5
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
杜军
摘要
本发明公开融合脑电信号与注视跟踪特征的广告评估方法。本发明可以用于评估广告设计质量和对观众的吸引力;本发明使用了脑电和眼动两种认知仪器,并融合使用了两种信号对广告效果进行评估;本发明获取的信号直接来自于大脑和眼球,避免了传统方式中的主观因素干扰。
  • 摘要附图
    融合脑电信号与注视跟踪特征的广告评估方法
  • 说明书附图:图1
    融合脑电信号与注视跟踪特征的广告评估方法
  • 说明书附图:图2
    融合脑电信号与注视跟踪特征的广告评估方法
  • 说明书附图:图3
    融合脑电信号与注视跟踪特征的广告评估方法
  • 说明书附图:图4
    融合脑电信号与注视跟踪特征的广告评估方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-04-06 专利实施许可合同备案的生效 IPC(主分类): G06Q 30/02 合同备案号: X2021330000026 专利申请号: 201710442471.1 申请日: 2017.06.13 让与人: 杭州电子科技大学 受让人: 杭州又付科技有限公司 发明名称: 融合脑电信号与注视跟踪特征的广告评估方法 申请公布日: 2017.10.20 授权公告日: 2020.08.25 许可种类: 普通许可 备案日期: 2021.03.19
2 2020-08-25 授权
3 2017-11-17 实质审查的生效 IPC(主分类): G06Q 30/02 专利申请号: 201710442471.1 申请日: 2017.06.13
4 2017-10-20 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.融合脑电信号与注视跟踪特征的广告评估方法,其特征在于该方法包括以下步骤:
步骤(1)、获取脑电注意力指标
采集观看待评估广告视频过程的脑电信号,将该信号作为原始脑电信号;对原始脑电信号进行预处理操作,包括去平均参考、滤波;计算预处理后脑电信号beta频段和theta频段的功率谱估计,脑电注意力指标Aβ/θ的计算公式如下:
其中 分别表示beta频段和theta频段在某个通道的瞬时功率谱
估计,其计算公式为:
其中band表示频段,channel表示通道,gchannel表示某通道的脑电数据,g(n)e-jwn为傅里叶变换,gchannel(n)为实部,e-jwn为虚部,N为信号点个数;
步骤(2)、获取眼动注意力指标
标记待评估的广告视频中的目标产品,并将产品所在区域设定为兴趣区域;剪辑有兴趣区域出现的视频片段,并按时间顺序重新组合,然后根据重新组合的视频序列中产品状态进行分段,并以此作为时间窗口;统计各段中针对兴趣区域的眼动特征,眼动注意力指标AE的计算公式如下:
其中1≤m≤M,M表示片段内时间窗口的总个数,N(m)表示第m个时间窗口内兴趣区域的注视点个数,T(m)表示第m个时间窗口内兴趣区域所有注视点的总持续时间,S(m)表示第m个时间窗口内兴趣区域面积总和,R(m)表示第m个时间窗口内广告视频帧数;
步骤(3)、获取融合指标
首先对脑电注意力指标Aβ/θ进行窗口化,Pm表示第m个时间窗口内脑电数据点个数,脑电注意力指标的窗口化计算公式为:
将眼动注意力指标AE和窗口化后脑电注意力指标AG在数据特征层面进行融合,使用主成分分析方法提取融合信息的主要特征;用列向量x表示脑电注意力指标AG,x=(AG(1),AG(2),…,AG(M)),列向量y表示眼动注意力指标AE,y=(AE(1),AE(2),…,AE(M)),并将数据整理为资料矩阵A形式:
计算资料矩阵A的协方差矩阵Σ,求解得到协方差矩阵Σ的两个特征根λ1≥λ2>0,以及对应的特征向量μ1和μ2,μi=(μi1,μi2),i=1,2;其中第一主成分的求解公式为:
融合注意力指标AF融合了眼动注意力指标与脑电注意力指标中的主要成分,可以由上述公式(6)推导得出,其计算公式为:
最终获得整个广告的融合注意力指标;
步骤(4)、广告评估
根据上述步骤获得多个待评估广告的融合注意力指标,利用ANOVA方差分析得到各广告融合注意力指标的均值和标准差,并对融合注意力指标的均值和方差进行比较;融合注意力指标均值越高则广告效果越好,方差越小则广告效果越稳定。
说明书

技术领域

[0001] 本发明属于神经科学、行为研究与市场营销的交叉领域,具体设计一种融合脑电信号与注视跟踪特征的广告评估方法。

背景技术

[0002] 广告作为一种信息传播与推广的手段,越来越为企业重视和应用。通常一个好的广告作品,能够吸引广大消费者的注意,打动消费者,使消费者产生偏爱,从而消费者下定决心购买或者在消费者心中营造一个良好的企业形象。广告效果是否达到预期,这是商家在投入广告的时候迫切想要知道的。广告效果除了前期投入成本和后期销售额度,消费者在观看广告时候的心理活动同样是评估的重点。相较于前两者数据,对消费者心理活动的评估更加直观且迅速。因此,发明一种以消费者在观看广告过程中心理状态为依据评估广告效果的方法是非常必要的。不论是对大脑决策的解码还是对眼睛行为的解读都能够很好的反应心里的潜在的活动。
[0003] 神经营销学在应用为通过大脑活动来获得个体对产品、品牌信息的反应提供了理论依据。神经科学相关研究表明,脑电信号中的theta波段和beta波段与人的注意力相关:theta波段功率随着注意降低而增加,beta波段功率随着注意降低而降低。而随着眼动轨迹追踪技术的不断提升,视向心理和眼睛的行为研究的理论越来越完善。通常认为当观众对广告本身涉及到元素(如演员、品牌、产品等因素)不存在强烈的喜恶的时候,效果好的广告会吸引消费者的注意力,并在播放过程中得到一个较高的关注度。所以本研究提出了一种通过研究人们在观看不同广告时脑电信号和注视跟踪特征的融合注意力指标强度来判断广告视频是否具有吸引力的方法。

发明内容

[0004] (一)要解决的技术问题
[0005] 本发明要解决的技术问题是:提供一种融合脑电信号与注视跟踪特征的广告评估方法。
[0006] (二)技术方案
[0007] 为了解决上述技术问题,本发明提出了一种可以有效衡量人在观看广告视频时注意力强度的特征指标,并通过该注意力指标实现了一种融合脑电信号与注视跟踪特征的广告评估方法。
[0008] 本发明的特点是:本发明可以用于评估广告设计质量和对观众的吸引力;本发明使用了脑电和眼动两种认知信号,并融合使用了这两种信号对广告效果进行评估;本发明获取的信号直接来自于大脑和眼球,避免了传统方式中的主观因素干扰。
[0009] 本发明的技术方案:
[0010] 1、信号采集
[0011] 针对待评估的视频广告材料,使用多通道脑电信号采集设备采集被试人员观看过程中的脑电信号,获得原始脑电信号;使用近红外眼动仪采集被试人员观看过程中的眼动轨迹,获得原始眼动追踪信号;
[0012] 2、脑电注意力指标计算
[0013] 对原始脑电信号进行预处理,包括去平均参考、滤波等。计算脑电信号beta频段的功率谱估计和theta频段的功率谱估计,再使用功率谱计算脑电注意力指标Aβ/θ,该指标数据是时序数据。
[0014] 3、眼动注意力指标计算
[0015] 标记待评估的广告视频中的目标产品,并将产品所在区域设定为兴趣区域。剪辑有兴趣区域出现的视频片段,并按时间顺序重新组合,然后根据重新组合的视频序列中产品状态进行分段,并以此作为时间窗口。统计各段中针对兴趣区域的眼动特征,并使用统计数据计算眼动注意力指数AE。根据内容进行分段可以提取目标的关注状态,消除其他因素对广告目标造成的干扰,增强广告单一情节单一目标产生的特征。
[0016] 4、融合指标计算
[0017] 本发明使用特征融合的方法在特征层面融合脑电注意力指标和眼动注意力指标两种特征数据,得到融合注意力指标。使用主成分分析(PCA)的方法提取融合指标的主要特征,并将得到第一主成分作为融合数据进行评价。
[0018] 在PCA中,将每个被试的脑电注意力指标和眼动注意力指标结合记为A,用列向量x表示脑电特征数据Aβ/θ、用列向量y表示眼动特征数据AE,资料矩阵A的表达如下所示:
[0019] A=(x,y)      (1)
[0020] 由于本发明只涉及到眼动信号和脑电信号两种信号源,故其综合指标计算方式为:
[0021]
[0022] 其中F1为第一主成分,F2为第二主成分。要计算出融合信号的各个主成分,就是找到系数矩阵a,且aaT=1,使var(F)最大。因此可得到推导公式:
[0023] var(F)=var(aTA)=aTvar(A)a=aTΣa     (3)
[0024] 其中∑为资料矩阵A的协方差矩阵,其特征根为λ1≥λ2>0,可得到对应的特征向量为μ1和μ2,μi=(μi1,μi2),i=1,2则var(F)=λ,a=μ,可得:
[0025]
[0026] 其中
[0027] 融合注意力指标AF(m)融合了眼动注意力指标与脑电注意力指标中的主要成分,可以由上述公式(4)推导得出,其计算公式为:
[0028] AF=μ11x+μ12y        (5)
[0029] 最终获得整个广告的融合注意力指标。
[0030] 5、广告评估
[0031] 根据上述步骤获得多个待评估广告的融合注意力指标,利用ANOVA方差分析得到各广告融合注意力指标的均值和标准差,并对注意力指标的均值和方差进行比较。融合注意力指标均值越高则广告效果越好,方差越小则广告效果越稳定。
[0032] 本发明具备以下特点:
[0033] 1.本发明将脑电信号与眼动信号融合特征引入到广告评估体系中。提出的融合指标结合了脑电注意力指标与眼动注意力指标各自的优势,即保留了脑电信号对意识任务的直观表现,又通过加入眼动信号从行为学角度增加指标之间的区分度,能够更好的对比对不同广告目标之间的效果。
[0034] 2.本发明提出的融合评估方法对于信号的特征提取不受意识任务的控制,更能客观真实的反应受众在观看植入广告过程中心理和行为的直接反应,甚至可以发掘受众自己没有意识到的潜意识变化。

实施方案

[0039] 下面结合附图对本发明做进一步的分析。
[0040] 如图1所示,本实施例使用Neuroscan64导脑电采集设备记录脑电信号,其中包括62个头皮电极、4个眼电电极以及2个耳垂参考电极。使用SMI眼动仪记录注视跟踪数据。视屏播放内容固定时长为10分钟,其中开始和结尾为一分钟中性视频,中间为连续的八个广告视频,其数据采集流程见图1所示。数据处理流程见图2所示,具体实施过程如下:
[0041] 步骤1:采集原始信号
[0042] 被试人员坐在一张舒适的椅子上,根据身高调节椅子高度,保持视线在屏幕正中,保持与屏幕中心距离为60cm,观看视频材料。实验先记录两分钟静息态数据,然后按任意键开始播放实验视频,此时眼动数据开始记录,脑电数据加入视频开始标签。
[0043] 步骤2:脑电指标计算
[0044] 具体处理步骤包括:
[0045] 1)去平均参考:计算62个头皮电极的平均值,并从每个脑电通道中减去该平均值;
[0046] 2)滤波处理:创建带通滤波器,从去平均参考后的脑电数据中提取0.5-50Hz频段的脑电成分,本实施例使用2阶巴特沃斯滤波器实现滤波处理;
[0047] 3)脑电注意力指标计算:
[0048] 选取右前额叶6个通道的原始脑电数据(F3、Fz、F4、P3、Pz、P4),记某个通道的脑电数据为gchannle,数据点个数为N。选择周期图法计算beta频段和theta频段各个通道数据的功率谱估计,用band表示beta和theta两个频段,channel表示上文提到的6个通道,瞬时的功率谱估计 的公式如下:
[0049]
[0050] 其中g(n)e-jwn为傅里叶变换,g(n)为实部,e-jwn为虚部。计算得到6个通道的beta频段和theta频段的瞬时功率谱估计 和 脑电注意力指数Aβ/θ的计算公式如下:
[0051]
[0052] 步骤3:眼动指标计算
[0053] 具体处理步骤包括:
[0054] 1)兴趣区域划分:将产品或者品牌等推广目标作为兴趣区域,并在视频帧中使用选定框确定兴趣区域;
[0055] 2)剪辑分段:将有兴趣区域出现的广告内容剪辑并按时序重组合。按照广告内容或者兴趣区域内目标的大小、形状等状态变化,划分出时间窗口,记为窗口函数为w(m),1≤m≤M,其中M表示时间窗口总个数。该时间窗口变化是离散的,在后续计算中时间窗口将被作为横轴刻度;
[0056] 3)眼动统计:统计每一个时间窗口内的注视信息(包括注视点个数、注视点持续时间等)、兴趣区域相关注视信息(包括兴趣区域内的注视点个数、注视点持续时间等)以及兴趣区域相关参数(包括兴趣区域大小、位置等);
[0057] 4)眼动注意力指标计算:
[0058] 每个广告有M个时间窗口,第m个窗口内兴趣区域内注视点个数为N(m),兴趣区域内所有注视点的总持续时间T(m),兴趣区域面积总和S(m)、广告视频帧数R(m)。在窗口序列上眼动注意力指标AE计算公式为:
[0059]
[0060] 步骤4:融合指标计算
[0061] 上述计算得到了脑电注意力指标和眼动注意力指标,其中脑电注意力指标作为脑电特征为时序数据,而眼动注意力指标作为眼动特征其量纲为时间窗口。为了便于脑电特征和眼动特征的直接融合比较,在此对脑电特征进行窗口化,使用多窗口法窗口化脑电注意力指标Aβ/θ,Pm表示第m个时间窗口内脑电数据点个数。脑电注意力指标的窗口化计算公式为:
[0062]
[0063] 通过以上计算得到了每个被试在窗口序列上的脑电特征数据AG和眼动特征数据AE,在以下计算中将脑电特征数据AG用列向量x表示,x=(AG(1),AG(2),…,AG(M)),眼动特征数据AE用列向量y表示,y=(AE(1),AE(2),…,AE(M)),并将数据整理为资料矩阵A形式:
[0064]
[0065] 计算资料矩阵A的协方差矩阵Σ,求解得到两个特征根λ1≥λ2>0,以及对应的特征向量μ1和μ2,μi=(μi1,μi2),i=1,2。其中第一主成分的求解公式为:
[0066]
[0067] 其中
[0068] 融合注意力指标AF融合了眼动注意力指标与脑电注意力指标中的主要成分,可以由上述公式(6)推导得出,其计算公式为:
[0069]
[0070] 步骤5:广告效果评估
[0071] 本实施例中一共包含被试18人,通过以上计算可以得到被试的融合注意力指标AF,对所有被试的融合注意力指标进行ANOVA方差分析,选取实施例中一个中性视频、一个对照视频、两个广告视频,其结果如图3所示。从图中可见广告视频比较结果较为明显,广告视频与非广告视频差别同样显著。
[0072] 选取图3中使用的4个视频,将所有被试的眼动注意力均值、脑电注意力均值以及融合注意力均值表示为图4。由图可见,两个广告视频之间、广告视频与非广告视频之间的区别一直存在,但是脑电注意力指标的区别并不明显,而眼动注意力指标中广告视频与非广告视频之间的对比不够明显,融合注意力指标则可以较为明显的区分视频之间的注意力情况。
[0073] 以上实施方式仅用于说明本发明,而并非对本发明的限制。本领域的技术人员应当理解,对本发明的技术方案进行的各种组合、修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权力要求范围当中。

附图说明

[0035] 图1为数据采集的流程图;
[0036] 图2为本发明方法的流程图;
[0037] 图3为融合指标的ANOVA方差分析结果图;
[0038] 图4为三种注意力指标均值分析结果图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号