首页 > 专利 > 杭州电子科技大学 > 一种基于贝叶斯优化的对抗样本生成方法专利详情

一种基于贝叶斯优化的对抗样本生成方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-05-17
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-10-22
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-04-06
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-05-17
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201910414533.7 申请日 2019-05-17
公开/公告号 CN110276377B 公开/公告日 2021-04-06
授权日 2021-04-06 预估到期日 2039-05-17
申请年 2019年 公开/公告年 2021年
缴费截止日
分类号 G06K9/62G06N3/04G06F21/55 主分类号 G06K9/62
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 0
权利要求数量 1 非专利引证数量 1
引用专利数量 2 被引证专利数量 0
非专利引证 1、2019.05.16郑文博等.基于贝叶斯生成对抗网络的背景消减算法《.自动化学报》.2018,第44卷(第5期),Masahiro Kazama et al.ActivePreference Learning for GenerativeAdversarial Networks《.IEEE InternationalConference on Big Data》.2018,张思思等.深度学习中的对抗样本问题《.计算机学报》.2018,第42卷(第8期),孟东宇.黑盒威胁模型下深度学习对抗样本的生成《.电子设计工程》.2018,第26卷(第24期),Shromona Ghosh et al.VerifyingControllers Against Adversarial Exampleswith Bayesian《.IEEE InternationalConference on Robotics and Automation》.2018,;
引用专利 US2019147333A、US2019147321A 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 刘林兴、冯建文 第一发明人 刘林兴
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 2
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
杨舟涛
摘要
本发明公布了一种基于贝叶斯优化的对抗样本生成方法,现有的黑盒攻击方法需要通过大量地向模型进行查询来获取优化信息。本发明以原始图片作为输入,通过计算扰动图片与原始图片的结构相似度的梯度来确定待优化的位置;然后使用贝叶斯优化在选定的位置中进行采样优化,得到该位置上能使损失函数增加的扰动值;通过迭代的方式选择多个位置,并优化得到扰动值,直到改变被扰动图像的分类结果,或者达到最大迭代次数则停止。本发明能够有效降低查询向目标DNN模型查询的次数,且扰动像素点的数量较少。
  • 摘要附图
    一种基于贝叶斯优化的对抗样本生成方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-04-06 授权
2 2019-10-22 实质审查的生效 IPC(主分类): G06K 9/62 专利申请号: 201910414533.7 申请日: 2019.05.17
3 2019-09-24 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于贝叶斯优化的对抗样本生成方法,其特征在于,该方法包括如下步骤:
步骤一、获取原始图像x的真实类别yc及其概率Mc
以原始图像x作为以θ为参数的目标DNN分类器的输入,获得原始图像的概率输出向量M(x;θ);取概率输出向量中最大值对应的类别作为原始图像的类别预测yc,概率输出向量中最大值为Mc;
步骤二、确定待优化的目标函数
使用迭代的方法生成对抗样本,为了降低计算的复杂度,在每个迭代中仅扰动图像向量的某一维度;设扰动值为z,并将扰动值z赋值到Δx的对应维度;扰动值满足||z||<ε,以确保图像质量,ε为设定的阈值;将x+Δx输入到参数为θ的深层神经网络DNN分类器中,得到预测输出向量M(x+Δx;θ);令M(x+Δx;θ)中除yc类别外的最大概率值为Mt,其对应的类别为yt,目标函数定义为B(z)=log(Mc)‑log(Mt);优化的目标是B(z)≤0,从而改变目标DNN分类器对被扰动图像的分类结果;Δx是与x具有相同维度的全0扰动向量;
步骤三、确定此次迭代中需要优化的坐标与通道
在第T次迭代中,计算当前扰动图像x′=x+Δx与随机图像xG的结构相似度的梯度选择其中最小梯度值对应的维度s作为需要的优化维度;xG是与x具有相同
维度的从高斯分布中采样得到的随机向量;
步骤四、对特定维度中使用贝叶斯优化
1)使用高斯过程代理待优化的目标函数,使用EI策略作为采集函数;设定最大测试点次数为I,以及当前测试点数量i=0;首先随机选择几个扰动值进行测试,生成初始观测数据集D1:t,包含t个已观测数据点;
2)根据已观测到的数据集D1:t得到的后验分布构造一个EI采集函数αt(z;D1:t):
*
其中,v表示当前最优函数值,φ(·)为标准正态分布概率密度函数,μt(z)与σt(z)分别表示D1:t中数据点的均值与方差;
3)通过最大化采集函数选择下一个评估点 将zt+1赋值到Δx的
对应维度s,并评估此时的目标函数值B(zt+1),在zt+1处评估后将评估值加入观测数据集D;i+=1,若i≤I,转(2);
4)输出已观测数据集中的最小函数值B(z)及其对应的扰动值z;
步骤五:将步骤四得到的最佳扰动值z赋值到扰动向量Δx;若B(z)≤0,则认为攻击成功,将被扰动图片x+Δx作为对抗样本输出,若B(z)>0,则认为在此次迭代中攻击不成功,跳转到步骤三,在当前扰动向量Δx的基础上继续下一次迭代。
说明书

技术领域

[0001] 本发明属于计算机数字图像处理领域,具体涉及一种对抗样本生成方法。

背景技术

[0002] 深度学习在解决过去难以解决的复杂问题方面取得了重大突破,例如,在重建脑回路、分析DNA中的突变、预测潜在药物分子的活性结构、分析粒子加速器数据等问题上都有应用。深度神经网络(Deep Neural Network,DNN)也成为解决语音识别和自然语言理解中等许多具有挑战性的任务的首选方法。
[0003] 虽然DNN以惊人的精度执行各种计算机视觉任务,但DNN却极易受到对抗攻击的影响,这种攻击的形式是在图像中添加对人类视觉系统来说几乎不可察觉的微小图像扰动。这种攻击可以使DNN分类器完全改变其关于图像的预测,受到攻击的模型对错误的预测高度信任。而且,相同的图像扰动可以欺骗多个神经网络分类器。这种可以改变 DNN分类器预测结果的被扰动图片被称为对抗样本。
[0004] 目前生成对抗样本的方法大致可以分为两类:白盒攻击与黑盒攻击。白盒攻击假设已有目标模型的所有知识,包括它的参数值、架构、训练方法等,甚至目标模型的训练数据都是可知的,利用这些知识生成对抗样本来欺骗目标模型。例如,FGSM计算目标模型的梯度信息,在每个像素值上添加一个相同大小的小扰动构建对抗样本,JSMA计算模型的前向导数,扰动有限数量像素点的构建对抗样本。白盒攻击的优势在于计算速度比较快,但是需要用到目标网络的梯度信息。黑盒攻击方法无需利用网络的梯度及参数知识,通过向目标模型输入对抗样本查询其输出的预测标签,利用这些信息生成对抗样本来欺骗目标模型。例如,One Pixel Attack方法使用差分进化的概念,观测目标模型的预测概率标签生成对抗样本,仅仅改变一个像素点就能误导目标网络,Boundary Attacks方法则仅仅利用网络的分类输出结果即可生成对抗样本。然而,由于缺乏梯度信息,带来了高额的评估代价,比如One Pixel Attacks方法需要3万次评估,而Boundary Attacks方法则需要百万次评估。

发明内容

[0005] 本发明的主要目的是针对现有的黑盒攻击方法带来大量查询开销的问题,提出一种基于贝叶斯优化生成对抗样本的黑盒攻击方法。本方法使用贝叶斯优化在解空间中进行搜索,迭代地在解空间中找到一个特定的扰动,该扰动添加到原图片之后,可以改变分类器对被扰动图像的分类结果。
[0006] 本发明所使用的黑盒攻击方法包括如下步骤:
[0007] 步骤一、获取原始图像x的真实类别yc及其概率Mc
[0008] 以原始图像x作为以θ为参数的目标DNN分类器的输入,获得原始图像的概率输出向量M(x;θ);取概率输出向量中最大值对应的类别作为原始图像的类别预测yc,概率输出向量中最大值为Mc;
[0009] 步骤二、确定待优化的目标函数
[0010] 使用迭代的方法生成对抗样本,为了降低计算的复杂度,在每个迭代中仅扰动图像向量的某一维度;设扰动值为z,并将扰动值z赋值到Δx的对应维度;扰动值满足||z||<ε,以确保图像质量,ε为设定的阈值;将x+Δx输入到参数为θ的深层神经网络DNN分类器中,得到预测输出向量M(x+Δx;θ);令M(x+Δx;θ)中除yc类别外的最大概率值为Mt,其对应的类别为yt,目标函数定义为B(z)=log(Mc)‑ log(Mt);优化的目标是B(z)≤0,从而改变目标DNN分类器对被扰动图像的分类结果;Δx是与x具有相同维度的全0扰动向量;
[0011] 步骤三、确定此次迭代中需要优化的坐标与通道
[0012] 在第T次迭代中,计算当前扰动图像x′=x+Δx与随机图像xG的结构相似度的梯度选择其中最小梯度值对应的维度s 作为需要的优化维度;xG是与x具有相同维度的从高斯分布中采样得到的随机向量;
[0013] 步骤四、对特定维度中使用贝叶斯优化
[0014] 1)使用高斯过程代理待优化的目标函数,使用EI策略作为采集函数;设定最大测试点次数为I,以及当前测试点数量i=0;首先随机选择几个扰动值进行测试,生成初始观测数据集D1:t,包含t个已观测数据点;
[0015] 2)根据已观测到的数据集D1:t得到的后验分布构造一个EI采集函数αt(z;D1:t):
[0016]
[0017] 其中,v*表示当前最优函数值,φ(·)为标准正态分布概率密度函数,μt(z)与σt(z)分别表示D1:t中数据点的均值与方差;
[0018] 3)通过最大化采集函数选择下一个评估点
[0019] 将zt+1赋值到Δx的对应维度s,并评估此时的目标函数值B(zt+1),在zt+1处评估后将评估值加入观测数据集D; i+=1,若i≤I,转(2);
[0020] 4)输出已观测数据集中的最小函数值B(z)及其对应的扰动值z;
[0021] 步骤五:将步骤四得到的最佳扰动值z赋值到扰动向量Δx;若 B(z)≤ 0,则认为攻击成功,将被扰动图片x+Δx作为对抗样本输出,若B(z)> 0,则认为在此次迭代中攻击不成功,跳转到步骤三,在当前扰动向量Δx的基础上继续下一次迭代。
[0022] 本发明的有益效果:
[0023] 本发明通过计算结构相似度的梯度,选择对最小梯度对应坐标的像素点添加扰动,以降低添加的扰动对图像质量的影响。同时采用贝叶斯优化方法计算扰动,可以用比较少的查询次数获取最佳扰动值。

实施方案

[0028] 本发明以一张原始图像作为输入,计算原始图像与随机高斯图像的结构相似度并求其梯度,选择最小梯度值对应的维度。逐个维度地使用贝叶斯优化得到最佳扰动值。将多次迭代得到的扰动叠加在一起,直到改变DNN分类器的类别预测结果。
[0029] 以下举例说明本发明整个过程的具体实施方式如下(各步骤效果图参见图2):
[0030] 步骤一、获取原始图像x的真实类别yc及其概率Mc
[0031] x是原始图像向量(如图1所示),Δx是与x具有相同维度的全0 扰动向量,xG是与x具有相同维度的从高斯分布中采样得到的随机向量(如图2所示)。以原始图像x作为目标DNN分类器的输入,获得原始图像的概率输出向量M(x;θ);取概率输出向量中最大值对应的类别作为原始图像的类别预测yc,概率输出向量中最大值为Mc。
[0032] 步骤二、确定待优化的目标函数
[0033] 由于图像向量x具有较高的维度,并且生成对抗样本并不需要对所有的维度添加扰动,故而在本方法中每次仅扰动一个维度,其他维度不改变,以生成试验扰动Δx。将x+Δx输入到DNN分类器中,得到预测输出向量M(x+Δx;θ)。令M(x+Δx;θ)中除yc类别外的最大概率值为Mt,其对应的类别为yt,目标函数定义为B(z)=log(Mc)‑ log(Mt)。优化的目标是B(z)≤0,从而改变目标DNN分类器对被扰动图像的分类结果。
[0034] 步骤三:确定此次迭代中需要优化的坐标与通道
[0035] 在第T次迭代中,计算当前扰动图像x′=x+Δx与随机图像xG的结构相似度SSIM(x′,xG):
[0036]
[0037] 这里μx′、 表示x′和xG的均值, 表示x′和xG的方差, 表示x′和xG的协方差,∈1与∈2是一个小标量,以确保分母不为零。然后求结构相似度关于x′的梯度,得到一个与原始图像相同维度的梯度向量
[0038]
[0039] 选择其中最小梯度值对应的坐标s及通道c作为下一步的优化坐标:
[0040]
[0041] 步骤四:对特定像素使用贝叶斯优化
[0042] 1)使用高斯过程代理待优化的目标函数,使用EI策略作为采集函数。设定最大测试点次数I,以及当前测试点数量i=0;首先随机选择几个扰动值进行测试,生成初始观测数据集D1:t,包含t个已观测数据点。
[0043] 2)根据已观测到的数据集D1:t得到的后验分布构造一个EI采集函数αt(z;D1:t):
[0044]
[0045] 其中,v*表示当前最优函数值,φ(·)为标准正态分布概率密度函数,μt(z)与σt(z)分别表示D1:t中数据点的均值与方差。
[0046] 3)通过对其最大化采集函数选择下一个评估点 将zt+1赋值到Δx的对应维度s,并评估此时的目标函数值B(zt+1),在zt+1处评估后将评估值加入观测数据集D。i+=1,若i≤I,转(2)。
[0047] 4)输出已观测数据集中的最小函数值B(z)及其对应的扰动值z。
[0048] 步骤五:将步骤四得到的最佳扰动值z赋值到扰动向量Δx(最终扰动图像如图3所示,共扰动36个像素点,891次评估次数)。若 B(z)≤0,则认为攻击成功,将被扰动图片x+Δx作为对抗样本输出 (最终对抗样本图像如图4所示),若B(z)>0,则认为在此次迭代中攻击不成功,跳转到步骤三,在当前扰动向量Δx的基础上继续下一次迭代。
[0049] 实验结果:从CIFAR10中随机选用100张图片作为实验数据,在实验结果中,平均扰动像素数量为95.22,中位数为78.5,平均评估次数为2364.85次,中位数为1944.5次。评估次数明显少于One Pixel Attacks方法与Boundary Attacks方法。

附图说明

[0024] 图1为原始图像;
[0025] 图2为高斯随机图像;
[0026] 图3为对抗扰动图像;
[0027] 图4为对抗样本图像。
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号