首页 > 专利 > 杭州电子科技大学 > 一种基于时空深度学习的移动污染源排放浓度预测方法专利详情

一种基于时空深度学习的移动污染源排放浓度预测方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2018-12-17
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2019-04-12
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-08-31
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2038-12-17
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201811541300.5 申请日 2018-12-17
公开/公告号 CN109492830B 公开/公告日 2021-08-31
授权日 2021-08-31 预估到期日 2038-12-17
申请年 2018年 公开/公告年 2021年
缴费截止日
分类号 G06Q10/04G06Q50/26G06N3/04 主分类号 G06Q10/04
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 0
权利要求数量 1 非专利引证数量 1
引用专利数量 0 被引证专利数量 0
非专利引证 1、CN 108052793 A,2018.05.18CN 108491970 A,2018.09.04CN 107346459 A,2017.11.14KR 20180084417 A,2018.07.25CN 108009674 A,2018.05.08CN 107341576 A,2017.11.10CN 104616060 A,2015.05.13CN 102682209 A,2012.09.19CN 108593557 A,2018.09.28尹文君 等.基于深度学习的大数据空气污染预报《.中国环境管理》.2015,Osama A.Ghoneim.etc.Forecasting ofOzone Concentration in Smart City《.2017International Conference on Advances inComputing, Communications and Informatics(ICACCI)》.2017,;
引用专利 被引证专利
专利权维持 4 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 蒋鹏、李永安、林宏泽、佘青山、许欢、林广 第一发明人 蒋鹏
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 6
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
浙江千克知识产权代理有限公司 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
周希良
摘要
本发明公开了一种基于深度学习的移动污染源排放浓度预测方法,本发明根据移动污染源污染物的区域时空分布特点,提出基于注意力机制的卷积长短期记忆神经网络预测方法。首先,通过分析站点之间的Granger因果关系并开发超参数高斯向量权重函数以确定空间自相关变量作为输入特征的一部分。其次,使用卷积神经网络来提取LSTM网络使用的数据的时空间特征,同时注意力模型分别用于加权特征图和通道以增强特征的有效性。最后,基于深度LSTM的时间序列预测器,用于学习大气污染物浓度的长期和短期依赖性。本发明从历史大气污染物数据中提取固有的有用特征,并将辅助数据纳入所提出的模型中以提高性能,从而浓度预测方法。
  • 摘要附图
    一种基于时空深度学习的移动污染源排放浓度预测方法
  • 说明书附图:图1
    一种基于时空深度学习的移动污染源排放浓度预测方法
  • 说明书附图:图2
    一种基于时空深度学习的移动污染源排放浓度预测方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-08-31 授权
2 2019-04-12 实质审查的生效 IPC(主分类): G06Q 10/04 专利申请号: 201811541300.5 申请日: 2018.12.17
3 2019-03-19 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于时空深度学习的移动污染源排放浓度预测方法,其特征在于:该方法具体包括以下步骤:
步骤1:利用格兰杰因果分析解决时空相关性问题,对于复杂的空间因素,使用格兰杰因果关系来分析空气浓度的时间序列;将一个监测站的空气污染物的时间序列定义为Yi,另一个监测点的时间序列为Xi;格兰杰因果关系的格式和零假设是:
其中Nd空间聚类的邻域集,εt是一个白高斯随机向量,n是时间戳的数量,向量Φi是对应的权重Yi,μi表示空间位置Xi和Yi之间的空间权重;
针对Xi和Yi的空间权重μi,将风向和距离与空气污染物的浓度扩散过程相结合,提出了一种基于高斯核函数的超参数高斯权重向量,描述为:
其中α(j)是学习率,其中dX/dY和θXY分别代表距离变量和角度变量,距离通过欧几里德距离直接计算,使用F检验来确定格兰杰因果关系的格式和零假设计算公式是否比超参数高斯权重向量计算公式更重要;如果是,Xi是Yi的因果关系,所以Xi可以用于预测Yi,带宽参数σ,它表示变换后的方向和距离效应之间的折衷;
步骤2:空间/时间特征提取,使用历史空气污染物浓度数据建立一个时空关系的三维矩阵,作为CNN的输入;假设S监测站Si={s1,s2,…,s25}的总数按空间顺序排列在路段上;S站可以提供一组时间检测数据Di={dt‑r,…,dt‑2,dt‑1},其中在每个时间点t记录的检测数据是 D是时间检测数据,S是监测站,并且ο是属性;根据道路上监测点的空间和时间分布组合了所有数据,得到了一个大小为M={S,D,ο}的三维数据矩阵;由此预测问题定义为:对于给定的一组监测站S在给定的不同时间间隔,将其最新的最大时间步骤{t‑r,…,t‑2,t‑1}历史数据用于时空相关性建模和空气污染物浓度预测;为了提高效率,在模型的第二和第三卷积层之后添加批量标准化;
步骤3:建立特征图注意力模型,使用卷积核进行卷积运算以获得输出空间和时间特征映射;在注意力模型中,F={f(1),f(2),…,f(j)}是卷积层的输出隐藏特征映射,即j∈R卷积核的数量;使用以下等式通过等式计算:
F′=W⊙F
这里,W={ω1,ω2,…,ωj}是一组权重矩阵,其大小与特征映射相同;产生W的注意力模型由三个具有步幅1的卷积层组成;第一卷积层具有k×s滤波器,卷积核尺寸为5×5,第二和第三层具有k个滤波器,卷积核尺寸为3×3,并且每个卷积层有100个滤波器;⊙是元素的乘积;
步骤4:建立信道注意力模型
对于输入特征映射F={f(1),f(2),…,f(j)},其中j是特征映射中的通道数,在F中执行最大池化操作以获得每个通道C={c1,c2,…,cj}的最大值;注意力机制将产生注意权重向量V和加权表示F′如下等式计算.
ci=maxf(j)
V=softmax(C)
F′=V⊙F
步骤5:多个监测点空气污染浓度预测,从卷积和合并处理获得加权时间特征和空间特征之后,通过FST=F′s⊕F′t逐元素地添加两个特征图并将它们压缩成一维特征X=(x1,x2,…,xt);这些特征被分解为连续的组件并馈送到重复的LSTM单元以进行时间分析;随后使用LSTM层从X=(x1,x2,…,xt)提取时间信息输入,并且另一输入是从最后时间步骤开始的隐藏单元ht‑1;Attention‑CNN‑LSTM的前向训练过程可以用以下等式表示:
ft=σ(Wf·g[ht‑1,xt]+bf)
it=σ(Wi·g[ht‑1,xt]+bi)
Ct=ft×Ct‑1+it×tanh(WC·g[ht‑1,xt]+bC)
ot=σ(Wo·g[ht‑1,xt]+bo)
ht=ot·tanh(Ct)
其中it,ot和ft分别表示输入门,输出门和遗忘门的激活,Ct和ht分别表示每个细胞和记忆块的激活载体,W和b分别表示权重矩阵和偏差矢量;然后,仅将LSTM的最后一步的输出馈送到完全连接的层中,用于时空空气污染预测;
训练结束,模型的权值参数确定,此时的模型在使用格兰杰因果分析空间相关性分析中加入风向影响因素,使用注意力模型来权衡隐藏特征以增强特征的有效性,将实时的气象信息、污染物信息以及时间戳信息作为移动污染源排放物浓度输入到模型中,模型即可输出未来24小时多尺度预测的浓度结果。
说明书

技术领域

[0001] 本发明涉及一种数据驱动的预测方法,尤其涉及一种基于时空深度学习的移动污染源排放浓度预测方法。

背景技术

[0002] 大气污染,尤其是移动污染源超细颗粒物和挥发性有机物(Volatile Organic Compounds,VOCs)造成的大范围雾霾已经成为我国最突出的环境问题之一。超细颗粒物和VOCs不仅对人体健康具有严重的直接危害,同时作为PM2.5的重要前体物和光化学烟雾的主要组成部分,对复合大气污染的形成起着至关重要的作用。因此,监控移动污染源超细颗粒物和VOCs的排放量,是减少雾霾天气和光化学烟雾污染,改善区域城市大气环境质量的有效手段之一。有必要了解这些污染物的来源和数量,以尽量减少大气污染对健康的不利影响。在空间维度上,对不同地区的污染物变化的特征进行分析,剖析污染物浓度在时间和空间上的差异性及形成原因,进而提高污染物浓度的预测的效率和准确可靠性,为政府控制大气污染以及交通管控、生活出行提供决策依据。
[0003] 通常,空气污染过程通常涉及相互作用的多种类型的污染物,并且受到局部反应,空气污染物浓度的时空演变特性和混杂因素的影响,例如风和湿度的方向。因此,对空气污染物浓度预测的研究仍面临以下两个挑战:(1)LSTM网络一般用于时间特征提取,但其缺点是当输入序列具有长期依赖性和复杂性任务的时,存在差异性。模型难以学习合理的矢量表示,使模型的学习效率较差;(2)空气污染因果路径在自然界的不同位置之间是复杂的。监测站之间的相关性很复杂,因为它可能受到地理,自然过程,大气现象或其他因素的影响。

发明内容

[0004] 本发明针对现有技术中预测空气污染物浓度的准确性不高的问题,提供了一种基于时空深度学习的移动污染源排放浓度预测方法。
[0005] 一种基于时空深度学习的移动污染源排放浓度预测方法,包括以下步骤:
[0006] 步骤1:利用格兰杰因果分析解决时空相关性问题,格兰杰因果关系作为衡量时间序列之间相互作用的指标,近几十年来一直备受青睐。对于复杂的空间因素,使用格兰杰因果关系来分析空气浓度的时间序列。将一个监测站的空气污染物的时间序列定义为Yi,另一个监测点的时间序列为Xi。格兰杰因果关系的格式和零假设是:
[0007]
[0008]
[0009] 这是Nd空间聚类的邻域集(采用K‑Means算法来考虑所有空间因素对监测点进行聚类);εt是一个白高斯随机向量,n是时间戳的数量,向量Φi是对应的权重Yi;μi表示空间位置Xi和Yi之间的空间权重。
[0010] 然而,大气污染物对不同环境条件的依赖性也不同,污染物在扩散过程中易受风向影响。因此,有必要研究不同监测点之间不同风向下不同污染物的时空因果关系。基于以下实例如图1,可以看到空间和时间之间的因果分析应该反映两个方面:1)时空结构的依赖性,它反映了各种污染物在空间和时间上的传播;2)可预测性,表明不同的环境条件可能导致不同的时空因果关系。
[0011] 针对Xi和Yi的空间权重μi,将风向和距离与空气污染物的浓度扩散过程相结合,提出了一种基于高斯核函数的超参数高斯权重向量,可以描述为:
[0012]
[0013] 其中α(j)是学习率,其中dX/dY和θXY分别代表距离变量和角度变量。距离可以通过欧几里德距离直接计算。使用F检验来确定第一个公式是否比第二个公式更重要。如果是,Xi是Yi的因果关系,所以Xi可以用于预测Yi.注意,使用了一个带宽参数σ,它表示变换后的方向和距离效应之间的折衷;
[0014] 步骤2:空间/时间特征提取,使用历史空气污染物浓度数据建立一个时空关系为三维矩阵作为CNN的输入。假设S监测站Si={s1,s2,…,s25}的总数按空间顺序排列在路段上。S站可以提供一组时间检测数据Di={dt‑r,…,dt‑2,dt‑1},其中在每个时间点t记录的检测数据是 D是时间检测数据,S是监测站,并且ο是属性。根据道路上监测点的空间和时间分布组合了所有数据,得到了一个大小为M={S,D,ο}的三维数据矩阵。本文的预测问题可以定义为:对于给定的一组监测站S在给定的不同时间间隔,将其最新的最大时间步骤{t‑r,…,t‑2,t‑1}历史数据用于时空相关性建模和空气污染物浓度预测。为了提高效率,在模型的第二和第三卷积层之后添加批量标准化。这里使用非线性激活函数SELU函数,SELU具有更好的收敛性并且可以有效地避免梯度消失的问题,这在Klambauer等人中具体讨论。
[0015] 步骤3:建立特征图注意力模型,使用卷积核进行卷积运算以获得输出空间和时间特征映射。在注意力模型中,F={f(1),f(2),…,f(j)}是卷积层的输出隐藏特征映射,即j∈R卷积核的数量。使用以下等式通过等式计算:
[0016]
[0017] F′=W⊙F
[0018] 这里,W={ω1,ω2,…,ωj}是一组权重矩阵,其大小与特征映射相同。产生W的注意力模型由三个具有步幅1的卷积层组成。第一卷积层具有k×s滤波器,卷积核尺寸为5×5,第二和第三层具有k个滤波器,卷积核尺寸为3×3,并且每个卷积层有100个滤波器。⊙是元素的乘积。
[0019] 步骤4:建立信道注意力模型,输入模型的三维时空数据矩阵包含许多不同的属性,不同的属性对模型的预测性能有不同的影响。期望将这34种有用信息集成到机器学习模型中,进行有监督的学习和分析,实现准确的预测。同时,来自卷积层的不同信道输出一定对模型具有不相同的影响。因此,对不同的信道进行加权,以提高特征对模型预测性能的有效性。
[0020] 对于输入特征映射F={f(1),f(2),…,f(j)},其中j是特征映射中的通道数,在F中执行最大池化操作以获得每个通道C={c1,c2,…,cj}的最大值。注意力机制将产生注意权重向量V和加权表示F′如下等式计算.
[0021] ci=maxf(j)
[0022] V=softmax(C)
[0023] F′=V⊙F
[0024] 步骤5:多个监测点空气污染浓度预测,从卷积和合并处理获得加权时间特征和空间特征之后,可以通过FST=F′s⊕F′t逐元素地添加两个特征图并将它们压缩成一维特征X=(x1,x2,…,xt)。这些特征被分解为连续的组件并馈送到重复的LSTM单元以进行时间分析。随后使用LSTM层从X=(x1,x2,…,xt)提取时间信息输入,并且另一输入是从最后时间步骤开始的隐藏单元ht‑1。Attention‑CNN‑LSTM的前向训练过程可以用以下等式表示:
[0025] ft=σ(Wf·g[ht‑1,xt]+bf)
[0026] it=σ(Wi·g[ht‑1,xt]+bi)
[0027] Ct=ft×Ct‑1+it×tanh(WC·g[ht‑1,xt]+bC)
[0028] ot=σ(Wo·g[ht‑1,xt]+bo)
[0029] ht=ot·tanh(Ct)
[0030] 其中it,ot和ft分别表示输入门,输出门和遗忘门的激活;Ct和ht分别表示每个细胞和记忆块的激活载体;W和b分别表示权重矩阵和偏差矢量。然后,仅将LSTM的最后一步的输出馈送到完全连接的层中,用于时空空气污染预测。
[0031] 训练结束,模型的权值参数确定,此时的模型在使用格兰杰因果分析空间相关性分析中加入风向影响因素,使用注意力模型来权衡隐藏特征以增强特征的有效性,将实时的气象信息、污染物信息以及时间戳信息作为移动污染源排放物浓度输入到模型中,模型即可输出未来24小时多尺度预测的浓度结果。
[0032] 本发明的预测方法中,使用了分析站点之间的格兰杰因果关系,并生成空间数据作为相对站点和时空属性,使用普通卷积单元提取空间特征和时间特征,并通过使用注意力机制对特征进行加权,通过堆叠多层LSTM,可以逐层自动提取具有长期依赖性的空间相关污染物数据的特征,并且可以使用融合特征来预测空气污染物浓度的多尺度时间序列预测。该方法实现了更高的准确性和稳定性。

实施方案

[0035] 如图1和图2所示,本发明具体实现如下:
[0036] 考虑到25个监测站之间的时空相关性和监测站的历史状态,选择了两个或多个CNN层来从历史空气污染物数据中提取长期跨度学习的内在特征,然后使用单热编码。该方法对每小时数据进行编码,并将提取的特征与当前的气象数据和相关的污染物数据相结合,以提高模型的预测性能。使用两个分支来提取空间特征和时间特征,然后使用注意模型来权衡隐藏特征以增强特征的有效性。通过堆叠多层LSTM,可以逐层自动提取具有长期依赖性的空间相关污染物数据的特征,并且可以使用融合特征来预测空气污染物的多尺度时间序列预测。
[0037] 步骤1:利用格兰杰因果分析解决时空相关性问题,格兰杰因果关系作为衡量时间序列之间相互作用的指标,近几十年来一直备受青睐。对于复杂的空间因素,使用格兰杰因果关系来分析空气浓度的时间序列。将一个监测站的空气污染物的时间序列定义为Yi,另一个监测点的时间序列为Xi。格兰杰因果关系的格式和零假设是:
[0038]
[0039]
[0040] 这是Nd空间聚类的邻域集(采用K‑Means算法来考虑所有空间因素对监测点进行聚类);εt是一个白高斯随机向量,n是时间戳的数量,向量Φi是对应的权重Yi;μi表示空间位置Xi和Yi之间的空间权重。
[0041] 然而,大气污染物对不同环境条件的依赖性也不同,污染物在扩散过程中易受风向影响。因此,有必要研究不同监测点之间不同风向下不同污染物的时空因果关系。基于以下实例如图1,可以看到空间和时间之间的因果分析应该反映两个方面:1)时空结构的依赖性,它反映了各种污染物在空间和时间上的传播;2)可预测性,表明不同的环境条件可能导致不同的时空因果关系。
[0042] 针对Xi和Yi的空间权重μi,将风向和距离与空气污染物的浓度扩散过程相结合,提出了一种基于高斯核函数的超参数高斯权重向量,可以描述为:
[0043]
[0044] 其中α(j)是学习率,其中dX/dY和θXY分别代表距离变量和角度变量。距离可以通过欧几里德距离直接计算。使用F检验来确定第一个公式是否比第二个公式更重要。如果是,Xi是Yi的因果关系,所以Xi可以用于预测Yi;注意,使用了一个带宽参数σ,它表示变换后的方向和距离效应之间的折衷。
[0045] 步骤2:空间/时间特征提取,使用历史空气污染物浓度数据建立一个时空关系为三维矩阵作为CNN的输入。假设S监测站Si={s1,s2,…,s25}的总数按空间顺序排列在路段上。S站可以提供一组时间检测数据Di={dt‑r,…,dt‑2,dt‑1},其中在每个时间点t记录的检测数据是 D是时间检测数据,S是监测站,并且ο是属性。根据道路上监测点的空间和时间分布组合了所有数据,得到了一个大小为M={S,D,ο}的三维数据矩阵。本文的预测问题可以定义为:对于给定的一组监测站S在给定的不同时间间隔,将其最新的最大时间步骤{t‑r,…,t‑2,t‑1}历史数据用于时空相关性建模和空气污染物浓度预测。为了提高效率,在模型的第二和第三卷积层之后添加批量标准化。这里使用非线性激活函数SELU函数,SELU具有更好的收敛性并且可以有效地避免梯度消失的问题。
[0046] 步骤3:建立特征图注意力模型,使用卷积核进行卷积运算以获得输出空间和时间特征映射。在注意力模型中,F={f(1),f(2),…,f(j)}是卷积层的输出隐藏特征映射,即j∈R卷积核的数量。使用以下等式通过等式计算:
[0047]
[0048] F′=W⊙F
[0049] 这里,W={ω1,ω2,…,ωj}是一组权重矩阵,其大小与特征映射相同。产生W的注意力模型由三个具有步幅1的卷积层组成。第一卷积层具有k×s滤波器,卷积核尺寸为5×5,第二和第三层具有k个滤波器,卷积核尺寸为3×3,并且每个卷积层有100个滤波器。⊙是元素的乘积。
[0050] 步骤4:建立信道注意力模型,输入模型的三维时空数据矩阵包含许多不同的属性,不同的属性对模型的预测性能有不同的影响。期望将这34种有用信息集成到机器学习模型中,进行有监督的学习和分析,实现准确的预测。同时,来自卷积层的不同信道输出一定对模型具有不相同的影响。因此,对不同的信道进行加权,以提高特征对模型预测性能的有效性。
[0051] 对于输入特征映射F={f(1),f(2),…,f(j)},其中j是特征映射中的通道数,在F中执行最大池化操作以获得每个通道C={c1,c2,…,cj}的最大值。注意力机制将产生注意权重向量V和加权表示F′如下等式计算.
[0052] ci=maxf(j)
[0053] V=softmax(C)
[0054] F′=V⊙F
[0055] 步骤5:多个监测点空气污染浓度预测,从卷积和合并处理获得加权时间特征和空间特征之后,可以通过FST=F′s⊕F′t逐元素地添加两个特征图并将它们压缩成一维特征X=(x1,x2,…,xt)。这些特征被分解为连续的组件并馈送到重复的LSTM单元以进行时间分析。随后使用LSTM层从X=(x1,x2,…,xt)提取时间信息输入,并且另一输入是从最后时间步骤开始的隐藏单元ht‑1。Attention‑CNN‑LSTM的前向训练过程可以用以下等式表示:
[0056] ft=σ(Wf·g[ht‑1,xt]+bf)
[0057] it=σ(Wi·g[ht‑1,xt]+bi)
[0058] Ct=ft×Ct‑1+it×tanh(WC·g[ht‑1,xt]+bC)
[0059] ot=σ(Wo·g[ht‑1,xt]+bo)
[0060] ht=ot·tanh(Ct)
[0061] 其中it,ot和ft分别表示输入门,输出门和遗忘门的激活;Ct和ht分别表示每个细胞和记忆块的激活载体;W和b分别表示权重矩阵和偏差矢量。然后,仅将LSTM的最后一步的输出馈送到完全连接的层中,用于时空空气污染预测。
[0062] 训练结束,模型的权值参数确定,此时的模型在使用格兰杰因果分析空间相关性分析中加入风向影响因素,使用注意力模型来权衡隐藏特征以增强特征的有效性,将实时的气象信息、污染物信息以及时间戳信息作为移动污染源排放物浓度输入到模型中,模型即可输出未来24小时多尺度预测的浓度结果。
[0063] 步骤7:对训练得到的时空深度学习模型进行分析和对比,经分析和对比,相比于其他已有的方法,用基于时空深度学习的预测模型可以更好地对解决的移动污染源排放物浓度时空相关性,且具有较好的预测准确度。
[0064] 以上实施例仅用以说明本发明的技术方案而非限制,仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。

附图说明

[0033] 图1为大气污染物浓度空间相关性分析图;
[0034] 图2为基于时空深度学习移动污染源浓度预测模型结构图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号