首页 > 专利 > 杭州电子科技大学 > 基于区块链的冷热时序数据分类处理方法及存储系统专利详情

基于区块链的冷热时序数据分类处理方法及存储系统   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2020-05-11
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2020-10-27
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-09-02
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2040-05-11
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202010392196.9 申请日 2020-05-11
公开/公告号 CN111723126B 公开/公告日 2022-09-02
授权日 2022-09-02 预估到期日 2040-05-11
申请年 2020年 公开/公告年 2022年
缴费截止日
分类号 G06F16/2458G06F16/28H04L67/1097H04L67/1074H04L9/32 主分类号 G06F16/2458
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 1
权利要求数量 2 非专利引证数量 0
引用专利数量 3 被引证专利数量 0
非专利引证
引用专利 CN108345685A、CN110677407A、US2020012731A1 被引证专利
专利权维持 2 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 吴以凡、郑鹏达、张桦、戴国骏 第一发明人 吴以凡
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 4
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明提供一种基于区块链的冷热时序数据分类处理方法及存储系统。本发明基于时序数据保留策略区别热点数据与冷门数据,对时序型数据的时间特性提供了专属匹配,更加利于实现时序数据的定制化存储。通过参数配置,对数据保留时间和数据传输通道的数目以及其他必要参数进行预设。通过构造自动生成且具有生命周期的数据传输通道,所有时序数据都会存储在区块文件中。在缩减数据规模的同时保证数据可靠性,实现高效的数据传输和存储。基于内容哈希构造存证链,在全局对时序数据进行内容哈希,保证所有数据都能够得到确权和可靠性。通过降低一定的数据可靠性和时效性,实现海量时序数据的传输和存储。
  • 摘要附图
    基于区块链的冷热时序数据分类处理方法及存储系统
  • 说明书附图:图1
    基于区块链的冷热时序数据分类处理方法及存储系统
  • 说明书附图:图2
    基于区块链的冷热时序数据分类处理方法及存储系统
  • 说明书附图:图3
    基于区块链的冷热时序数据分类处理方法及存储系统
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-09-02 授权
2 2020-10-27 实质审查的生效 IPC(主分类): G06F 16/2458 专利申请号: 202010392196.9 申请日: 2020.05.11
3 2020-09-29 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于区块链的冷热时序数据分类存储系统,其特征在于,包括多链数据传输模块、内容哈希存储模块:
所述的多链数据传输模块基于多链,根据设定的数据保留时间和数据传输通道的数目构造多条自动生成和自动销毁即具有生命周期的数据链即数据传输通道,输入的时序数据直接以内容形式存储在数据传输通道的区块文件中;
所述的内容哈希存储模块,构造单条一直存在的数据传输通道即存证链,输入的时序数据内容都会以内容哈希形式存储在内容哈希存储模块的区块文件中;内容哈希存储模块包含多个过期数据区块,其过期数据区块中的信息是对多链数据传输模块中过期数据链的数据进行内容哈希所得到的结果,每个过期数据区块对应一个过期数据传输通道;
进一步的,每条数据链即数据传输通道会与多个区块链节点关联,经过权限认证的区块链节点可以在所授权的数据传输通道进行时序数据的存取,在数据传输通道关联的各个区块链节点在其本地都会维护一份该数据传输通道内时序数据的账本;
所述的数据传输通道内时序数据的账本,包含该数据传输通道的时间分区、该数据传输通道内的时序数据和时序数据的数据所属节点;
一种基于区块链的冷热时序数据分类存储系统的使用方法,包括以下步骤:
步骤(1)设定时序数据保留策略;
对数据保留时间和数据传输通道的数目进行设定,通过配置文件进行配置;
数据保留时间,为单个数据传输通道的数据保留时间;
数据传输通道,根据数据传输通道的数目生成数据传输通道;数据传输通道与数据保留时间结合,得到每个数据传输通道的所属时间分区;
步骤(2)根据上传的时序数据的时间参数,区别热点数据与冷门数据;
根据预先设定的阈值对时序数据进行区别,当时序数据的时间参数小于设定的阈值则判定时序数据为热点数据,当时序数据的时间参数大于等于设定的阈值则判定时序数据为冷门数据;
所述的时序数据包含时间参数和数据所属节点;
步骤(3)当时序数据为热点数据时,将时序数据输入时序数据存储系统的多链数据传输模块中;在输入至最新的数据传输通道前,根据最新的数据传输通道的时间分区和时序数据的时间参数和数据所属节点对时序数据添加标签;
当时序数据为冷门数据时,将时序数据通过内容哈希存储在时序数据存储系统的内容哈希存储模块中;
步骤(4)当多链数据传输模块中的数据传输通道超过数据保留时间确定的生命周期后将会进行数据传输通道的销毁,并生成新的处理不同时间区间的数据传输通道;数据传输通道的数目是固定;
内容哈希存储模块在数据传输通道销毁时进行数据添加,数据传输通道发送过期信号给关联的各区块链节点;各区块链节点对属于其自身的时序数据进行内容哈希;时序数据存储系统基于共识算法对与该数据传输通道关联的各区块链节点的内容哈希对比达成共识;达成共识后,将时间分区、数据所属节点、内容哈希存到存证链上;
进一步的,所述内容哈希存储模块的中时序数据的获取步骤如下:
根据查询的时间区间,在存证链上获取对应的节点信息和内容哈希;根据节点信息获取时间区间内的数据,在获取所有节点的数据后,对获得的时序数据、数据所属节点以及时间区间进行内容哈希,检查得到内容哈希是否和链上的内容哈希进行比对;如果哈希比对一致,则获取数据完整并正确;否则数据可能不完整或者数据中途得到篡改。

2.根据权利要求1所述的一种基于区块链的冷热时序数据分类存储系统,其特征在于,进一步的,多链数据传输模块中的数据传输通道内的时序数据账本在与该数据传输通道关联的每个区块链节点都备份了全部数据,而在数据传输通道过期后,关联的每个区块链节点仅保留属于其自身的数据,减少了数据的备份,但同时不能避免之后相关区块链节点失联后所造成的数据丢失。
说明书

技术领域

[0001] 本发明涉及到区块链技术领域,尤其涉及是一种基于区块链的冷热时序数据分类处理方法及存储系统。

背景技术

[0002] 作为比特币的基础技术,区块链,已经被广泛认为一项超出金融领域的技术创新。区块链可以改变组织间的业务流程、组织间活动以及行业和市场活动。区块链可以促进网络的信息管理,从而提供实时跟踪、可验证性、安全性。传统的中心化模式维护需要很高的成本、存在着单点故障、性能瓶颈和难以保持独立、客观性等诸多问题,而区块链作为去中心化设施解决了传统互联网中如何在陌生网络中建立低成本的维护信息解决方案。
[0003] 时序数据(时间序列数据)是指同一指标按照时间顺序记录的一组数据。时间序列可以描述一个物体在时间维度上的变化,如果掌握其关键指标的时序数据,并加以分析,就可以掌握该物体的变化规律、成长过程。传统数据不好解决,而对时序数据的处理需要解决的几个关键点:时序数据的写入比较稳定;只写入较近时间的数据;主要是插入或者追加类型的工作负载,很少更新。
[0004] 随着5G与物联网技术的发展,时序数据正在迅速增长,而且目前时序数据大都是中心化保存,并不适合时序数据的交易、共享等新兴需求。现有区块链技术在单链结构下存在性能、容量、隐私、扩展性等诸多瓶颈。如果全网节点仅共享一条区块链,那么节点网络的每个节点都需要处理、存储全网的所有交易和所有数据,整个区块链系统的处理能力就会受限与单个节点的能力。现有的基于区块链的时序数据存储方案大都依赖时序型数据库来实现时序数据存储以及数据管理。
[0005] 区块链数据上链现在一般有五种方案。1.内容凭证:内容凭证文件内容直接存证。2.哈希存证:文件内容计算后的哈希值上链存证。3.链接存证:文件哈希值和文件链接地址上链存证4.隐私存证:源文件通过对称加密算法加密后上链。5.分享隐私存证:源文件通过对称加密算法加密后上链,加密密钥通过另一把私密密钥加密,加密后的明文和加密后的密钥上链保存。
[0006] 对于时序型数据,可以结合以上的几种方案来实现对时序数据进行上链。

发明内容

[0007] 针对现有技术中存在的不足,本发明提供一种基于区块链的冷热时序数据分类处理方法及存储系统。可以根据数据冷热级别来实现热点数据高可靠性和冷门数据的大规模传输的基于区块链的时序数据处理方法、存储系统。
[0008] 一种基于区块链的冷热时序数据分类存储系统,包括多链数据传输模块、内容哈希存储模块:
[0009] 所述的多链数据传输模块基于多链,根据设定的数据保留时间和数据传输通道的数目构造多条自动生成和自动销毁即具有生命周期的数据链即数据传输通道,输入的时序数据直接以内容形式存储在数据传输通道的区块文件中;
[0010] 所述的内容哈希存储模块,构造单条一直存在的数据传输通道即存证链,输入的时序数据内容都会以内容哈希形式存储在内容哈希存储模块的区块文件中。内容哈希存储模块包含多个过期数据区块,其过期数据区块中的信息是对多链数据传输模块中过期数据链的数据进行内容哈希所得到的结果,每个过期数据区块对应一个过期数据传输通道。
[0011] 进一步的,每条数据链即数据传输通道会与多个区块链节点关联,经过权限认证的区块链节点可以在所授权的数据传输通道进行时序数据的存取,在数据传输通道关联的各个区块链节点在其本地都会维护一份该数据传输通道内时序数据的账本。
[0012] 所述的数据传输通道内时序数据的账本,包含该数据传输通道的时间分区、该数据传输通道内的时序数据和时序数据的数据所属节点。
[0013] 进一步的,多链数据传输模块中的数据传输通道内的时序数据账本在与该数据传输通道关联的每个区块链节点都备份了全部数据,而在数据传输通道过期后,关联的每个区块链节点仅保留属于其自身的数据,减少了数据的备份,但同时不能避免之后相关区块链节点失联后所造成的数据丢失。
[0014] 一种基于区块链的冷热时序数据分类处理方法,包括以下步骤:
[0015] 步骤(1)设定时序数据保留策略;
[0016] 对数据保留时间和数据传输通道的数目进行设定,通过配置文件进行配置。
[0017] 数据保留时间,为单个数据传输通道的数据保留时间。
[0018] 数据传输通道,根据数据传输通道的数目生成数据传输通道;数据传输通道与数据保留时间结合,得到每个数据传输通道的所属时间分区。
[0019] 步骤(2)根据上传的时序数据的时间参数,区别热点数据与冷门数据;
[0020] 根据预先设定的阈值对时序数据进行区别,当时序数据的时间参数小于设定的阈值则判定时序数据为热点数据,当时序数据的时间参数大于等于设定的阈值则判定时序数据为冷门数据。
[0021] 所述的时序数据包含时间参数和数据所属节点。
[0022] 步骤(3)当时序数据为热点数据时,将时序数据输入时序数据存储系统的多链数据传输模块中;在输入至最新的数据传输通道前,根据最新的数据传输通道的时间分区和时序数据的时间参数和数据所属节点对时序数据添加标签。
[0023] 当时序数据为冷门数据时,将时序数据通过内容哈希存储在时序数据存储系统的内容哈希存储模块中。
[0024] 步骤(4)当多链数据传输模块中的数据传输通道超过数据保留时间确定的生命周期后将会进行数据传输通道的销毁,并生成新的处理不同时间区间的数据传输通道;数据传输通道的数目是固定;
[0025] 内容哈希存储模块在数据传输通道销毁时进行数据添加,数据传输通道发送过期信号给关联的各区块链节点;各区块链节点对属于其自身的时序数据进行内容哈希;时序数据存储系统基于共识算法对与该数据传输通道关联的各区块链节点的内容哈希对比达成共识;达成共识后,将时间分区、数据所属节点、内容哈希存到存证链上。
[0026] 进一步的,所述内容哈希存储模块的中时序数据的获取步骤如下:
[0027] 根据查询的时间区间,在存证链上获取对应的节点信息和内容哈希;根据节点信息获取时间区间内的数据,在获取所有节点的数据后,对获得的时序数据、数据所属节点以及时间区间进行内容哈希,检查得到内容哈希是否和链上的内容哈希进行比对。如果哈希比对一致,则获取数据完整并正确;否则数据可能不完整或者数据中途得到篡改。
[0028] 综上所述,本发明具有以下优点:
[0029] 1)、本发明基于时序数据保留策略区别热点数据与冷门数据,对时序型数据的时间特性提供了专属匹配,更加利于实现时序数据的定制化存储。
[0030] 2)、本发明通过参数配置,可以对时序保留策略的参数进行自定义,系统可以对数据保留时间和数据传输通道的数目以及其他必要参数进行预设。
[0031] 3)、本发明区别传统意义上的单链结构,根据时序数据的数据保留策略来设计多链结构。
[0032] 4)、本发明通过时序数据保留策略配置构造自动生成且具有生命周期的数据传输通道,所有时序数据都会存储在区块文件中。在缩减数据规模的同时保证数据可靠性,实现高效的数据传输和存储。
[0033] 5)、本发明基于内容哈希构造存证链,在全局对时序数据进行内容哈希,保证所有数据都能够得到确权和可靠性。通过降低一定的数据可靠性和时效性,实现海量时序数据的传输和存储。
[0034] 6)、本发明在内容哈希数据存储模块中查询中,借助于时间区间特点,无需执行大量查询,能高效地命中所需过期时间区间所属的区块。

实施方案

[0038] 下面将结合本发明实施例中的附图,结合具体发明实施例对本发明实施例中的技术方案作进一步解释和说明。
[0039] 本发明实施例提供一种基于区块链的时序数据处理方法及存储系统可以应用于基于区块链对时序数据进行传输和存储的场景,特别在于可以基于时序数据保留策略来实现冷热数据的分类处理。
[0040] 如图1所示,一种基于区块链的冷热时序数据分类存储系统,包括多链数据传输模块、内容哈希存储模块:
[0041] 所述的多链数据传输模块基于多链,根据设定的数据保留时间和数据传输通道的数目构造多条自动生成和自动销毁即具有生命周期的数据链即数据传输通道,输入的时序数据直接以内容形式存储在数据传输通道的区块文件中;
[0042] 所述的内容哈希存储模块,构造单条一直存在的数据传输通道即存证链,输入的时序数据内容都会以内容哈希形式存储在内容哈希存储模块的区块文件中。内容哈希存储模块包含多个过期数据区块,其过期数据区块中的信息是对多链数据传输模块中过期数据链的数据进行内容哈希所得到的结果,每个过期数据区块对应一个过期数据传输通道。
[0043] 进一步的,每条数据链即数据传输通道会与多个区块链节点关联,经过权限认证的区块链节点可以在所授权的数据传输通道进行时序数据的存取,在数据传输通道关联的各个区块链节点在其本地都会维护一份该数据传输通道内时序数据的账本。
[0044] 所述的数据传输通道内时序数据的账本,包含该数据传输通道的时间分区、该数据传输通道内的时序数据和时序数据的数据所属节点。
[0045] 进一步的,多链数据传输模块中的数据传输通道内的时序数据账本在与该数据传输通道关联的每个区块链节点都备份了全部数据,而在数据传输通道过期后,关联的每个区块链节点仅保留属于其自身的数据,减少了数据的备份,但同时不能避免之后相关区块链节点失联后所造成的数据丢失。
[0046] 一种基于区块链的冷热时序数据分类处理方法,包括以下步骤:
[0047] 步骤(1)设定时序数据保留策略;
[0048] 对数据保留时间和数据传输通道的数目进行设定,通过配置文件进行配置。
[0049] 数据保留时间,为单个数据传输通道的数据保留时间。
[0050] 数据传输通道,根据数据传输通道的数目生成数据传输通道;数据传输通道与数据保留时间结合,得到每个数据传输通道的所属时间分区。
[0051] 步骤(2)根据上传的时序数据的时间参数,区别热点数据与冷门数据;
[0052] 根据预先设定的阈值对时序数据进行区别,当时序数据的时间参数小于设定的阈值则判定时序数据为热点数据,当时序数据的时间参数大于等于设定的阈值则判定时序数据为冷门数据。
[0053] 所述的时序数据包含时间参数和数据所属节点。
[0054] 步骤(3)当时序数据为热点数据时,将时序数据输入时序数据存储系统的多链数据传输模块中;在输入至最新的数据传输通道前,根据最新的数据传输通道的时间分区和时序数据的时间参数和数据所属节点对时序数据添加标签。
[0055] 当时序数据为冷门数据时,将时序数据通过内容哈希存储在时序数据存储系统的内容哈希存储模块中。
[0056] 步骤(4)当多链数据传输模块中的数据传输通道超过数据保留时间确定的生命周期后将会进行数据传输通道的销毁,并生成新的处理不同时间区间的数据传输通道;数据传输通道的数目是固定;
[0057] 内容哈希存储模块在数据传输通道销毁时进行数据添加,数据传输通道发送过期信号给关联的各区块链节点;各区块链节点对属于其自身的时序数据进行内容哈希;时序数据存储系统基于共识算法对与该数据传输通道关联的各区块链节点的内容哈希对比达成共识;达成共识后,将时间分区、数据所属节点、内容哈希存到存证链上。
[0058] 进一步的,所述内容哈希存储模块的中时序数据的获取步骤如下:
[0059] 根据查询的时间区间,在存证链上获取对应的节点信息和内容哈希;根据节点信息获取时间区间内的数据,在获取所有节点的数据后,对获得的时序数据、数据所属节点以及时间区间进行内容哈希,检查得到内容哈希是否和链上的内容哈希进行比对。如果哈希比对一致,则获取数据完整并正确;否则数据可能不完整或者数据中途得到篡改。
[0060] 多链数据传输模块中的数据传输通道内的时序数据账本在与该数据传输通道关联的每个区块链节点都备份了全部数据,而在数据传输通道过期后,关联的每个区块链节点仅保留属于其自身的数据,减少了数据的备份,但同时不能避免之后相关区块链节点失联后所造成的数据丢失。
[0061] 下面将结合附图2,对本发明实施例提供的基于区块链的冷热时序数据分类存储系统的完整存储流程进行详细介绍。
[0062] 需要说明的,整个基于区块链的冷热时序数据分类存储系统的完整存储流程涉及到客户端即区块链节点、多链数据传输模块、内容哈希数据存储模块,这里只对数据传输、存储过程作详细说明,对诸如具体共识过程、网络传输、应用形式等方面不做讨论。
[0063] 如图2所示,触发冷热时序数据分类存储任务后,执行数据存储的流程为:
[0064] 1)、客户端将时序数据上传到多链数据传输模块;
[0065] 2)、多链数据传输模块从上传的时序数据中获取时间参数,基于时序数据保留策略得到相关时间分区,再根据时间分区获取数据传输通道信息;
[0066] 3)、多链数据传输模块将时序数据存储结果返回给客户端。同时,多链数据传输模块在获取的数据传输通道内进行数据共享,该数据传输通道相关联的区块链节点可以同步上传的时序数据。
[0067] 4)、多链数据传输模块中的数据传输通道的生命周期结束后,数据传输通道过期;
[0068] 5)、数据传输通道过期后,数据传输通道相关联的区块链节点利用共识模块进行数据共识;
[0069] 6)、在达成数据共识后,选中的区块链节点对通道内的数据账本中的时序数据内容进行哈希,将得到内容哈希和该数据传输通道的时序数据和时间分区存证到内容哈希数据存储模块的存证链上。
[0070] 7)、在内容哈希数据存储模块完成数据存证后,将存证结果返回到多链数据传输模块;
[0071] 8)、得到存证结果后,多链数据传输模块将对应的过期的数据传输通道销毁并生成新的数据传输通道,等待新的时序数据上传。同时过期的数据传输通道相关联的区块链节点将不属于自身的时序数据删除。
[0072] 下面将结合附图3,对本发明实施例提供的基于区块链的冷热时序数据分类存储系统的完整数据查询流程进行详细介绍。
[0073] 需要说明的,整个基于区块链的冷热时序数据分类存储系统的完整数据查询流程涉及到客户端即区块链节点、多链数据传输模块、内容哈希数据存储模块三个方面,这里只对数据传输、存储过程作详细说明,对诸如具体共识过程、网络传输、应用形式等方面不做讨论。
[0074] 如图3所示,触发冷热时序数据分类查询任务后,执行数据查询的流程为:
[0075] 1)、客户端发出时序数据查询请求至多链数据传输模块,请求中包含待查询时序数据对应的时间区间数据;
[0076] 2)、多链数据传输模块得到对应时间区间,基于时序数据保留策略,检查当前维护的数据传输通道中是否有匹配对象。如果有匹配对象,则为热点数据,并进行热点数据查询流程;如果匹配对象,则为冷门数据,需要转到内容哈希数据存储模块来进行数据查询。
[0077] 3)、当待查询数据为热点数据时,转到匹配的数据传输通道中,获取本地账本中维护的对应时序数据即可。
[0078] 4)、当待查询数据为冷门数据时,则将数据查询任务委托给内容哈希存储模块进行数据查询,所述的任务中的数据包括处理后的客户端上传的请求中的时间区间数据,即在请求中的时间区间数据中删除热点数据包含的时间区间。
[0079] 5)、内容哈希数据存储模块在接到数据查询请求后,将得到时间区间数据与当前存证链中的区块中的时间区间数据进行比对,在查询到对应区块信息后,将对应区块信息传回客户端,所述的对应区块信息包括时序数据哈希、时序数据所属节点信息以及时间区间信息。
[0080] 6)、客户端收到传回的区块信息后,根据其中的时序数据所属节点信息和时间区间信息,与各区块链节点进行点对点通信,获取对应时间区间内的时序数据信息。
[0081] 得到所有时序数据信息后,对其进行内容哈希,与传回的区块信息中的时序数据哈希进行对比。
[0082] 如果哈希比对一致,则获取数据完整并正确;否则数据可能不完整或者数据中途得到篡改。
[0083] 以上所示为对本发明的较佳实施例,但本发明的权利并不能仅以此例来限定,熟悉该领域的相关技术人员做出的相关等同变化,仍包含在本申请权利要求所涵盖的范围内。

附图说明

[0035] 图1为本发明实施例的基于区块链的存储系统的架构示意图;
[0036] 图2为本发明实施例的基于区块链的存储系统的数据写入步骤的流程图;
[0037] 图3为本发明实施例的基于区块链的存储系统的数据查询步骤的流程图;
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号