首页 > 专利 > 杭州电子科技大学 > 基于实体关系级别注意力机制的事件检测方法专利详情

基于实体关系级别注意力机制的事件检测方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2021-04-09
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2021-08-10
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-03-01
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2041-04-09
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202110381780.9 申请日 2021-04-09
公开/公告号 CN113158667B 公开/公告日 2022-03-01
授权日 2022-03-01 预估到期日 2041-04-09
申请年 2021年 公开/公告年 2022年
缴费截止日
分类号 G06F40/289G06F40/216G06F40/30G06F16/28G06N3/04G06N3/08 主分类号 G06F40/289
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 6
权利要求数量 7 非专利引证数量 0
引用专利数量 0 被引证专利数量 0
非专利引证
引用专利 被引证专利
专利权维持 1 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 汤景凡、曹祥彪、张旻、姜明 第一发明人 汤景凡
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 4
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
朱月芬
摘要
本发明公开了一种基于实体关系级别注意力机制的事件检测方法。本发明步骤:首先利用依存Tree‑LSTM获取实体关系级别表示和双向LSTM获取词汇级别表示,然后利用实体关系级别注意力和词汇级别注意力捕获对于当前候选触发词有重要影响的实体关系信息和句子语义信息。再针对候选触发词,对语义信息、实体关系信息、根节点词汇级别表示以及候选触发词的词汇级别表示进行拼接,然后进行触发词识别和分类。本发明不仅可以捕获较重要的句子语义信息,而且可以减少无关的实体关系特征对当前触发词的影响,从而提高了事件检测模型的性能。
  • 摘要附图
    基于实体关系级别注意力机制的事件检测方法
  • 说明书附图:图1
    基于实体关系级别注意力机制的事件检测方法
  • 说明书附图:图2
    基于实体关系级别注意力机制的事件检测方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-03-01 授权
2 2021-08-10 实质审查的生效 IPC(主分类): G06F 40/289 专利申请号: 202110381780.9 申请日: 2021.04.09
3 2021-07-23 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.基于实体关系级别注意力机制的事件检测方法,其特征在于包括如下步骤:
步骤1、对原始文本中的单词和实体关系进行编码,分别获取词汇级别向量序列和实体关系级别向量序列;
步骤2、将步骤1的词汇级别向量序列输入依存Tree‑LSTM,获取句子的词汇级别表示;
步骤3、将步骤1的实体关系级别向量序列输入双向LSTM,获取实体关系级别表示;
步骤4、利用词汇级别注意力机制获取句中第i个单词对第t个候选触发词的影响权重将句中的词汇级别表示加权平均,获取句子完整的语义信息
步骤5、利用实体关系级别注意力机制获取句中第j个实体关系对第t个选触发词的影响权重 将句中每个实体关系级别表示加权平均,获取句中完整的实体关系信息步骤6、针对第t个候选触发词,对语义信息 实体关系信息 根节点词汇级别表示以及候选触发词的词汇级别表示 进行拼接,然后进行触发词识别和分类。

2.根据权利要求1所述的基于实体关系级别注意力机制的事件检测方法,其特征在于步骤1具体实现如下:
1‑
1.从KBP 2017英文数据集标注文件中获取实体提及、实体类型、实体关系、事件触发词;利用Stanford CoreNLP工具对数据集中原始文本进行分句、分词以及获取单词的词性和每个句子的依存树结构;然后创建词性向量表、实体类型向量表、实体关系向量表以及触发词类型向量表,其中在每个向量表中定义”空”类型对应的向量;随机初始化这些向量,在训练的时候更新这些向量;
1‑
2.首先查询预训练的Glove词向量矩阵、词性向量表、实体类型向量表;分别获取句子中每个词的词向量wi、词性向量wpos、实体类型向量we;然后查询实体关系向量表,获取句子中出现的每个实体关系对应的向量r;
1‑
3.每个单词真值向量为xi={wi,wpos,we},所以句子词汇级别向量序列W={x1,x2,...,xn‑1,xn},实体关系级别向量序列R={r1,r2,...,rk‑1,rk};其中n是句子的长度、k为实体关系的个数。

3.根据权利要求2所述的基于实体关系级别注意力机制的事件检测方法,其特征在于步骤2具体实现如下:
2‑
1.为了获取句子中每个单词的词汇级别表示,利用Stanford CoreNLP工具解析每个句子生成依存树结构,其中,每个单词对应依存树结构中的一个节点;在依存树结构基础上构建依存Tree‑LSTM,将W={x1,x2,...,xn‑1,xn}作为依存Tree‑LSTM的输入,获取每个单词的词汇级别表示,第i个单词的词汇级别表示为 以及包含整个句子信息的根节点的词汇级别表示为 因此,句子的词汇级别表示序列 其中i,root∈
[1,n],n是句子的长度。

4.根据权利要求3所述的基于实体关系级别注意力机制的事件检测方法,其特征在于步骤3具体实现如下:
3‑
1.为了获取句子中实体关系级别表示,将句中实体关系级别向量序列R={r1,r2,...,rk‑1,rk}输入双向LSTM,获取每个实体关系对应的前向隐含状态向量和后向隐含状态向量, 和 分别表示第j个实体关系对应的前向隐含状态向量和后向隐含状态向量,其中j∈k;为了和步骤2中依存Tree‑LSTM的每个单词的词汇级别表示维度一致,采用求平均的方式获取第j个实体关系级别表示 因此,句子的实体关系级别表示序列

5.根据权利要求4所述的基于实体关系级别注意力机制的事件检测方法,其特征在于步骤4具体实现如下:
4‑
1.利用词汇级别注意力机制捕获重要的上下文信息,而候选触发词及其周围的单词应该获得更高的注意力权重;首先利用公式1计算候选触发词的词汇级别表示 和第i个单词的词汇级别表示  的相似度:
w w
其中,W和b分别是候选触发词相似度计算公式的权重矩阵和偏置项;然后根据st,i,获取第i个单词对第t个候选触发词的影响权重
这里的st,m表示句中第m个单词的词汇级别表示 与候选触发词的词汇级别表示 的相似度,其中,1≤m≤n;
对于第t个候选触发词,将句中每个单词的词汇级别表示加权平均获取句中完整的语义信息

6.根据权利要求5所述的基于实体关系级别注意力机制的事件检测方法,其特征在于步骤5具体实现如下:
5‑
1.句子中包含多对实体关系,不同的实体关系对第t个候选触发词的影响不同;首先利用公式3计算候选触发词的词汇级别表示 和第j个实体关系的实体关系级别表示 的相似度:
r r
其中,W和b分别表示实体关系相似度计算公式的权重矩阵和偏置项;然后根据st,j,获取第j个实体关系对第t个候选触发词的影响权重:
这里的st,l表示句中第l个实体关系的实体关系级别表示 与候选触发词的词汇级别表示 的相似度,其中,1≤l≤k,而对于第t个候选触发词,将句中实体关系级别表示序列加权平均获取句中完整的实体关系信息

7.根据权利要求6所述的基于实体关系级别注意力机制的事件检测方法,其特征在于步骤6具体实现如下:
6‑
1.触发词检测和识别是一个多分类的过程,针对第t个候选触发词,对步骤4的步骤5的 根节点词汇级别表示 以及候选触发词的词汇级别表示 进行拼接,然后带入公式5进行触发词识别和分类:
ETt=arg max(Pt)            公式6
其中,Wt和bt是触发词多分类的权重矩阵和偏置项,Pt表示第t个候选触发词触发事件类型的概率分布,而ETt则表示第t个候选触发词触发的事件类型。
说明书

技术领域

[0001] 本发明涉及事件检测方法,具体来讲是一种基于实体关系级别注意力机制的事件检测方法,属于自然语言处理领域。

背景技术

[0002] 随着海量文本信息的出现以及深度学习技术的快速发展,如何快速、准确的获取用户感兴趣的事件信息,逐渐成为信息抽取领域的最具挑战的难题,而事件检测是信息抽取任务的重要环节,主要是为了从文本中找出引发事件的触发词,并为其分配正确的事件类型。此外,事件检测技术已应用于新闻消息归类、社会舆情分析等。

发明内容

[0003] 本发明主要针对于在触发词识别过程中,不能同时捕获重要的实体关系特征和词汇特征的问题提出的一种基于实体关系级别注意力机制的事件检测方法。
[0004] 基于实体关系级别注意力机制的事件检测方法,按照如下步骤进行:
[0005] 步骤1、对原始文本中的单词和实体关系进行编码,分别获取词汇级别向量序列和实体关系级别向量序列;
[0006] 步骤2、将步骤1的词汇级别向量序列输入依存Tree‑LSTM,获取句子的词汇级别表示;
[0007] 步骤3、将步骤1的实体关系级别向量序列输入双向LSTM,获取实体关系级别表示;
[0008] 步骤4、利用词汇级别注意力机制获取句中第i个单词对第t个候选触发词的影响权重 将句中的词汇级别表示加权平均,获取句子完整的语义信息
[0009] 步骤5、利用实体关系级别注意力机制获取句中第j个实体关系对第t个候选触发词的影响权重 将句中每个实体关系级别表示加权平均,获取句中完整的实体关系信息[0010] 步骤6、针对第t个候选触发词,对语义信息 实体关系信息 根节点词汇级别表示 以及候选触发词的词汇级别表示 进行拼接,然后进行触发词识别和分类;
[0011] 进一步的,步骤1具体实现如下:
[0012] 1‑1.从KBP 2017英文数据集标注文件中获取实体提及、实体类型、实体关系、事件触发词。KBP 2017英文数据集一共定义了19种事件类型和21种实体关系(其中都包含“空”类型)。利用Stanford CoreNLP工具对数据集中原始文本进行分句、分词以及获取单词的词性和每个句子的依存树结构。然后创建词性向量表、实体类型向量表、实体关系向量表以及触发词类型向量表,其中在每个向量表中定义”空”类型对应的向量。随机初始化这些向量,在训练的时候更新这些向量。
[0013] 1‑2.首先查询预训练的Glove词向量矩阵、词性向量表、实体类型向量表。分别获取句子中每个词的词向量wi、词性向量wpos、实体类型向量we。然后查询实体关系向量表,获取句子中出现的每个实体关系对应的向量r。
[0014] 1‑3.每个单词真值向量为xi={wi,wpos,we},所以句子词汇级别向量序列W={x1,x2,...,xn‑1,xn},实体关系级别向量序列R={r1,r2,...,rk‑1,rk}。其中n是句子的长度、k为实体关系的个数(k有可能为0)。
[0015] 进一步的,步骤2具体实现如下:
[0016] 2‑1.为了获取句子中每个单词的词汇级别表示,利用Stanford CoreNLP工具解析每个句子生成依存树结构,其中,每个单词对应依存树结构中的一个节点。在依存树结构基础上构建依存Tree‑LSTM,将W={x1,x2,...,xn‑1,xn}作为依存Tree‑LSTM的输入,获取每个单词的词汇级别表示,例如,第i个单词的词汇级别表示为 以及包含整个句子信息的根节点的词汇级别表示为 因此,句子的词汇级别表示序列 其中i,root∈[1,n],n是句子的长度。
[0017] 进一步的,步骤3具体实现如下:
[0018] 3‑1.为了获取句子中实体关系级别表示,将句中实体关系级别向量序列R={r1,r2,...,rk‑1,rk}输入双向LSTM,获取每个实体关系对应的前向隐含状态向量和后向隐含状态向量,例如, 和 分别表示第j(j∈k)个实体关系对应的前向隐含状态向量和后向隐含状态向量。为了和步骤2中依存Tree‑LSTM的每个单词的词汇级别表示维度一致,采用求平均的方式获取第j个实体关系级别表示 因此,句子的实体关系级别表示序列 其中,k是句子实体关系的个数。
[0019] 进一步的,步骤4具体实现如下:
[0020] 4‑1.利用词汇级别注意力机制捕获重要的上下文信息,而候选触发词及其周围的单词应该获得更高的注意力权重。首先利用公式1计算候选触发词的词汇级别表示 和第i个单词的词汇级别表示 的相似度。
[0021] st,i=tanh(htwWw(hiw)T+bw)   公式1
[0022] 其中,Ww和bw分别是相似度计算公式的权重矩阵和偏置项。然后根据st,i,获取第i个单词对第t个候选触发词的影响权重
[0023]
[0024] 这里的st,m表示句中第m个单词的词汇级别表示 与候选触发词的词汇级别表示的相似度,其中,1≤m≤n。
[0025] 对于第t个候选触发词,将句中每个单词的词汇级别表示加权平均获取句中完整的语义信息
[0026] 进一步的,步骤5具体实现如下:
[0027] 5‑1.句子中往往包含多对实体关系,不同的实体关系对第t个候选触发词的影响不同。首先利用公式3计算候选触发词的词汇级别表示 和第j个实体关系的实体关系级别表示 的相似度:
[0028]
[0029] 其中,Wr和br分别表示相似度计算公式的权重矩阵和偏置项。然后根据st,j,获取第j个实体关系对第t个候选触发词的影响权重:
[0030]
[0031] 这里的st,l表示句中第l个实体关系的实体关系级别表示hlr与候选触发词的词汇级别表示 的相似度,其中,1≤l≤k,而对于第t个候选触发词,将句中实体关系级别表示序列加权平均获取句中完整的实体关系信息
[0032] 进一步的,步骤6具体实现如下:
[0033] 6‑1.触发词检测和识别是一个多分类的过程,针对第t个候选触发词,对步骤4的步骤5的 根节点词汇级别表示 以及候选触发词的词汇级别表示 进行拼接,然后带入公式5进行触发词识别和分类:
[0034]
[0035] ETt=argmax(Pt)   公式6
[0036] 其中,Wt和bt是触发词多分类的权重矩阵和偏置项,Pt表示第t个候选触发词触发事件类型的概率分布,而ETt则表示第t个候选触发词触发的事件类型。
[0037] 本发明有益效果如下:
[0038] 针对现有技术的不足,提出一种基于实体关系级别注意力机制的事件检测方法。首先利用依存Tree‑LSTM获取实体关系级别表示和双向LSTM获取词汇级别表示,然后利用实体关系级别注意力和词汇级别注意力捕获对于当前候选触发词有重要影响的实体关系信息和句子语义信息。该模型不仅可以捕获较重要的句子语义信息,而且可以减少无关的实体关系特征对当前触发词的影响,从而提高了事件检测模型的性能。

实施方案

[0041] 附图非限制性地公开了本发明所涉及优选实例的流程示意图;以下将结合附图详细地说明本发明的技术方案。
[0042] 事件抽取是信息抽取研究的重要组成部分,是新闻热点抽取和社会舆情分析的常用技术基础。事件抽取就是从大量文本中找出事件提及,由事件触发词和事件论元组成。因此事件抽取主要包含事件检测和论元识别两个子任务。事件检测希望找出句子的所有触发词并为其分配正确的事件类型,事件检测结果的好坏直接影响论元识别和分类的性能。先前的工作直接将标注好的实体关系编码成词表示的一部分,结合词汇级别注意力获取重要的语义信息来提高事件检测模型的性能。但是,他们忽略了句子中往往有多对实体关系,和单词一样,不同的实体关系对候选触发词在识别过程中的影响不同。因此,为了同时获取重要的词汇级别特征和实体关系级别特征信息,我们提出了基于实体关系级别注意力机制的事件检测方法。
[0043] 如图2所示,基于实体关系级别注意力机制的事件检测方法,按照如下步骤进行:
[0044] 步骤1、对原始文本中的单词和实体关系进行编码,分别获取词汇级别向量序列和实体关系级别向量序列;
[0045] 步骤2、将步骤1的词汇级别向量序列输入依存Tree‑LSTM,获取句子的词汇级别表示;
[0046] 步骤3、将步骤1的实体关系级别向量序列输入双向LSTM,获取实体关系级别表示;
[0047] 步骤4、利用词汇级别注意力机制获取句中第i个单词对第t个候选触发词的影响权重 将句中的词汇级别表示加权平均,获取句子完整的语义信息
[0048] 步骤5、利用实体关系级别注意力机制获取句中第j个实体关系对第t个候选触发词的影响权重 将句中每个实体关系级别表示加权平均,获取句中完整的实体关系信息[0049] 步骤6、针对第t个候选触发词,对语义信息 实体关系信息 根节点词汇级别表示 以及候选触发词的词汇级别表示 进行拼接,然后进行触发词识别和分类;
[0050] 进一步的,步骤1具体实现如下:
[0051] 1‑1.从KBP 2017英文数据集标注文件中获取实体提及、实体类型、实体关系、事件触发词。KBP 2017英文数据集一共定义了19种事件类型和21种实体关系(其中都包含“空”类型)。利用Stanford CoreNLP工具对数据集中原始文本进行分句、分词以及获取单词的词性和每个句子的依存树结构。然后创建词性向量表、实体类型向量表、实体关系向量表以及触发词类型向量表,其中在每个向量表中定义”空”类型对应的向量。随机初始化这些向量,在训练的时候更新这些向量。
[0052] 1‑2.首先查询预训练的Glove词向量矩阵、词性向量表、实体类型向量表。分别获取句子中每个词的词向量wi、词性向量wpos、实体类型向量we。然后查询实体关系向量表,获取句子中出现的每个实体关系对应的向量r。
[0053] 1‑3.每个单词真值向量为xi={wi,wpos,we},所以句子词汇级别向量序列W={x1,x2,...,xn‑1,xn},实体关系级别向量序列R={r1,r2,...,rk‑1,rk}。其中n是句子的长度、k为实体关系的个数(k有可能为0)。
[0054] 进一步的,步骤2具体实现如下:
[0055] 2‑1.为了获取句子中每个单词的词汇级别表示,利用Stanford CoreNLP工具解析每个句子生成依存树结构,其中,每个单词对应依存树结构中的一个节点。在依存树结构基础上构建依存Tree‑LSTM,将W={x1,x2,...,xn‑1,xn}作为依存Tree‑LSTM的输入,获取每个单词的词汇级别表示,例如,第i个单词的词汇级别表示为 以及包含整个句子信息的根节点的词汇级别表示为 因此,句子的词汇级别表示序列 其中i,root∈[1,n],n是句子的长度。
[0056] 进一步的,步骤3具体实现如下:
[0057] 3‑1.为了获取句子中实体关系级别表示,将句中实体关系级别向量序列R={r1,r2,...,rk‑1,rk}输入双向LSTM,获取每个实体关系对应的前向隐含状态向量和后向隐含状态向量,例如, 和 分别表示第j(j∈k)个实体关系对应的前向隐含状态向量和后向隐含状态向量。为了和步骤2中依存Tree‑LSTM的每个单词的词汇级别表示维度一致,采用求平均的方式获取第j个实体关系级别表示 因此,句子的实体关系级别表示序列 其中,k是句子实体关系的个数。
[0058] 进一步的,步骤4具体实现如下:
[0059] 4‑1.利用词汇级别注意力机制捕获重要的上下文信息,而候选触发词及其周围的单词应该获得更高的注意力权重。首先利用公式1计算候选触发词的词汇级别表示 和第i个单词的词汇级别表示 的相似度。
[0060] st,i=tanh(htwWw(hiw)T+bw)   公式1
[0061] 其中,Ww和bw分别是相似度计算公式的权重矩阵和偏置项。然后根据st,i,获取第i个单词对第t个候选触发词的影响权重
[0062]
[0063] 这里的st,m表示句中第m个单词的词汇级别表示 与候选触发词的词汇级别表示的相似度,其中,1≤m≤n。
[0064] 对于第t个候选触发词,将句中每个单词的词汇级别表示加权平均获取句中完整的语义信息
[0065] 进一步的,步骤5具体实现如下:
[0066] 5‑1.句子中往往包含多对实体关系,不同的实体关系对第t个候选触发词的影响不同。首先利用公式3计算候选触发词的词汇级别表示 和第j个实体关系的实体关系级别表示 的相似度:
[0067]
[0068] 其中,Wr和br分别表示相似度计算公式的权重矩阵和偏置项。然后根据st,j,获取第j个实体关系对第t个候选触发词的影响权重:
[0069]
[0070] 这里的st,l表示句中第l个实体关系的实体关系级别表示hlr与候选触发词的词汇级别表示 的相似度,其中,1≤l≤k,而对于第t个候选触发词,将句中实体关系级别表示序列加权平均获取句中完整的实体关系信息
[0071] 进一步的,步骤6具体实现如下:
[0072] 6‑1.触发词检测和识别是一个多分类的过程,针对第t个候选触发词,对步骤4的步骤5的 根节点词汇级别表示 以及候选触发词的词汇级别表示 进行拼接,然后带入公式5进行触发词识别和分类:
[0073]
[0074] ETt=argmax(Pt)   公式6
[0075] 其中,Wt和bt是触发词多分类的权重矩阵和偏置项,Pt表示第t个候选触发词触发事件类型的概率分布,而ETt则表示第t个候选触发词触发的事件类型。

附图说明

[0039] 图1是本发明的整体实施流程图。
[0040] 图2是本发明模型网络结构图。
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号