首页 > 专利 > 杭州电子科技大学 > 一种基于深度学习的胸腔器官分割方法专利详情

一种基于深度学习的胸腔器官分割方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2019-11-25
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2020-05-05
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-04-01
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2039-11-25
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN201911168632.8 申请日 2019-11-25
公开/公告号 CN110992373B 公开/公告日 2022-04-01
授权日 2022-04-01 预估到期日 2039-11-25
申请年 2019年 公开/公告年 2022年
缴费截止日
分类号 G06T7/11G06N3/04 主分类号 G06T7/11
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 0
权利要求数量 1 非专利引证数量 1
引用专利数量 0 被引证专利数量 0
非专利引证 1、CN 109886971 A,2019.06.14CN 109544534 A,2019.03.29CN 110211137 A,2019.09.06CN 109840471 A,2019.06.04CN 109191476 A,2019.01.11Chao Cong et al..Invert-U-Net DNNsegmentation model for MRI cardiac leftventricle segmentation《.The 2nd 2018Asian Conference on ArtificialIntelligence Technology》.2018,WEI SONG et al..An Improved U-NetConvolutional Networks for Seabed MineralImage Segmentation《.SPECIAL SECTION ONADVANCED OPTICAL IMAGING FOR EXTREMEENVIRONMENTS》.2019,;
引用专利 被引证专利
专利权维持 3 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 杭州电子科技大学 当前专利权人 杭州电子科技大学
发明人 颜成钢、郑鑫磊、孙垚棋、张继勇、张勇东、韩卫东 第一发明人 颜成钢
地址 浙江省杭州市下沙高教园区2号大街 邮编 310018
申请人数量 1 发明人数量 6
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
杭州君度专利代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
杨舟涛
摘要
本发明提供一种基于深度学习的胸腔器官分割方法。本发明改进了U‑Net的结构,得到了一种更优的用于胸腔器官分割的编码解码结构,相较于传统的U‑Net,在特征提取部分具有更好的性能以及更好的效果,而在上采样部分针对各层的不同特点增加了卷积和池化层,有效减少了锯齿现象,使得上采样结果更加精细,本发明也对分割结果中出现的一些脱离主体的分割错误进行了只取最大连通区域的处理。本发明训练速度和计算速度都优于传统的U‑Net网络,本发明方法的网络达到了50层,提取特征的效果更好,并且本发明仅需一个模型就可以用于多器官的图像分割。
  • 摘要附图
    一种基于深度学习的胸腔器官分割方法
  • 说明书附图:图1
    一种基于深度学习的胸腔器官分割方法
  • 说明书附图:图2
    一种基于深度学习的胸腔器官分割方法
  • 说明书附图:图3
    一种基于深度学习的胸腔器官分割方法
  • 说明书附图:图4
    一种基于深度学习的胸腔器官分割方法
  • 说明书附图:图5
    一种基于深度学习的胸腔器官分割方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-04-01 授权
2 2020-05-05 实质审查的生效 IPC(主分类): G06T 7/11 专利申请号: 201911168632.8 申请日: 2019.11.25
3 2020-04-10 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于深度学习的胸腔器官分割方法,其特征在于,具体步骤如下:
步骤(1)、图像预处理;
将输入的患者胸腔的CT图像进行预处理,去掉CT图像上不需要的文字信息,并将其转换为灰度图;所述的灰度图按顺序标记为0,1,2,……,n,将灰度图的灰度值进行归一化处理,对图像中的像素进行从[0,255]到[0,1]的映射;将灰度图中按{(0,1,2),(1,2,
3),……,(n‑2,n‑1,n)}的顺序取出三张图,将取出的三张图融合为一张图,在维度上增加所需要分割的四个器官和背景的标记,所述的标记为人工添加,包含相对准确的器官位置和该图上包含的器官,没有器官的图被标记为背景;标记的顺序为气管、食道、心脏、大动脉和背景;
最终获得预处理后的CT图像的NPY文件的形状为512*512*8,其中8代表3张图片加需要识别的5个特征;用于同时体现水平和竖直方向的信息;
步骤(2)、对U‑Net神经网络模型的结构进行改进;
首先将传统U‑Net的VGG网络替换为ResNet残差网络;对于上采样部分,仿照ResNet对网络结构进行扩充,针对各层的不同特点增加了卷积层和池化层,并且最后可以还原为原先的输入尺寸;
步骤(3)、定义softmax函数与惩罚函数;
定义分类所需要的softmax函数:
式中,ak(x)表示每个像素点对应特征通道的得分,K为类的数量,pk(x)是对类k的对像素点分类的结果,softmax函数用于在神经网络计算完成之后对计算结果进行分类输出,在通过softmax之前,数据的表现为一个一维的激活数据体,经过softmax之后输出的结果将会映射到相应的类别上,并形成上述的对应器官的对应标记;
定义需要最小化的惩罚函数:
E=∑ω(x)log(pl(x)(x))
式中,pl(x)(x)是经过神经网络计算之后生成的每个像素的标签;ω(x)是人工标注的每个像素的标签,x表示每一个像素,惩罚函数的作用为比对神经网络计算所得到的结果和人工标注的结果的差距,差距越大,给神经网络反馈的惩罚就越大,以此来激励神经网络朝着期望的方向进行训练;
步骤(4)、训练改进后的U‑Net神经网络模型,获得初步分割结果;
将预处理后的患者胸腔的CT图像输入改进后的U‑Net进行训练,各层的激活函数均设置为ReLu,优化器采用Adam,学习率设置为0.01;
训练结束后获得用于胸腔器官分割的神经网络模型,将待分割的CT图像输入神经网络模型中,得到输入CT图像对应的初步分割结果;
步骤(5)、对获得的初步分割结果进行数据后处理,获得患者胸腔CT图像的最终分割结果;
对获得的初步分割结果采取只取最大连通区域的处理,获得患者胸腔CT图像的最终分割结果;
所述的只取最大连通区域的处理的具体操作方法如下:
(1)对于每个器官,生成的标记已经为二值化,仅有1和0,将不同器官的标记分离成不同文件;
(2)给标记增加一个维度,仅取0和1;0表示未访问过,1表示已访问;
(3)找到第一个有标记内容的像素点,将像素点的访问维度设置为1,同时将其入栈;
(4)寻找栈顶元素周边八个像素点中是否存在非零像素点,如果存在,则压入堆栈,结束后将栈顶元素删除,当栈被清空时,则表示一个区域已经找完,继续寻找下一个有标记的区域;
(5)当所有的像素都被遍历过之后,保留像素点个数最多的连通区域,其余的残渣区域全部都舍弃不用。
说明书

技术领域

[0001] 本发明涉及医学图像分割领域,具体来讲是一种基于深度学习技术的胸腔器官解剖学位置定位与轮廓描绘算法。

背景技术

[0002] 在临床上,胸腔器官的自动分割具有十分重大的临床意义,也已经成为了国内外研究的重点。在肺癌和食道癌中,放射治疗是一种较好的选择,要进行放射治疗需要描绘患有靶肿瘤的器官与靶肿瘤附近的健康器官。
[0003] 在当前阶段,描绘器官的工作主要由肿瘤科医生手动完成,繁琐,耗时久,而且描绘的精确度也并不高。对于某些器官(例如食道),图像分割的任务具有十足的挑战性:患者与患者之间的形状和位置差异很大;CT图像中的轮廓具有低对比度,并且当CT值设置不合理时有可能不存在。
[0004] 在医学影像中现在常用的分割算法大多基于U‑Net,大量研究表明U‑Net在此领域是可行且相对可靠的。但是U‑Net还存在一定的改进空间,从而可以更精确地描绘出各个器官的边缘轮廓。
[0005] 现在传统的U‑Net结构简介如下:
[0006] U‑Net采用的是一个包含下采样和上采样的网络结构。下采样用来逐渐展现环境信息,而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息,并且逐步还原图像精度。
[0007] 左半边,也就是U型的下降部分是特征提取部分,每经过一个池化层图片的尺寸就下降一个尺度,上采样部分,每上采样一次,就和特征提取部分对应的通道数相同尺度融合,但是融合之前要将其尺寸调节为相同大小,这里的融合不是像素之间对应的加和,而是拼接。
[0008] 最终的输出不采用传统分类算法的全连接层,而是卷积层,这样可以实现像素级别的预测分类效果,宏观来看也就是对图像进行了分割处理。简单来看U‑Net目前的优势在于可以实现端到端的分割,而且能适应大尺寸输入。
[0009] 同样的,缺点也比较明显。一个是U‑Net对于每个块都要运行一次预测,而且由于网络本身的特点,会有许多重叠部分进行了多次的重复运算,虽然这样有助于提高特征提取的精度,但是对运行速度的影响是巨大的。必须在局部标记准确性和语义的确定之间进行权衡,大的分割块需要更多的池化层,但是池化层降低了局部标记的准确性,而小的分割块无法获得充分的语义信息。

发明内容

[0010] 针对现有技术中存在的问题,本发明提供一种基于深度学习的胸腔器官分割方法。本发明改进了U‑Net的结构,得到了一种更优的用于胸腔器官分割的编码解码结构,相较于传统的U‑Net,在特征提取部分具有更好的性能以及更好的效果,而在上采样部分针对各层的不同特点增加了卷积和池化层,有效减少了锯齿现象,使得上采样结果更加精细,本发明也对分割结果中出现的一些脱离主体的分割错误进行了只取最大连通区域的处理。
[0011] 一种基于深度学习的胸腔器官分割方法,步骤如下:
[0012] 步骤(1)、图像预处理
[0013] 将输入的患者胸腔的CT图像进行预处理,去掉CT图像上不需要的文字信息,并将其转换为灰度图;所述的灰度图按顺序标记为 (0,1,2,……,n),将灰度图的灰度值进行归一化处理,对图像中的像素进行从[0,255]到[0,1]的映射。将灰度图中按 {(0,1,2),(1,2,3),……,(n‑2,n‑1,n)}的顺序取出三张图,将取出的三张图融合为一张图,在维度上增加所需要分割的四个器官和背景的标记,所述的标记为人工添加,包含相对准确的器官位置和该图上包含的器官,没有器官的图被标记为背景。标记的顺序为气管、食道、心脏、大动脉和背景。例如,某张CT图上并没有上述四个器官,则标记为(0, 0,0,0,1);仅有食道,则标记为(0,1,0,0,0),注意此处背景标志被取消;仅有气管和食道,则标记为(1,1,0,0,0)。
[0014] 最终获得预处理后的CT图像的NPY文件的形状为512*512*8,其中8代表3张图片加需要识别的5个特征;用于同时体现水平和竖直方向的信息。
[0015] 步骤(2)、对U‑Net神经网络模型的结构进行改进
[0016] 首先将将传统U‑Net的VGG网络替换为ResNet残差网络。对于上采样部分,仿照ResNet对网络结构进行扩充,针对各层的不同特点增加了卷积层和池化层,并且最后可以还原为原先的输入尺寸。
[0017] 步骤(3)、定义softmax函数与惩罚函数
[0018] 定义分类所需要的softmax函数:
[0019]
[0020] 式中,ak(x)表示每个像素点对应特征通道的得分,K为类的数量, pk(x)是对类k的对像素点分类的结果,softmax函数用于在神经网络计算完成之后对计算结果进行分类输出,在通过softmax之前,数据的表现为一个一维的激活数据体,经过softmax之后输出的结果将会映射到相应的类别上,并形成上述的对应器官的对应标记;
[0021] 定义需要最小化的惩罚函数:
[0022] E=∑ω(x)log (pl(x)(x))
[0023] 式中,pl(x)(x)是经过神经网络计算之后生成的每个像素的标签;ω(x)是人工标注的每个像素的标签,x表示每一个像素,惩罚函数的作用为比对神经网络计算所得到的结果和人工标注的结果的差距,差距越大,给神经网络反馈的惩罚就越大,以此来激励神经网络朝着期望的方向进行训练;
[0024] 步骤(4)、训练改进后的U‑Net神经网络模型,获得初步分割结果
[0025] 将预处理后的患者胸腔的CT图像输入改进后的U‑Net进行训练,各层的激活函数均设置为ReLu,优化器采用Adam,学习率设置为0.01。
[0026] 训练结束后获得用于胸腔器官分割的神经网络模型,将待分割的 CT图像输入神经网络模型中,得到输入CT图像对应的初步分割结果。
[0027] 步骤(5)、对获得的初步分割结果进行数据后处理,获得患者胸腔CT图像的最终分割结果
[0028] 对获得的初步分割结果采取只取最大连通区域的处理,获得患者胸腔CT图像的最终分割结果。
[0029] 所述的只取最大连通区域的处理的具体操作方法如下:
[0030] (1)对于每个器官,生成的标记已经为二值化,仅有1和0,将不同器官的标记分离成不同文件;
[0031] (2)给标记增加一个维度,仅取0和1;0表示未访问过,1表示已访问;
[0032] (3)找到第一个有标记内容的像素点,将像素点的访问维度设置为1,同时将其入栈;
[0033] (4)寻找栈顶元素周边八个像素点中是否存在非零像素点,如果存在,则压入堆栈,结束后将栈顶元素删除,当栈被清空时,则表示一个区域已经找完,继续寻找下一个有标记的区域;
[0034] (5)当所有的像素都被遍历过之后,保留像素点个数最多的连通区域,其余的残渣区域全部都舍弃不用。
[0035] 本发明有益效果如下:
[0036] 1、本发明训练速度和计算速度都优于传统的U‑Net网络;
[0037] 2、骨干网络ResNet自带的残差结构可以支持更深层次的网络结构,一般来说网络越深,提取特征的效果就越好,传统的VGG为 19层,本发明方法的网络达到了50层,并且可以在牺牲速度的前提下达到101层;
[0038] 3、本发明仅需一个模型就可以用于多器官的图像分割;
[0039] 4、本发明基于工业界流行的Tensorflow的上级框架Keras 开发,便于在其他设备上进行部署。

实施方案

[0045] 以下结合附图及实施例对本发明进行进一步说明。
[0046] 一种基于深度学习的胸腔器官分割方法,步骤如下:
[0047] 步骤(1)、图像预处理
[0048] 将输入的患者胸腔的CT图像进行预处理,去掉CT图像上不需要的文字信息,并将其转换为灰度图;所述的灰度图按顺序标记为 (0,1,2,……,n),将灰度图的灰度值进行归一化处理,对图像中的像素进行从[0,255]到[0,1]的映射。从灰度图中按{(0,1,2),(1,2,3),……,(n‑2,n‑1,n)}的顺序取出三张图,将取出的三张图融合为一张图,在维度上增加所需要分割的四个器官和背景的标记,所述的标记为人工添加,包含相对准确的器官位置和该图上包含的器官,没有器官的图被标记为背景。标记的顺序为气管、食道、心脏、大动脉和背景。例如,某张CT图上并没有上述四个器官,则标记为(0, 0,0,0,1);仅有食道,则标记为(0,1,0,0,0),注意此处背景标志被取消;仅有气管和食道,则标记为(1,1,0,0,0)。
[0049] 最终获得预处理后的CT图像的NPY文件的形状为512*512*8,其中8代表3张图片加需要识别的5个特征;用于同时体现水平和竖直方向的信息。
[0050] 步骤(2)、对U‑Net神经网络模型的结构进行改进
[0051] 首先将将传统U‑Net的VGG网络替换为ResNet残差网络,也可以理解为使用ResNet网络构建了一个U型的新型神经网络模型。
[0052] 对于上采样部分,仿照ResNet对网络结构进行扩充,针对各层的不同特点增加了卷积层和池化层,并且最后可以还原为原先的输入尺寸;
[0053] 图1为ResNet部分结构示意图。
[0054] 步骤(3)、定义softmax函数与惩罚函数
[0055] 定义分类所需要的softmax函数:
[0056]
[0057] 式中,ak(x)表示每个像素点对应特征通道的得分,K为类的数量, pk(x)是对类k的对像素点分类的结果,softmax函数用于在神经网络计算完成之后对计算结果进行分类输出,在通过softmax之前,数据的表现为一个一维的激活数据体,经过softmax之后输出的结果将会映射到相应的类别上,并形成上述的对应器官的对应标记;
[0058] 定义需要最小化的惩罚函数:
[0059] E=∑ω(x)log (pl(x)(x))
[0060] 式中,pl(x)(x)是经过神经网络计算之后生成的每个像素的标签;ω(x)是人工标注的每个像素的标签,x表示每一个像素,惩罚函数的作用为比对神经网络计算所得到的结果和人工标注的结果的差距,差距越大,给神经网络反馈的惩罚就越大,以此来激励神经网络朝着期望的方向进行训练;
[0061] 步骤(4)、训练改进后的U‑Net神经网络模型,获得初步分割结果
[0062] 将预处理后的患者胸腔的CT图像输入改进后的U‑Net进行训练,各层的激活函数均设置为ReLu,优化器采用Adam,学习率设置为0.01。
[0063] 训练结束后获得用于胸腔器官分割的神经网络模型,将待分割的 CT图像输入神经网络模型中,得到输入CT图像对应的初步分割结果。所述的初步分割结果为带标签的png格式图片,背景为透明,四个器官分别对应不同的颜色,颜色根据需要进行自定义。
[0064] 步骤(5)、对获得的初步分割结果进行数据后处理,获得患者胸腔CT图像的最终分割结果
[0065] 对获得的初步分割结果采取只取最大连通区域的处理,获得患者胸腔CT图像的最终分割结果。
[0066] 图2、图3、图4和图5分别为气管、食道、心脏和大动脉的分割结果图;
[0067] 所述的只取最大连通区域的处理的具体操作方法如下:
[0068] (1)对于每个器官,生成的标记已经为二值化,仅有1和0,将不同器官的标记分离成不同文件;
[0069] (2)给标记增加一个维度,仅取0和1;0表示未访问过,1表示已访问;
[0070] (3)找到第一个有标记内容的像素点,将像素点的访问维度设置为1,同时将其入栈;
[0071] (4)寻找栈顶元素周边八个像素点中是否存在非零像素点,如果存在,则压入堆栈,结束后将栈顶元素删除,当栈被清空时,则表示一个区域已经找完,继续寻找下一个有标记的区域;
[0072] (5)当所有的像素都被遍历过之后,保留像素点个数最多的连通区域,其余的残渣区域全部都舍弃不用。
[0073] 步骤(6)、将获得的患者胸腔CT图像的最终分割结果与预先由医生标记好的分割结果进行重叠度Dice(Sa,Sb)的计算,公式如下:
[0074]
[0075] 式中,Dice(Sa,Sb)表示块重叠度(Dice Overlap),|Sa∩Sb|表示两幅图的重合区域,|Sa|表示输入图像的标签,|Sb|表示标签融合后图像的标签。若两者图像完全重合,则Dice(Sa,Sb)的值将趋近于1,若两者图像重合都很低,则Dice(Sa,Sb)的值将会趋向于0。

附图说明

[0040] 图1为ResNet部分结构示意图;
[0041] 图2为气管的分割结果图;
[0042] 图3为食道的分割结果图;
[0043] 图4是心脏的分割结果图;
[0044] 图5是大动脉的分割结果图。
专利联系人(活跃度排行)
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号