首页 > 专利 > 广州医科大学附属肿瘤医院 > 瘤细胞图像的分类方法及装置、设备、存储介质专利详情

瘤细胞图像的分类方法及装置、设备、存储介质   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2021-10-18
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2022-01-25
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2022-07-01
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2041-10-18
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202111212018.4 申请日 2021-10-18
公开/公告号 CN113902724B 公开/公告日 2022-07-01
授权日 2022-07-01 预估到期日 2041-10-18
申请年 2021年 公开/公告年 2022年
缴费截止日
分类号 G06T7/00G06V10/25G06V10/764G06N20/00 主分类号 G06T7/00
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 6
权利要求数量 7 非专利引证数量 1
引用专利数量 3 被引证专利数量 0
非专利引证 1、2020.01.02何强 等.基于多模态特征和多分类器融合的前列腺癌放疗中直肠并发症预测模型《.南方医科大学学报》.2019,第39卷(第08期),Jialiang Wu 等.A Multiparametric MR-Based RadioFusionOmics Model with RobustCapabilities of DifferentiatingGlioblastoma Multiforme from SolitaryBrain Metastasis《.Cancers》.2021,第13卷(第22期),;
引用专利 AU2021101379A、US2020104984A、US2020000362A 被引证专利
专利权维持 0 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 广州医科大学附属肿瘤医院 当前专利权人 广州医科大学附属肿瘤医院
发明人 王琳婧、甄鑫、杨蕊梦、梁芳蓉、张书旭、廖煜良 第一发明人 王琳婧
地址 广东省广州市越秀区麓湖路横枝岗78号 邮编 510000
申请人数量 1 发明人数量 6
申请人所在省 广东省 申请人所在市 广东省广州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
广州广典知识产权代理事务所 代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
万志香
摘要
本发明属于机器学习技术领域,公开了一种瘤细胞图像的分类方法及装置、设备、存储介质,通过对所有不同的MRI序列进行不排列组合,获得L个融合序列,按照各个融合序列所包括的不同MRI序列,将样本对象的第一特性数据样本融合成第二特性数据样本,然后再通过分类器进行训练,构建得L个可鉴别至少两种肿瘤类型的分类系统,从中选择出分类性能达到预设条件的目标分类系统,从而确定出融合效果较好的目标融合序列,以该目标融合序列的转换矩阵对目标待测对象的K个目标第一特性数据融合成一个目标第二特性数据,输入至目标分类系统进行分类,可以融合来自多个MRI序列的成像信息进行分类,更好地描述肿瘤的特性,进而可以提高分类准确性。
  • 摘要附图
    瘤细胞图像的分类方法及装置、设备、存储介质
  • 说明书附图:[转续页]
    瘤细胞图像的分类方法及装置、设备、存储介质
  • 说明书附图:图1
    瘤细胞图像的分类方法及装置、设备、存储介质
  • 说明书附图:图2
    瘤细胞图像的分类方法及装置、设备、存储介质
  • 说明书附图:图3
    瘤细胞图像的分类方法及装置、设备、存储介质
  • 说明书附图:图4
    瘤细胞图像的分类方法及装置、设备、存储介质
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2022-07-01 授权
2 2022-01-25 实质审查的生效 IPC(主分类): G06T 7/00 专利申请号: 202111212018.4 申请日: 2021.10.18
3 2022-01-07 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种瘤细胞图像的分类方法,其特征在于,包括:
根据M种磁共振扫描序列,组合出L个融合序列,每个所述融合序列包括至少两种所述磁共振扫描序列,L的值根据M确定,L是M种磁共振扫描序列进行组合可能出现的情况总数;
对于每种所述磁共振扫描序列,分别获取对N个样本对象扫描得到的N个多模态样本图像,对各个所述多模态样本图像进行放射组学特征提取,以获得N个第一特性数据样本;
分别对N个样本对象进行肿瘤类型标记,获得各个所述样本对象的标签数据,所述标签数据用于表征所述样本对象所属的肿瘤类型,所述肿瘤类型至少包括两个;
针对每个所述融合序列,分别根据所有样本对象的第一特性数据样本计算获得每个所述融合序列对应的最终转换矩阵以及与所述N个样本对象一一对应的N个第二特性数据样本;
将每个所述融合序列的N个第二特性数据样本以及各个所述第二特性数据样本对应的标签数据输入到分类器中进行训练,以构建L个分类系统;
将所述L个分类系统中分类性能达到预设条件的任一第一分类系统作为目标分类系统;所述预设条件为性能指标超过各个磁共振扫描序列对应的性能指标阈值;
根据所述目标分类系统对应的目标融合序列的最终转换矩阵,将目标待测对象的K个目标第一特性数据融合成目标第二特性数据;其中,所述K个目标第一特性数据与所述目标融合序列所包括的K种磁共振扫描序列一一对应;
将所述目标第二特性数据输入至所述目标分类系统,根据所述目标分类系统的输出结果确定所述目标待测对象的目标标签数据;
其中,每一所述第一特性数据样本包括多个放射组学特征;针对每个所述融合序列,分别根据所有样本对象的第一特性数据样本计算获得每个所述融合序列对应的最终转换矩阵以及与所述N个样本对象一一对应的N个第二特性数据样本,包括:
针对每个所述融合序列,根据所有样本对象的第一特性数据样本,构造每个所述放射组学特征的多序列特征矩阵,所述多序列特征矩阵包括基于各种磁共振扫描序列的特征矩阵;通过以下公式计算获得所述多序列特征矩阵中各类样本对象的特征向量其中,c代表肿瘤类型数,ni代表第i类的样本数,i=1,…,c;xij代表第i类的第j个样本,j=1,2,...,ni;
根据各类样本对象的特征向量 计算所有样本对象的特征向量均值;
根据各类样本对象的特征向量以及所有样本对象的特征向量均值,计算获得所述多序列特征矩阵的类间相关性矩阵以及协方差矩阵;
根据所述类间相关性矩阵以及所述协方差矩阵,计算出所述类间相关性矩阵的转置矩阵,将所述转置矩阵对角化,获得对角化时的特征向量矩阵;
从所述特征向量矩阵中取出前r个最大特征值所对应的特征向量,组成新特征向量矩阵;
根据所述类间相关性矩阵、所述协方差矩阵和所述新特征向量矩阵,计算出所述类间相关性矩阵的前r个最重要的特征值及其对应的特征向量;
根据所述类间相关性矩阵的前r个最重要的特征值及其对应的特征向量,计算获得每个所述放射组学特征的转换矩阵;
根据所述转换矩阵,对每个所述放射组学特征的多序列特征矩阵进行融合,获得每个所述放射组学特征的第一融合向量;
将所有所述放射组学特征的第一融合向量进行拼接,获得该融合序列对应的第二融合向量;以及,将所有所述放射组学特征的转换矩阵进行拼接,获得该融合序列对应的最终转换矩阵;其中,所述第二融合向量包括与所述N个样本对象一一对应的N个第二特性数据样本。

2.如权利要求1所述的瘤细胞图像的分类方法,其特征在于,所述对各个所述多模态样本图像进行放射组学特征提取,以获得N个第一特性数据样本,包括:
根据用户输入的操作参数,对各个所述多模态样本图像的每一层面进行靶区勾画,获得每一层面的二维感兴趣区域;
将各个所述多模态样本图像的所有层面的二维感兴趣区域保存为三维的掩膜图像数据;
对各个所述掩膜图像数据进行放射组学特征提取,以获得N个第一特性数据样本。

3.如权利要求1或2所述的瘤细胞图像的分类方法,其特征在于,所述分类系统为多分类模型系统;所述将每个所述融合序列的N个第二特性数据样本以及各个所述第二特性数据样本对应的标签数据输入到分类器中进行训练,以构建L个分类系统,包括:
针对每个所述融合序列,将各个所述第二特性数据样本分别通过多种特征选择算法进行特征选取,获得相应的多个特征代表集合;其中,所述特征代表集合与所述特征选择算法一一对应,每一所述特征代表集合均包括指定数量个特征代表样本;
将多个所述特征代表集合以及各个所述特征代表集合对应的标签数据分别依次输入到多个分类器中进行训练,以构建L个多分类模型系统。

4.如权利要求1所述的瘤细胞图像的分类方法,其特征在于,所述将所述L个分类系统中分类性能达到预设条件的任一第一分类系统作为目标分类系统,包括:
从所述L个分类系统中确定出分类性能达到预设条件的至少一个第一分类系统;从所述至少一个第一分类系统中确定出分类性能最好的第二分类系统作为目标分类系统。

5.一种瘤细胞图像的分类装置,其特征在于,包括:
组合单元,用于根据M种磁共振扫描序列,组合出L个融合序列,每个所述融合序列包括至少两种所述磁共振扫描序列,L的值根据M确定,L是M种磁共振扫描序列进行组合可能出现的情况总数;
获取单元,用于对于每种所述磁共振扫描序列,分别获取对N个样本对象扫描得到的N个多模态样本图像,对各个所述多模态样本图像进行放射组学特征提取,以获得N个第一特性数据样本;以及,分别对N个样本对象进行肿瘤类型标记,获得各个所述样本对象的标签数据,所述标签数据用于表征所述样本对象所属的肿瘤类型,所述肿瘤类型至少包括两个;
第一融合单元,用于针对每个所述融合序列,分别根据所有样本对象的第一特性数据样本计算获得每个所述融合序列对应的最终转换矩阵以及与所述N个样本对象一一对应的N个第二特性数据样本;
训练单元,用于将每个所述融合序列的N个第二特性数据样本以及各个所述第二特性数据样本对应的标签数据输入到分类器中进行训练,以构建L个分类系统;
确定单元,用于将所述L个分类系统中分类性能达到预设条件的任一第一分类系统作为目标分类系统;所述预设条件为性能指标超过各个磁共振扫描序列对应的性能指标阈值;
第二融合单元,用于根据所述目标分类系统对应的目标融合序列的最终转换矩阵,将目标待测对象的K个目标第一特性数据融合成目标第二特性数据;其中,所述K个目标第一特性数据与所述目标融合序列所包括的K种磁共振扫描序列一一对应;
分类单元,用于将所述目标第二特性数据输入至所述目标分类系统,根据所述目标分类系统的输出结果确定所述目标待测对象的目标标签数据;
其中,每一第一特性数据样本包括多个放射组学特征;所述第一融合单元包括:
构造子单元,用于针对每个所述融合序列,分别根据所有样本对象的第一特性数据样本,构造每个放射组学特征的多序列特征矩阵,多序列特征矩阵包括基于各种磁共振扫描序列的特征矩阵;以及,通过以下公式计算获得所述多序列特征矩阵中各类样本对象的特征向量 以及根据各类样本对象的特征向量 计算所有样本对象的特征向量均值:
其中,c代表肿瘤类型数,ni代表第i类的样本数,i=1,…,c;xij代表第i类的第j个样本,j=1,2,...,ni;
计算子单元,用于根据多序列特征矩阵,计算获得每个放射组学特征的转换矩阵;
融合子单元,用于根据转换矩阵,对每个放射组学特征的多序列特征矩阵进行融合,获得每个放射组学特征的第一融合向量;
拼接子单元,用于将所有放射组学特征的第一融合向量进行拼接,获得该融合序列对应的第二融合向量;以及,将所有放射组学特征的转换矩阵进行拼接,获得该融合序列对应的最终转换矩阵;其中,第二融合向量包括与N个样本对象一一对应的N个第二特性数据样本;
其中,所述计算子单元,具体用于根据各类样本对象的特征向量以及所有样本对象的特征向量均值,计算获得多序列特征矩阵的类间相关性矩阵以及协方差矩阵;以及,根据类间相关性矩阵以及协方差矩阵,计算出类间相关性矩阵的转置矩阵,将转置矩阵对角化,获得对角化时的特征向量矩阵;以及,从特征向量矩阵中取出前r个最大特征值所对应的特征向量,组成新特征向量矩阵;以及,根据类间相关性矩阵、协方差矩阵和新特征向量矩阵,计算出类间相关性矩阵的前r个最重要的特征值及其对应的特征向量;最后,根据类间相关性矩阵的前r个最重要的特征值及其对应的特征向量,计算获得每个放射组学特征的转换矩阵。

6.一种电子设备,其特征在于,包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行权利要求1至4任一项所述的瘤细胞图像的分类方法。

7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行权利要求1至4任一项所述的瘤细胞图像的分类方法。
说明书

技术领域

[0001] 本发明属于机器学习技术领域,具体涉及一种瘤细胞图像的分类方法及装置、设备、存储介质。

背景技术

[0002] 多形性胶质母细胞瘤和单发性脑转移瘤是两种较常见的侵袭性恶性脑瘤,它们的治疗策略有很大差异:新诊断胶质母细胞瘤的治疗标准是肿瘤最大限度切除,随后进行放射治疗和替莫唑胺化疗;而单发性脑转移瘤的主要治疗方式是立体定位放射治疗。并且它们在常规的磁共振成像(Magnetic Resonance Imaging,MRI)上具有相似的影像表现,病灶均可能具有肿瘤内坏死中心和被肿瘤周围水肿区域包围的异质增强成分。因此,胶质母细胞瘤和单发性脑转移瘤的术前精确鉴别诊断对个体化治疗决策选择至关重要。
[0003] 病理学检查可以明确鉴别这两种肿瘤,但当肿瘤靠近或涉及雄辩区域或患者太虚弱而无法进行手术时,这种有创伤的手术鉴别方法是不可取的。因此,需要一种快速、无创、稳定的方法来识别原发肿瘤,从而确定正确的治疗方法。
[0004] 近年来影像组学广泛地应用于临床的诊断,预后以及肿瘤治疗反应的预测方面。许多研究基于常规的MRI序列或更先进的MRI技术,如弥散加权成像(diffusion‑weighted imaging,DWI)、磁共振弥散张量成像(diffusion tensor imaging,DTI)或酰胺质子转移成像(amide proton transfer,APT)等,来鉴别胶质母细胞瘤和单发性脑转移瘤。这些研究显示了影像组学能够从图像中提取到肉眼无法捕获的图像纹理信息,提升了胶质母细胞瘤与单发性脑转移瘤的鉴别能力。
[0005] 然而,以往的很多研究只对单个MRI序列,例如对比度增强的T1加权像(T1weighted image,T1WI)、表观扩散系数(apparent diffusion coefficient,ADC)、磁共振弥散张量成像(iffusion tensor imaging,DTI),进行影像组学分析,或进行简单的多序列对比。MRI序列的选择通常是随机的和启发式的,并且各个MRI序列之间的优势劣势还不清楚。事实上,不同的MRI序列可以看作是从不同角度描述肿瘤的多模态图像。迄今为止,还没有人试图充分利用整合从多个MRI序列获得的影像组学特征来鉴别胶质母细胞瘤与单发性脑转移瘤的潜力。因此,现有技术中对于胶质母细胞瘤与单发性脑转移瘤的分类准确性有待提高。

发明内容

[0006] 本发明的目的在于提供一种瘤细胞图像的分类方法及装置、设备、存储介质,可以融合来自多个MRI序列的成像信息,可以更好地描述肿瘤的特性,提高分类准确性。
[0007] 本发明实施例第一方面公开一种瘤细胞图像的分类方法,包括:
[0008] 根据M种磁共振扫描序列,组合出L个融合序列,每个所述融合序列包括至少两种所述磁共振扫描序列,L的值根据M确定;
[0009] 对于每种所述磁共振扫描序列,分别获取与N个样本对象一一对应的N个第一特性数据样本以及各个所述样本对象的标签数据,所述标签数据用于表征所述样本对象所属的肿瘤类型,所述肿瘤类型至少包括两个;
[0010] 针对每个所述融合序列,根据所有样本对象的第一特性数据样本计算转换矩阵;根据所述转换矩阵,对各种磁共振扫描序列之间属于相同样本对象的第一特性数据样本进行融合,获得与所述N个样本对象一一对应的N个第二特性数据样本;
[0011] 将每个所述融合序列的N个第二特性数据样本以及各个所述第二特性数据样本对应的标签数据输入到分类器中进行训练,以构建L个分类系统;
[0012] 将所述L个分类系统中分类性能达到预设条件的任一第一分类系统作为目标分类系统;
[0013] 根据所述目标分类系统对应的目标融合序列的转换矩阵,将目标待测对象的K个目标第一特性数据融合成目标第二特性数据;其中,所述K个目标第一特性数据与所述目标融合序列所包括的K种磁共振扫描序列一一对应;
[0014] 将所述目标第二特性数据输入至所述目标分类系统,根据所述目标分类系统的输出结果确定所述目标待测对象的目标标签数据。
[0015] 进一步地,所述多分类模型系统包括多个分类模型,所述分类模型的数量根据所述特征选择算法的种数与所述分类器的个数而确定;所述M种磁共振扫描序列包括MRI T1WI、CE_T1WI、T2WI和T2_FLAIR序列;所述肿瘤类型包括胶质母细胞瘤类型和单发性脑转移瘤类型。
[0016] 本发明实施例第二方面公开一种瘤细胞图像的分类装置,包括:
[0017] 组合单元,用于根据M种磁共振扫描序列,组合出L个融合序列,每个所述融合序列包括至少两种所述磁共振扫描序列,L的值根据M确定;
[0018] 获取单元,用于对于每种所述磁共振扫描序列,分别获取与N个样本对象一一对应的N个第一特性数据样本以及各个所述样本对象的标签数据,所述标签数据用于表征所述样本对象所属的肿瘤类型,所述肿瘤类型至少包括两个;
[0019] 第一融合单元,用于针对每个所述融合序列,根据所有样本对象的第一特性数据样本计算转换矩阵;根据所述转换矩阵,对各种磁共振扫描序列之间属于相同样本对象的第一特性数据样本进行融合,获得与所述N个样本对象一一对应的N个第二特性数据样本;
[0020] 训练单元,用于将每个所述融合序列的N个第二特性数据样本以及各个所述第二特性数据样本对应的标签数据输入到分类器中进行训练,以构建L个分类系统;
[0021] 确定单元,用于将所述L个分类系统中分类性能达到预设条件的任一第一分类系统作为目标分类系统;
[0022] 第二融合单元,用于根据所述目标分类系统对应的目标融合序列的转换矩阵,将目标待测对象的K个目标第一特性数据融合成目标第二特性数据;其中,所述K个目标第一特性数据与所述目标融合序列所包括的K种磁共振扫描序列一一对应;
[0023] 分类单元,用于将所述目标第二特性数据输入至所述目标分类系统,根据所述目标分类系统的输出结果确定所述目标待测对象的目标标签数据。
[0024] 本发明实施例第三方面公开一种电子设备,包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行第一方面公开的瘤细胞图像的分类方法。
[0025] 本发明实施例第四方面公开一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行第一方面公开的瘤细胞图像的分类方法。
[0026] 本发明的有益效果在于,所提供的瘤细胞图像的分类方法及装置、设备、存储介质,通过对所有不同的MRI序列进行不排列组合,获得L个融合序列,按照各个融合序列所包括的不同MRI序列,将同一样本对象的第一特性数据样本融合成第二特性数据样本,然后再将第二特性数据样本通过分类器进行训练,构建得L个可鉴别至少两种肿瘤类型的分类系统,并且从中选择出分类性能达到预设条件的目标分类系统,从而确定出融合效果较好的目标融合序列,以该目标融合序列的转换矩阵对目标待测对象的K个目标第一特性数据融合成一个目标第二特性数据,然后输入至目标分类系统进行分类,不仅可以实现个体化疾病诊断,辅助指导临床决策,还可以融合来自多个MRI序列的成像信息进行分类,融合后的成像信息可以更好地描述肿瘤的特性,进而可以提高分类准确性。

实施方案

[0035] 除非特别说明或另有定义,本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下,本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二…”仅仅是用于对名称的区分,不代表具体的数量或顺序。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0036] 除非特别说明或另有定义,本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容,该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的,也可以是相似的。
[0037] 毫无疑义,与本发明的目的相违背,或者明显矛盾的技术内容或技术特征,应被排除在外。为了便于理解本发明,下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
[0038] 如图1和图2所示,本发明实施例公开一种瘤细胞图像的分类方法,包括:
[0039] (一)训练过程
[0040] S10、根据M种磁共振扫描序列,组合出L个融合序列,每个融合序列包括至少两种磁共振扫描序列。
[0041] 需要说明的是,M为大于或等于二的正整数,L为大于或等于一的正整数,L的值根据M而确定。针对至少两种不同的磁共振扫描(MRI)序列,即可以按照本发明公开的瘤细胞图像的分类方法进行融合分类,对于M种磁共振扫描序列,采用不排列组合方式进行组合,最多可以获得一定数量的组合方式,即L个融合序列。比如,在本实施例中,M种MRI序列可以包括临床T1WI、CE_T1WI、T2WI和T2_FLAIR四种序列,那么从这4种不同MRI序列中取2个或2个以上的元素组成的组合最多有11个,获得11个融合序列,如下表3所示。
[0042] S20、对于每种磁共振扫描序列,分别获取与N个样本对象一一对应的N个第一特性数据样本以及各个样本对象的标签数据,标签数据用于表征样本对象所属的肿瘤类型,肿瘤类型的数量至少包括两个。
[0043] 步骤S20中,可以先确定N个样本对象,对各个样本对象进行肿瘤类型标记,获得各个样本对象的标签数据,然后对于每种MRI序列,先获取对N个样本对象进行磁共振扫描得到的一一对应的N个多模态样本图像,再分别对各个多模态样本图像进行放射组学特征提取,获得对应的N个第一特性数据样本。可以理解的是,每种MRI序列下的N个第一特性数据样本分别与其所属的样本对象的标签数据相对应。
[0044] 在本实施例中,肿瘤类型可以包括胶质母细胞瘤和单发性脑转移瘤这两种类型,那么标签数据可以包括两类,一类指代胶质母细胞瘤,另一类指代单发性脑转移瘤。例如,标签数据设置为0或1,然后用0指代胶质母细胞瘤,1指代单发性脑转移瘤;反之亦然。
[0045] 在本实施例中,假设N为121,可以确定121例经病理证实的胶质母细胞瘤与单发性脑转移瘤患者对象作为样本对象,然后采集121个样本对象在手术前基于T1WI、CE_T1WI、T2WI和T2_FLAIR四种不同的MRI序列进行扫描得到的图像作为多模态样本图像。在这121例经病理证实的胶质母细胞瘤与单发性脑转移瘤患者中,可以包括61例胶质母细胞瘤患者和60例单发性脑转移瘤患者。请一并参阅下表1,表1详细地记录了样本对象的临床信息,其中GBM代表胶质母细胞瘤,META代表单发性脑转移瘤。
[0046] 表1 GBM和META样本对象的临床信息
[0047]
[0048] 其中,对各个多模态样本图像进行放射组学特征提取获得对应的N个第一特性数据样本的具体实施方式可以是根据用户(如经验丰富的至少两名放射诊断专家)输入的操作参数,对各个多模态样本图像的每一层面进行靶区勾画,得到每一层面的二维感兴趣区域(region of interest,ROI),再将所有层面的二维感兴趣区域保存为三维的掩膜图像数据(即mask图像);最后对各个掩膜图像数据进行放射组学特征提取,以获得N个第一特性数据样本。
[0049] 比如,可以使用开源python包Pyradiomics软件对各个感兴趣区域进行放射组学特征提取,获得各个多模态样本图像的109个放射组学特征作为第一特性数据样本。由于样本对象存在严重的数据不均衡,还可以对第一特性数据样本的标签数据进行数据标准化,再用合成少数类过采样(SMOTE)算法对数据进行类别均衡,通过引入合成的特征样本对少数类患有单发性脑转移瘤的样本对象进行过采样,再进行后续处理,以克服数据类别不均衡带来的消极影响。
[0050] 如下表2所示,109个放射组学特征可以分为三类,分别是形状特征、一阶统计学特征(直方图分析)和二阶统计学特征(图像灰度分布,俗称纹理特征),其中,形状特征包括(n=15)个,一阶统计学特征包括(n=19)个,二阶统计学特征包括(n=75)个。
[0051] 表2 109个放射组学特征
[0052]
[0053] S30、针对每个融合序列,根据所有样本对象的第一特性数据样本计算转换矩阵;根据转换矩阵,对各种磁共振扫描序列之间属于相同样本对象的第一特性数据样本进行融合,获得与N个样本对象一一对应的N个第二特性数据样本。
[0054] 需要说明的是,针对每个融合序列所包括的至少两种MRI序列,每种MRI序列下的每个样本对象的第一特性数据样本中均包括有上述的109个放射组学特征。对于每一个放射组学特征,可以根据该融合序列所包括的所有样本对象的第一特性数据样本,构造出每一个放射组学特征的多序列特征矩阵,该多序列特征矩阵包括基于该融合序列所需融合的各种MRI序列的特征矩阵,再基于弱化类间相关的特征融合方法,从多序列特征矩阵中计算获得每个放射组学特征的转换矩阵,然后再根据转换矩阵,对每个放射组学特征的多序列特征矩阵进行融合,获得每个放射组学特征的第一融合向量。
[0055] 具体地,对于每个融合序列,可以对109个放射组学特征的每一个放射组学特征都执行一遍以下计算过程,如步骤S301~S307:
[0056] S301、构造出每一个放射组学特征的多序列特征矩阵X,并通过以下公式(1)和(2)计算获得多序列特征矩阵X中各类样本对象的特征向量 以及所有样本对象的特征向量均值
[0057]
[0058]
[0059] 其中,c(c=2)代表肿瘤类别数,ni代表第i类的样本数,i=1,…,c;xij代表第i类的第j个样本,j=1,2,...,ni。
[0060] S302、将各类样本对象的特征向量 以及所有样本对象的特征向量均值 输入以下公式(3),计算多序列特征矩阵X的类间相关性矩阵Sbx以及协方差矩阵φbx。
[0061]
[0062] 其中,T为转置符号,
[0063] S303、根据类间相关性矩阵Sbx以及协方差矩阵φbx,计算类间相关性矩阵Sbx的转T T T T置矩阵Sbx=ΦbxΦbx,然后利用以下公式(4)将转置矩阵Sbx对角化,输出Sbx对角化时的特征向量矩阵P。
[0064]
[0065] 其中,代表特征值矩阵。
[0066] S304、输入STbx的特征向量矩阵P,从P中取出前r个最大特征值Λr×r所对应的特征向量,组成新特征向量矩阵Q并输出,如公式(5)所示。
[0067] QT(ΦbxT Φbx)Q=Λr×r  (5)
[0068] 其中,r代表融合后的维度,在本实施例中r=1。
[0069] S305、将类间相关性矩阵Sbx、协方差矩阵φbx和新特征向量矩阵Q输入公式(6),计算出Sbx的前r个最重要的特征值Λ(r×r)和对应的特征向量 输出Sbx的前r个最重要的特征值Λ(r×r)及其对应的特征向量
[0070]
[0071] S306、输入Sbx的前r个最重要的特征值Λ(r×r)及其对应的特征向量 根据公式(7)计算得到每个放射组学特征的转换矩阵w。
[0072]
[0073] S307、输入每个放射组学特征的多序列特征矩阵X和对应的转换矩阵w,根据公式(8)对每个放射组学特征的多序列特征矩阵X进行融合,得到融合后的第一融合向量f。
[0074] f=wTXp×N  (8)
[0075] 其中,p(p=2,3,4)代表每个融合序列所需融合的MRI序列数,N代表样本数,[0076] 对于每一个融合序列来说,重复执行以上步骤S301‑S307,直至遍历109个放射组学特征之后,可以获得每个放射组学特征的第一融合向量f,然后将所有放射组学特征的第一融合向量f进行拼接,获得第二融合向量F,该第二融合向量对应于所有样本对象,因此可以根据不同样本对象对第二融合向量F进行划分,获得与N个样本对象一一对应的N个第二特性数据样本。可以理解的是,N个第二特性数据样本也与其所属的样本对象的标签数据相对应。
[0077] 进一步地,对于每一个融合序列来说,可以将步骤S306中获得的每个放射组学特征的转换矩阵w拼接起来,产生一个最终的转换矩阵W。
[0078] 重复执行以上步骤S301~S307,直至遍历所有融合序列之后,即可获得L个最终的转换矩阵W以及L个第二融合向量F,每个第二融合向量F包括N个第二特性数据样本,该N个第二特征数据样本是融合了其所属的融合序列所需融合的所有MRI序列而得到的。
[0079] S40、将每个融合序列的N个第二特性数据样本以及各个第二特性数据样本对应的标签数据输入到分类器中进行训练,以构建L个分类系统。
[0080] 步骤S40中,分类器的数量可以包括一个或多个。当分类器的数量包括多个时,分类系统具体为多分类模型系统。考虑到分类模型的分类能力与其所使用的原始的分类器相关联,而不同的分类器即使在相同的任务上应用也可能会产生不一致的结果。因此在本实施例中,优选地将训练数据(即N个第二特性数据样本)输入到多个不同的分类器中进行训练,以构建多分类模型系统,该多分类模型系统包括多个分类模型。与单一分类器相比,多个不同的分类器可以提高分类系统的鲁棒性,还能提供更可靠和可重复的分类性能。
[0081] 具体地,步骤S40可以包括:针对每个融合序列,将各个第二特性数据样本分别通过n种特征选择算法进行特征选取,获得相应的n个特征代表集合;其中,特征代表集合与特征选择算法一一对应,每一特征代表集合均包括指定数量(如50)个重要的有意义的特征代表样本,特征代表集合对应的标签数据与其所属的第二特性数据样本的标签数据相同;然后将多个特征代表集合以及各个特征代表集合对应的标签数据分别依次输入到m个不同的分类器中进行训练,以构建L个多分类模型系统。每一多分类模型系统包括多个分类模型,多个分类模型的数量根据特征选择算法的种数与分类器的个数而确定,其数量为m×n,n和m均为正整数。
[0082] 在本实施例中,如图2所示,n的取值可以为5,5种特征选择算法可以分别包括DISR、JMI、SPEC、l1_121和f_score算子;m的取值可以为3,3个分类器可以包括逻辑回归分类器、支持向量机分类器和梯度树提升分类器。
[0083] 以上5种特征选择算法和3个不同的分类器之间交叉组合,可以形成15个分类模型组成多分类模型系统。具体地,可以采用Python编程语言环境下的scikit‑learn机器学习软件包,针对逻辑回归分类器、支持向量机分类器和梯度树提升分类器进行训练,并与以上5种特征选择算法进行组合,获得15个分类模型。然后可以将每个融合序列的第二特性数据样本以及对应的标签数据输入到上述的15个分类模型的每个分类模型中,采用10折交叉验证,每个分类模型中的指定特征选择算法会先获取特征代表集合,再把这个特征代表集合输入到分类器中调用fit函数进行训练和predict函数进行预测,保存并输出分类结果。
[0084] S50、将L个分类系统中分类性能达到预设条件的任一第一分类系统作为目标分类系统。
[0085] 进一步地,可以根据多分类模型系统包括的15个分类模型的分类结果,计算各个分类模型的AUC(Area Under Curve),并以这些分类模型的平均AUC作为整个的多分类模型系统的性能指标,用于评估不同融合序列融合后的多分类模型系统的分类性能,其中AUC的取值范围在0.5和1之间。AUC越接近1.0,真实性越高,说明分类性能越好。
[0086] 当多分类模型系统包括的15个分类模型的平均AUC达到指定阈值时,说明多分类模型系统的分类性能达到预设条件,该指定阈值可以是开发人员根据实际需求而设定,或者根据单一序列的分类系统的AUC而确定。比如该指定阈值可以是所有单一序列的分类系统的AUC最高值,例如下表3的T2_FLAIR序列的0.936。从表3可以确定出AUC大于0.936的T1WI+T2_FLAIR融合序列和CE_T1WI+T2WI+T2_FLAIR融合序列所分别对应的多分类模型系统均为第一分类系统,将任一第一分类系统作为目标分类系统。
[0087] 表3单一序列与本发明的融合序列的性能(AUC)一览表
[0088]
[0089] 从上表3可知,实施本发明实施例融合多个MRI序列后,在AUC方面,融合序列所获得的AUC总体上高于单一序列的AUC;其中取得最佳性能的是T1WI+T2_FLAIR融合序列,AUC值为0.946,比单一T1WI序列和T2_FLAIR序列的值都高。
[0090] 优选地,在其它一些实施例中,从L个分类系统中确定出分类性能达到预设条件的至少一个第一分类系统之后,还可以从至少一个第一分类系统中确定出分类性能最好的第二分类系统,如上述T1WI+T2_FLAIR融合序列所对应的多分类模型系统,将其作为目标分类系统,相应地,上述T1WI+T2_FLAIR融合序列则为目标融合序列。
[0091] 可选地,本发明实施例中,将单发性脑转移瘤的样本设置成了阳性病例,胶质母细胞瘤的样本设置成了阴性病例,因此各个分类模型的AUC的计算公式如下式(9)所示:
[0092]
[0093] 式中, 代表将证实为单发性脑转移瘤的样本序号加起来, 代表第i个证实为单发性脑转移瘤的样本的排列序号,根据分类模型输出的概率得分从小到大排列;N0为证实为胶质母细胞瘤的个数,N1为单发性脑转移瘤的个数。
[0094] (二)测试过程
[0095] 优选地,确定了上述T1WI+T2_FLAIR融合序列作为目标融合序列之后,可以确定62例经病理证实的胶质母细胞瘤与单发性脑转移瘤患者对象作为测试对象,并采集62个测试对象手术前基于目标融合序列所包括的T1WI和T2_FLAIR两种不同的MRI序列进行扫描得到的图像作为多模态测试图像,对构建的目标分类系统进行应用测试。在这62例经病理证实的胶质母细胞瘤与单发性脑转移瘤患者中,可以包括33例胶质母细胞瘤患者和29例单发性脑转移瘤患者。
[0096] 然后对各个测试对象进行肿瘤类型标记,获得各个测试对象的标签数据,然后对于每种MRI序列,先获取对62个测试对象进行磁共振扫描得到的一一对应的62个多模态测试图像,分别对各个多模态测试图像进行放射组学特征提取,获得对应的62个第一特性测试数据,第一特性测试数据的标签数据与其所属的测试对象的标签数据相对应。其中,对多模态测试图像进行放射组学特征提取的实施方式请参照训练过程中对多模态样本图像进行放射组学特征提取的过程,在此不作赘述。
[0097] 进一步地,根据T1WI+T2_FLAIR融合序列的转换矩阵,将T1WI序列下的62个第一特性测试数据和T2_FLAIR序列下的62个第一特性测试数据融合成62个第二特性测试数据,然后将62个第二特性测试数据逐一输入到目标分类系统,以使目标分类系统的15个分类模型逐一对每个第二特性测试数据进行分类处理,并输出每个第二特性测试数据属于某一脑部肿瘤类型的概率得分,根据15个分类模型输出的概率得分,确定每个测试对象的脑部肿瘤类型分类结果。根据62例经病理证实的胶质母细胞瘤与单发性脑转移瘤的测试对象的脑部肿瘤类型分类结果,计算目标分类系统的AUC较大的前3个分类模型的分类性能,包括分类准确率、AUC、敏感性和特异性,如下表4所示。
[0098] 表4目标分类系统AUC值较大的前3个分类模型的分类性能
[0099]   准确率 AUC 敏感性 特异性模型1 0.934 0.871 0.893 0.853
模型2 0.918 0.839 0.857 0.824
模型3 0.895 0.847 0.839 0.853
[0100] 由测试结果可知,本发明实施例所公开的瘤细胞图像的分类方法,可以构建一个充分利用从多个MRI序列的胶质母细胞瘤和单发性脑转移瘤的图像数据(如T1WI、CE_T1WI、T2WI和T2_FLAIR等不同MRI序列的图像)到最终的脑部肿瘤类型预测结果的多分类模型系统,利用弱化类间相关的融合算法对不同MRI序列的待测特性数据进行融合,生成新的待测特性数据,将融合后产生的新的待测特性数据均通过不同的分类器和不同的特征选择算法,可以构造多个分类模型进行性能比较,可以融合不同MRI序列、不同类型的分类器和不同的特征选择算法,以达到更可靠的分类结果,以及提高分类系统的鲁棒性。
[0101] (三)分类过程
[0102] S60、根据目标分类系统对应的目标融合序列的转换矩阵,将目标待测对象的K个目标第一特性数据融合成目标第二特性数据;其中,K个目标第一特性数据与目标融合序列所包括的K种磁共振扫描序列一一对应。
[0103] 其中,目标待测对象为待进行脑部肿瘤类型预测的患者对象,可以根据目标融合序列中所包括的K种MRI序列,先获取目标待测对象基于K种MRI序列扫描得到的K个待测瘤细胞图像,然后分别对目标待测对象的K个待测瘤细胞图像进行放射组学特征提取,获得K个目标第一特性数据(即待测特性数据),进而根据目标融合序列的每个放射组学特征的转换矩阵w拼接得到的最终的转换矩阵W,将K个目标第一特性数据融合到新的特性空间,得到一个目标第二特性数据(即新的待测特性数据)。
[0104] 例如,确定了上述T1WI+T2_FLAIR融合序列作为目标融合序列之后,K则等于2,可以获取目标待测对象基于T1WI和T2_FLAIR两种不同的MRI序列进行扫描得到的图像作为待测瘤细胞图像,对待测瘤细胞图像后续的处理参照以上训练过程和测试过程的阐述,在此不作赘述。
[0105] S70、将目标第二特性数据输入至目标分类系统,根据目标分类系统的输出结果确定目标待测对象的目标标签数据。
[0106] 步骤S70中,参照以上的实施例,可以将目标第二特性数据输入至目标分类系统,以使目标分类系统的15个分类模型分别对目标第二特性数据进行处理,并输出目标第二特性数据属于某一脑部肿瘤类型的概率得分,最后根据15个分类模型输出的概率得分,确定目标待测对象的目标标签数据,目标标签数据可以为0或1,即指代胶质母细胞瘤或者单发性脑转移瘤,从而可以将目标待测对象的待测特性数据通过目标融合序列进行融合,进而通过性能较好的目标分类系统进行分类,实现对目标待测对象的准确分类,具有较高的分类效率。
[0107] 如图3所示,本发明实施例公开一种瘤细胞图像的分类装置,包括组合单元301、获取单元302、第一融合单元303、训练单元304、确定单元305、第二融合单元306和分类单元307,其中,
[0108] 组合单元301,用于根据M种磁共振扫描序列,组合出L个融合序列,每个融合序列包括至少两种磁共振扫描序列,L的值根据M确定;
[0109] 获取单元302,用于对于每种磁共振扫描序列,分别获取与N个样本对象一一对应的N个第一特性数据样本以及各个样本对象的标签数据,标签数据用于表征样本对象所属的肿瘤类型,肿瘤类型至少包括两个;
[0110] 第一融合单元303,用于针对每个融合序列,根据所有样本对象的第一特性数据样本计算转换矩阵;根据转换矩阵,对各种磁共振扫描序列之间属于相同样本对象的第一特性数据样本进行融合,获得与N个样本对象一一对应的N个第二特性数据样本;
[0111] 训练单元304,用于将每个融合序列的N个第二特性数据样本以及各个第二特性数据样本对应的标签数据输入到分类器中进行训练,构建L个分类系统;
[0112] 确定单元305,用于将L个分类系统中分类性能达到预设条件的任一第一分类系统作为目标分类系统;
[0113] 第二融合单元306,用于根据目标分类系统对应的目标融合序列的转换矩阵,将目标待测对象的K个目标第一特性数据融合成目标第二特性数据;K个目标第一特性数据与目标融合序列所包括的K种磁共振扫描序列一一对应;
[0114] 分类单元307,用于将目标第二特性数据输入至目标分类系统,根据目标分类系统的输出结果确定目标待测对象的目标标签数据。
[0115] 在本实施例中,上述获取单元302可以包括以下未图示的子单元:
[0116] 标记子单元,用于对各个样本对象进行肿瘤类型标记,获得各个样本对象的标签数据;
[0117] 获取子单元,用于对于每种磁共振扫描序列,分别获取对N个样本对象扫描得到的N个多模态样本图像;
[0118] 提取子单元,用于对各个多模态样本图像进行放射组学特征提取,以获得N个第一特性数据样本。
[0119] 进一步地,上述提取子单元,具体可以用于根据用户输入的操作参数,对各个多模态样本图像的每一层面进行靶区勾画,获得每一层面的二维感兴趣区域,再将所有层面的二维感兴趣区域保存为三维的掩膜图像数据;最后对各个掩膜图像数据进行放射组学特征提取,以获得N个第一特性数据样本。
[0120] 在本实施例中,每一第一特性数据样本包括多个放射组学特征;上述第一融合单元303可以包括以下未图示的子单元:
[0121] 构造子单元,用于根据所有样本对象的第一特性数据样本,构造每个放射组学特征的多序列特征矩阵,多序列特征矩阵包括基于各种磁共振扫描序列的特征矩阵;
[0122] 计算子单元,用于根据多序列特征矩阵,计算获得每个放射组学特征的转换矩阵;
[0123] 融合子单元,用于根据转换矩阵,对每个放射组学特征的多序列特征矩阵进行融合,获得每个放射组学特征的第一融合向量;
[0124] 拼接子单元,用于将所有放射组学特征的第一融合向量进行拼接,获得第二融合向量;其中,第二融合向量包括与N个样本对象一一对应的N个第二特性数据样本。
[0125] 进一步可选地,上述计算子单元,具体用于根据多序列特征矩阵中各类样本对象的特征向量以及所有样本对象的特征向量均值,计算获得多序列特征矩阵的类间相关性矩阵以及协方差矩阵;以及,根据类间相关性矩阵以及协方差矩阵,计算出类间相关性矩阵的转置矩阵,将转置矩阵对角化,获得对角化时的特征向量矩阵;以及,从特征向量矩阵中取出前r个最大特征值所对应的特征向量,组成新特征向量矩阵;以及,根据类间相关性矩阵、协方差矩阵和新特征向量矩阵,计算出类间相关性矩阵的前r个最重要的特征值及其对应的特征向量;最后,根据类间相关性矩阵的前r个最重要的特征值及其对应的特征向量,计算获得每个放射组学特征的转换矩阵。
[0126] 进一步地,分类系统为多分类模型系统;上述的训练单元304可以包括以下未图示的子单元:
[0127] 特征选取子单元,用于针对每个融合序列,将各个第二特性数据样本分别通过多种特征选择算法进行特征选取,获得相应的多个特征代表集合;其中,特征代表集合与特征选择算法一一对应,每一特征代表集合均包括指定数量个特征代表样本;
[0128] 训练子单元,用于将多个特征代表集合以及各个特征代表集合对应的标签数据分别依次输入到多个分类器中进行训练,以构建L个多分类模型系统。
[0129] 在其他一些实施例中,上述的确定单元305,具体用于从L个分类系统中确定出分类性能达到预设条件的至少一个第一分类系统;以及,从至少一个第一分类系统中确定出分类性能最好的第二分类系统作为目标分类系统。
[0130] 如图4所示,本发明实施例公开一种电子设备,包括存储有可执行程序代码的存储器401以及与存储器401耦合的处理器402;
[0131] 其中,处理器402调用存储器401中存储的可执行程序代码,执行上述各实施例中描述的瘤细胞图像的分类方法。
[0132] 本发明实施例还公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行上述各实施例中描述的瘤细胞图像的分类方法。
[0133] 以上实施例的目的,是对本发明的技术方案进行示例性的再现与推导,并以此完整的描述本发明的技术方案、目的及效果,其目的是使公众对本发明的公开内容的理解更加透彻、全面,并不以此限定本发明的保护范围。
[0134] 以上实施例也并非是基于本发明的穷尽性列举,在此之外,还可以存在多个未列出的其他实施方式。在不违反本发明构思的基础上所作的任何替换与改进,均属本发明的保护范围。

附图说明

[0027] 此处的附图,示出了本发明所述技术方案的具体实例,并与具体实施方式构成说明书的一部分,用于解释本发明的技术方案、原理及效果。
[0028] 除非特别说明或另有定义,不同附图中,相同的附图标记代表相同或相似的技术特征,对于相同或相似的技术特征,也可能会采用不同的附图标记进行表示。
[0029] 图1是本发明实施例公开的一种瘤细胞图像的分类方法的流程图;
[0030] 图2是本发明实施例公开的一种多分类模型系统的训练和测试流程图;
[0031] 图3是本发明实施例公开的一种瘤细胞图像的分类装置的结构示意图。
[0032] 图4是本发明实施例公开的一种电子设备的结构示意图。
[0033] 附图标记说明:
[0034] 301、组合单元;302、获取单元;303、第一融合单元;304、训练单元;305、确定单元;306、第二融合单元;307、分类单元;401、存储器;402、处理器。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号