Vison's Blog
所有文章
文章总览
编辑器
Publications
About Me
Search
目录
#toc-container
下载Markdown文件
论文笔记：Deep learning in cancer pathology: a new generation of clinical biomarkers
2024年04月03日 18时52分
标签：
论文笔记
[论文标题]: Deep learning in cancer pathology: a new generation of clinical biomarkers [论文摘要]: 肿瘤学的临床工作流程依赖于预测和预后的分子生物标志物。然而，这些复杂的生物标志物数量的增加，往往会增加日常肿瘤学实践中决策的成本和时间；此外，生物标志物通常在常规诊断材料的基础上还需要肿瘤组织。然而，常规可用的肿瘤组织包含了大量的临床相关信息，目前尚未得到充分利用。深度学习(DL）作为一种人工智能(AI)技术，其进展使直接从癌症的常规组织学图像中提取先前隐藏的信息成为可能，提供潜在的临床有用信息。本文中，我们概述了DL如何直接从组织学图像中提取生物标志物的新兴概念，并总结了癌症组织学的基础和高级图像分析的研究。基本的图像分析任务包括组织学图像中肿瘤组织的检测、分级和分型；它们的目的是自动化病理工作流程，因此不会立即转化为临床决策。除了这些基本方法之外，DL还被用于高级图像分析任务，这有可能直接影响临床决策过程。这些先进的方法包括分子特征的推断、生存率的预测和治疗反应的端到端预测。这种DL系统的预测可以简化和丰富临床决策，但需要在临床环境中进行严格的外部验证。 审阅人: 方子介 代码链接: 无 数据集: 无 简要评价: 1. 概述了使用深度学习从H&E染色图像中提取生物标志物的新兴概念； 2. 总结了利用深度学习处理H&E染色WSI图像的步骤； 3. 总结了利用深度学习进行H&E图像分析的任务。 本文认为这些任务可以分为基本方法和高级图像任务两部分。 其中基本任务包括**肿瘤检测**、**分级**和**分型**； 高级图像任务包括从组织学中**预测突变**、**生存性分析**和**治疗反应预测**。 4. 提出了基于深度学习的病理图像分析未来挑战。 疑惑的点: 讨论: 核心总览 背景介绍 随着可用生物标志物数量的增加，肿瘤学工作流程中能够使用这些分子生物标志物进行预后分析和疗效预测，并允许根据患者发生疾病进展或死亡的风险对患者进行分类，从而调节个别患者的治疗强度。但是，分子生物标志物的数量的迅速增加和临床重要性的逐步提高，使得癌症治疗需要根据特定肿瘤的基因组成进行具体地定制，增加了常规工作流程中的成本、周转时间和组织需求。 实体肿瘤新治疗药物的临床试验设计越来越多地与预测生物标志物相结合。然而，由于这些基因型在现实世界的人群中的流行率在1%到10%之间，筛查这些试验的潜在参与者成本昂贵，并受到阻碍，导致分子分析方法的可用性有限。 深度学习的发展深度有助于直接从常规可用数据中提取其他隐藏的信息。组织学是一种普遍存在的、可以从常规临床实践中获得的图像来源，其具有显著的信息密度。例如，在组织学切片的像素方面，这些图像携带了更多的信息：在组织学WSI中可以看到数百万个不同的细胞，它们的形态和空间排列比其他医学图像携带更多的信息。这种高信息密度使组织学图像成为基于深度学习的生物标志物提取的一个有吸引力的来源。 内容  # 基于深度学习的组织学图像分析 ## 图像处理步骤 * 扫描的WSI图像的数据大小给基于深度学习的图像分析突出了实际的挑战 - WSI的巨大的文件大小使得他们不能被完全加载到GPU上 - 病理图像经常包括许多非癌症组织，因此稀释了整体的信息量 ### 一个通用的图像处理pipeline - 1. 预处理图像切片 - 弱监督学习 - 肿瘤ROI区域分割 - 2. 预处理图像切片 - 切片大小和放大倍率可能有所不同 - 旋转 - 翻转 - 颜色增强 - 3. 训练、测试 - 训练集、测试集切分 - 交叉验证 - 外部测试 - 4. 外部验证 - 外部病人队列数据集 ## 深度学习在病理图像处理中的基本应用 * 基本的DL引用旨在简化目前完全由人类病理学家执行的常规工作流 ### 三大应用 - 肿瘤检测 - 前列腺活检样本中浸润性肿瘤组织的存在 - 分级 - 前列腺癌的格里森分级 - 分型 - 非小细胞肺癌的腺癌或鳞状细胞癌区分 ### 局限性 - 临床医生对用于肿瘤检测、分级和分型的深度学习系统的兴趣有限，因为这种系统不会改变肿瘤学的现有临床实践 - 虽然这种系统可能会降低诊断成本和周转时间，但是只有在极少数情况下，这种深度学习系统才能超过人类专家的敏感性和特异性。 - 从临床医生来看，这一类深度学习系统不会立即改变对癌症患者的临床工作流程和治疗建议 ### 挑战 - 在数字病理学中开发基本深度学习系统中最具有挑战性的部分是临床验证 - 在外部数据集中对深度学习系统的验证，理想情况下是多中心的数据集验证，对于最终系统的常规使用和监管批准是至关重要的 ## 深度学习在病理图像处理中的先进应用 ### 理论和实践基础 - 组织学图像包含大量信息，许多研究证明，可以使用深度学习直接从H&E图像中推断出高水平的标签，而这些标签不能被人类专家在观察组织学图像时可靠地推断出来。 - 三个主要的临床相关标签 - 基因改变的推断 - 生存率的预测 - 治疗反应的预测 - 目前尚未有研究系统地利用组织学图像指导肿瘤学的治疗决策 ### 重要性 - 与基本的图像分析技术不同，这些深度学习在组织学图像分析中的先进应用有可能直接改变实体肿瘤管理中的临床决策 ### 三大应用 - 从组织学中预测突变 - 理论基础 - 致癌驱动突变将正常细胞转化为恶性的癌细胞，这种遗传驱动突变会改变癌细胞的形态，并从根本上改变细胞的行为 - 组织学图像中的核和细胞质纹理、大小、形状 - 恶性细胞也可以诱导临近的非恶性细胞，导致肿瘤组织在微米或毫米级的二级形态变化 - 成纤维细胞 - 淋巴细胞 - 研究表明仅仅在H&E图像中观察这些形态学模式，就可以直接从常规的组织学图像中预测单个基因的基因型 - 现有研究 - 特定的基因突变可以仅通过组织学进行预测 - 表皮生长因子受体（EGFR） - 丝氨酸/酸酸激酶11（STK1） - 肿瘤蛋白p53（TP53） - Coudray, N., Ocampo, P. S., Sakellaropoulos, T., Narula, N., Snuderl, M., Fenyö, D. et al. Classification and mutation prediction from non–small cell lung cancer histopathology images using deep learning. Nat. Med. 24, 1559–1567 (2018). - 癌基因散斑型BTB/POZ蛋白(SPOP)的基因型可以从前列腺癌的h&e染色图像中预测，尽管分类性能较低 - Schaumberg, A. J., Rubin, M. A., Fuchs, T. J. H&E-stained whole slide image deep learning predicts SPOP mutation state in prostate cancer. Preprint at https:// www.biorxiv.org/content/10.1101/064279v9 (2018). - 在黑色素瘤中， NRAS原癌基因 (NRAS)和B-Raf原癌基因(BRAF)的突变状态可以直接从H&E图像 中预测。 - Kim, R. H., Nomikou, S., Dawood, Z., Jour, G., Donnelly, D., Moran, U. et al. A deep learning approach for rapid mutational screening in melanoma. Preprint at https://www.biorxiv.org/content/10.1101/610311v1 (2019). - MSI 在肿瘤及其微环境中引起强烈的形态学变化，仅从胃癌、结肠直肠癌和子宫内膜癌和子宫内膜癌的组织学中可靠地检测到。 - Kather, J. N., Pearson, A. T., Halama, N., Jäger, D., Krause, J., Loosen, S. H. et al. Deep learning can predict microsatellite instability directly from histology in gastrointestinal cancer. Nat. Med. 25, 1054–1056 (2019). - 过去1-2年发表的研究采用了一种“泛癌症泛突变”的方 法，试图直接从H&E组织学中预测任何类型的实体肿瘤的任何基因改变。 - Schmauch, B., Romagnoni, A., Pronier, E., Saillard, C., Maillé, P., Calderaro, J. et al. A deep learning model to predict RNA-Seq expression of tumours from whole slide images. Nat. Commun. 11, https://doi.org/10.1038/s41467-020-17678-4 (2020). - Kather, J. N., Heij, L. R., Grabsch, H. I., Loeffler, C., Echle, A., Muti, H. S. et al. Pancancer image-based detection of clinically actionable genetic alterations. Nat. Cancer https://doi.org/10.1038/s43018-020-0087-6 (2020). - Fu, Y., Jung, A. W., Torne, R. V., Gonzalez, S.,Vohringer, H., Jimenez-Linan, M. et al. Pan-cancer computational histopathology reveals mutations, tumor composition and prognosis. Preprint at https://www.biorxiv.org/content/10.1101/813543v1 (2019). - 局限性 - 然而，这些研究主要基于一个特定的数据集，由国家癌症研究所(NCI)提供的“癌症基因组图谱(TCGA)”，因此需要在TCGA之外的基因组特征队列中进行大规模验证，以衡量这些方法在泛癌应用中的稳健性。 - 机遇 - 目前临床常规中检测肿瘤组织的任何基因变化都需要IHC、原位杂交、PCR或者下一代测序等湿实验室分析，这些实验室分析和组织学样本的常规评估同时进行，如肿瘤分型和分级 - 尽管这些湿实验室检测在敏感性和特异性方面有所不同，但是有一组共同的缺点：它们往往昂贵和耗时，并且并不是在每个癌症治疗中都是可用的 - 基于深度学习的常规组织学切片评估不会产生任何显著的成本或时间，甚至可以部署在移动硬件上。 - 挑战 - 在迄今为止进行的所有基于深度学习研究中，性能(由AUROC测量)根据训练队列的样本量和特定遗传靶点的表型强度而有所不同，但始终低于金标准的湿实验室测试 - 患者生存性分析 - 理论基础 - 在肿瘤学治疗决策树的几乎任何分支中，都必须考虑到复发死亡的风险 - 生存率是根据临床参数来估计的，如年龄、性别、癌症分期、已有的疾病、基因改变和组织学危险因素。这些组织学危险因素是丰富的，包括肿瘤细胞分化、基质丰度、淋巴细胞分数、淋巴管浸润、血管侵袭、神经周围浸润和坏死。更高水平的特征还携带预后信息 - DL可以潜在地直接从图像数据中整合所有这些 可见特征和亚视觉特征来预测生存率 - 现有研究 - Bychkov等人表明单独使用 H&E 染色的组织微阵列可以预测 CRC 患者的 5 年疾病特异性生存率。 - Bychkov, D., Linder, N., Turkki, R., Nordling, S., Kovanen, P. E., Verrill, C. et al. Deep learning based tissue analysis predicts outcome in colorectal cancer. Sci. Rep. 8, 3395 (2018). - 机遇 - 目前的研究表明可以直接从组织学预测临床终点的深度学习网络 - 这一过程甚至可以通过突出特定的结构和区域来揭示新的形态学生物标志物 - 有关这种新的形态学的反向工程，甚至可能有助于识别新疗法的靶点 - 挑战 - 目前只有少数出版物讨论了机遇深度学习的常规组织学生存预测的临床意义 - 尽管大型前瞻性实验评估了其他预后生物标志物的临床重点，但仍没有研究将深度学习生存预测纳入临床工作流 - 治疗反应预测 - 理论基础 - 首先，DL可以识别特征、突变、 激素感受器状态或类似的分子改变，这些改变已知是治疗方法 的靶点或治疗反应的代理。 由于DL能够节约时间和成本，这种方法可以帮助更快、更准确地将患者分配到最佳的治疗方案。 - DL可以直接从WSI上预测治疗反应， 而不需要经过训练来检测特定的预定义的分子生物标志物。 - 现有研究 - Madabhushi等人直接从H&E染色图像中预测了非小细胞肺癌患者对免疫治疗的反应 - Madabhushi, A., Wang, X., Barrera, C. & Velcheti, V. Predicting response to immunotherapy using computer extracted features of cancer nuclei from hematoxylin and eosin (H&E) stained images of non-small cell lung cancer (NSCLC). US patent. http://www.freepatentsonline.com/y2019/0259154.html (2019). - 机遇 - 针对不同类型癌症的靶向治疗的可用选择的数量正在不断增加。然而，大多数这些治疗方法仅对一部分患者有效，但仍可能对无反应者造成相当大的副作用。 - DL可能是检测肿瘤组织结构和转化的关键，可以作为靶向治疗阳性反应的预测标志物，因此有助于识别应答者，同时尽量减少对无应答者的负面影响。 - 挑战 - 这种“端到端”工作流程需要DL网络在已知特定类型治疗反应的大型患者队列上进行训练。这样的图像数据不容易获得，因此很少有研究对此进行调查， ## 临床工作流程中，深度学习预测生物标志物的作用 * 目前，几乎所有主要晚期癌症的临床工作流程都依赖于分子检测，根据肿瘤组织的分子组成量身定制治疗；然而，实际操作的局限性不能满足普遍检测的需求。 * DL生物标记物可以在基因检测前对患者进行预筛选，或者最终可以取代目前的最终测试方法 * 通过使用突变预测DL系统，可以廉价地从大型患者队列中筛选具有特定的基因特征的患者 - 招募足够数量的罕见分子改变的患者进行临床试验越来越具有挑战性，因此基于dl的组织学H&E图像分析可以通过大规模加快和简化这一过程来促进临床试验的招募。 * DL系统可以通过训练，直接从H&E组织病理学图像中预测治疗反应，从而本质上构成了一类新的伴随诊断技术。 - 端到端DL系统旨在直接从图像中预测患者对治疗的反应。对癌症治疗的反应通常通过“实体肿瘤反应评估标准”(RECIST)来评估，可以将这些标准作为标签直接训练DL网络 - 端到端的DL预后预测系统基于组织学图像预测个体患者的生存，而不关注特定类型的治疗。这种端到端系统在理论上可以优于分子预后或预测生物标志物，因为它们有可能直接从组织学图像中预测结果，而不专注于预定义的预测参数。 ## 走向临床批准的阻碍 * DL组织学在临床实践中的广泛实施需要WSI扫描仪的广泛可用性和文件格式的标准化，而这远远不是目前诊断病理学的常规实践。 * DL系统的性能必须进一步改进，才能成为临床可用的工具；当使用DL系统进行预筛查时，假阳性预测可以通过随后的分子检测来减轻，但在临床环境中不能容忍假阴性预测。 总结 大多数DL分类器仍然需要提高性能，以实现在作为最终测试工具的临床工作流中应用所需的可靠性。这种改进可以由三个关键驱动因素带来：具有临床注释的更大数据集的可用性；硬件的提升；算法方面的改进。这类新型的DL生物标志物有可能在未来几年改变肿瘤学的临床工作流程，但需要大规模的多中心试验对其进行验证。 备注
所有评论
暂无评论
新增评论
评论
邮箱
邮箱仅作验证使用
图形验证码
邮箱验证码
发送验证码
发表评论
所有评论
暂无评论