拍CT不再需要等医生诊断！AI自动出结果，放射科

放射科无人化的一小步！国外研究者通过机器学习技术，自动生成对胸部CT的解释。在不久的将来，你在医院拍CT时，或许不再需要一定时间的等待，才能拿到医生给的诊断结果，通过机器学习立即就能得到结果！

图片来源：维基百科，该图像包括滚动CT照片及胸前图

这篇文章介绍了使用机器学习自动解释胸部CT扫描的任务，这对我来说是一个有趣的话题，因为它是我博士论文研究的重点。这篇文章的主要参考资料是我最近的预印本《基于机器学习的大型胸部CT定量的多次异常预测》。

CT扫描是大体积的图像，大约为512 x 512 x 1000灰度像素，描绘了心脏，肺部和胸部的其他解剖结构。它们可用于诊断和管理各种医疗状况，包括癌症，感染和骨折。这篇文章讨论了如何获取CT扫描，如何解释CT扫描，为何对CT的自动解释具有挑战性，如何使用机器学习来自动解释CT扫描。

什么是胸部CT扫描？

胸部CT描绘了胸部，包括左肺，右肺，气道，心脏和大血管：

图片来源：维基百科

因为胸部CT扫描是体积图像，所以可以通过滚动三个不同的平面来查看它们：冠状平面，轴向平面和矢状平面。

解剖平面

这是轴向平面CT扫描的示例：

这是轴向平面CT扫描的另一个示例：

如何获得CT扫描？

下图显示了CT扫描仪：

图片来源：维基百科

患者躺在桌子上，并穿过CT扫描仪的“圈孔”。这是CT扫描仪的内部外观：

图片来源：维基百科

CT扫描基于X射线。但是，CT与“投影X射线”不同，因为CT是3D且投影X射线是2D（此处概述了自动投影X射线解释）。

CT扫描仪的X射线源将X射线束（上方红色显示）穿过患者的身体并到达检测器。当患者通过中心孔时，整个放射源/检测器设备都会围绕患者旋转，以便可以在3D空间中的许多点进行患者身体的射线密度测量。

最终的CT扫描使用Hounsfield单位对患者体内数百万个点的射线密度进行编码，其中空气显示为黑色，而骨骼显示为白色。中密度的组织显示为灰色。

放射科医生如何解释CT扫描？

CT扫描是一种流行的成像形式，对于许多疾病的诊断和管理非常有用。放射科医生是解释医学图像并撰写描述性报告的医生，供其他医生在患者护理中使用。

放射科医生执行两项主要任务来解释CT扫描。首先，放射科医生必须确定存在哪些异常类型，例如肺炎（肺部感染），肺不张（肺组织塌陷），心脏肿大（心脏扩大），结节，肿块，胸腔积液（肺部空间积液）等。接下来，放射科医生必须在其描述中指定异常所在的位置。位置通常在医学上很重要-例如，不同种类的肺癌往往位于不同的位置。下表总结了放射科医生的任务：

CT报告示例

这是美国国家诊断影像公司的胸部CT报告示例，其中的文本是从可在此处查看的可公开获得的示例报告中复制的：

考试：CTA胸WW / O对比

临床历史：SOB，呼吸困难，R / O PE，ILD，可能的职业性肺病

适应证：49岁患者呼吸急促。可能的PE。可能的职业性肺病。

程序：获得连续的轴向切片，无和有静脉造影剂。穿过肺动脉进行小块切片。

肺干未显示血栓或栓塞的迹象。没有证据表明鞍状栓子。左右主肺动脉似乎不明显。双侧的一阶和二阶肺分支未显示出栓塞的迹象。腋窝区域无腺病。纵隔和肺门区域无肿块或腺病。所包括的上腹部显示出脾钙化，可能表明有远端肉芽肿病。右侧有一些局灶性肾皮质增厚，可能在此之前有疤痕。没有证据表明肺实质间质性肺疾病。在图像2系列4的左下肺中，有一个3毫米的结节。如果有进一步的担忧，可以在12个月内进行监视CT。左侧的同一系列图像49上也有一个小的类似结节。没有浸润或积液。没有发现急性骨异常。

印象：无肺栓塞病的证据。如果有足够的顾虑，可以在12个月后行CT检查左侧的一些小肺结节。无间质性肺疾病的证据。

为什么自动CT解释是一项有趣且具有挑战性的任务？

放射科医生为每次CT扫描制作这些详细报告非常耗时。如果患者接受了多个CT扫描（例如，三个月后的初次扫描和后续扫描），则更加耗时，因为在这种情况下，放射科医生必须将两个扫描并排比较了解患者的健康状况如何变化。人们对开发机器学习方法以自动解释CT扫描，加速放射学工作流程并降低放射科医生的3–5％实时诊断错误率非常感兴趣。

由于以下几个原因，对CT扫描的自动解释具有挑战性：

挑战1：患者的解剖结构会根据性别，年龄，体重和正常的解剖结构自然变化。因此，“变化”不一定表示“异常”。

挑战2：可能有数百种异常情况。下图仅显示了一些示例，包括嗜酸性粒细胞性肺炎，空洞病变（“孔”），囊肿，肺气肿（例如由于吸烟而使海绵变海绵状），气胸（肺与肺囊之间的气袋）和纤维化（类似于疤痕形成）：

从这些原始图像修改而成：嗜酸性肺炎WikiDoc，腔/囊肿/肺气肿放射学助手。

挑战3：一次扫描通常会出现多种不同的异常情况。平均CT扫描包含10 +/- 6个不同的异常。下面显示了一些具有多个异常的CT扫描切片的一些示例：

从这些原始图像修改：心包积液放射性足病。肺炎，脓肿Christaras一个 心力衰竭放射性足病

挑战4：此外，一次扫描通常会出现多个相同异常的实例。在下面，我们可以看到在气肿性肺中有多个大疱（大气袋）的扫描，另一个充满结节的扫描，以及多个肿块的扫描：

挑战5：不同的异常看起来彼此相似。在这些情况下，放射科医生将依靠他们的广泛培训和患者的医疗情况来确定异常的性质。以下扫描显示在此扫描中看起来相似的肿瘤（“ TUM”）和肺不张（“ ATL”，肺组织塌陷）：

肺不张/肿瘤

挑战6：相同的异常可能在外观上有所不同。例如，根据严重程度的不同，相同的异常看起来会有所不同，例如，肺炎扫描在下面，其中左侧的扫描显示整个肺被肺炎“白化”，而右侧的扫描仅包含一小部分肺“因肺炎而变白：

肺炎示例

同一异常也可能根据其形状和纹理看起来不同。下面的蒙太奇图像显示了所有取​​决于其形状（例如，分叶，尖刺，圆形）和质地（例如，毛玻璃，实心）的肺结节：

肺结节

下图总结了自动CT解释中的挑战：

如何使用机器学习进行自动CT解释

为了了解如何使用机器学习进行自动CT解释，重要的是首先考虑可以使用哪些数据来训练模型。

医疗保健系统保存CT量和相应的CT报告：

某些患者只有一个CT量并进行报告，例如上图中的000000。其他患者将具有多个CT量和报告。这些多个CT量可能是在不同时间拍摄的或可能在身体的不同部位（尽管此帖子着重于胸部CT，但也可能获得头部，腹部，骨盆和其他区域的CT） ）。

我们还需要考虑医疗保健系统中不提供哪些数据：

具体来说，如上图所示，在基线时，我们无权访问：

分割蒙版：这是训练分割模型所需的逐像素标签（“关注异常周围的轮廓”）。医学图像的分割模型在这里进行回顾。边界框：这些框围绕感兴趣的异常绘制，这些异常是训练对象检测模型所需的。从技术上讲，放射科医生有时会直接在图像上绘制线条或其他注释，通过广泛的工作，放射线医生或其他注释可以变成适合训练机器学习模型的包围盒注释（例如DeepLesion）。但是，放射线医师从不会在单次扫描中注释所有异常，并且放射线医师更有可能仅注释一次扫描中一种类型异常的一个代表性实例（例如，多个结节中的一个结节）。因此，永远无法使用所有异常的全面边界框注释。整卷标签：这些标签分配给训练整卷分类器所需的整个卷。有人可能会认为医院会在CT扫描中存储“标签”，以指示例如是否存在肿块（质量= 0对质量= 1）。但是，医院不存储此信息。唯一可用的信息是自由文本报告。在以后的文章中，我将描述如何从自由文本报告中获取结构化的整卷标签。可能性：从CT生成文本

鉴于我们所拥有的只是与报告配对的卷，一种直观的方法是尝试直接从该卷生成文本。在此设置中，我们将首先将CT体积处理为低维表示形式（例如，使用CNN），然后从该低维表示形式（例如，使用LSTM）生成文本：

目前，我还没有任何关于从卷自动生成CT报告的研究。关于自动生成胸部X光报告的研究很多，这是一个更可行的任务，因为胸部X光报告的尺寸要小得多（约小1,000倍），胸部X光报告的长度要短得多（〜短6倍）。但是，即使在这项更直接的任务上，模型也难以产生准确的报告。我怀疑这部分是因为放射学报告包含许多“正常”句子，因此对于包含大部分正常句子的生成报告，即使该报告弄乱了异常情况，该模型也有可能获得“良好分数”-这恰好是医生最关心的部分！

尽管从CT生成文本可能是一个有趣的学术活动，但是从CT生成文本的主要实际缺点是：

文本生成模型必须完美才能在商业上使用。如果每10个便笺中甚至有一个错误，则没有人会使用该系统，因为医疗错误的潜在成本太高，并且“检查每个报告的正确性”所需的时间比花费该错误所需的时间更长。只是从头决定报告。文本生成模型并没有固有地提供每个异常的性能指标，这是放射科医生需要信任的系统才能看到的。有些异常比其他异常难检测，放射线医生会想知道模型在检测每种异常方面的表现如何。

一种更实用的方法是构建一个可以以结构化方式预测异常和位置的机器学习系统。然后，我们可以获取每个异常的性能指标，还可以突出显示扫描中可以观察到每个异常的位置。这样的系统可以用于自动分类（例如“将气胸的所有扫描移动到放射线医师队列的顶部”），并且可以与放射线医师的读数结合使用，以尝试提高诊断准确性。此外，擅长预测异常和位置的系统也可以用于生成文本（如果这是期望的目标）。仅给出异常及其位置的列表，使用放射线法是高度结构化的，因此使用规则生成基本的自由文本报告很简单。

单次异常CT分类

由于上一节中列出的原因，CT图像中的异常分类引起了很多兴趣。

在单一异常CT分类中，模型（通常是CNN）处理CT量并根据是否存在特定的关注异常（即二进制分类）来产生0或1：

先前所有的胸部CT分类研究工作都集中于一次预测一种或一种异常的模型。先前的工作依靠的是手工制作的小型数据集，这些数据集已经由专家辛苦地标记了补丁级别或切片级别的疾病注释。

这是一张表格，我汇总了通过胸部CT扫描预测间质性肺疾病的一些先前工作。对于间质性肺病的子类别，此处显示的模型通常为每个切片或斑块分配一个单一类别的标签：

这是我汇总的另一个表格，用于预测CT扫描中其他种类的异常（包括肺癌，颅内出血和气胸）的其他先前工作：

对补丁或切片级别的注释进行训练的优势之一是，生成的模型将固有地提供补丁或切片级别的定位。

培训补丁程序级别或片级别注释的一个缺点是，这些注释在健康系统中不可用，必须手动获取，这是：

限制可以包含在数据集中的CT数量（除了Ardila等人和Kuo等人的研究以外，所有这些论文使用的CT扫描少于1200次）；限制了可以考虑的异常数量（显示的所有研究均考虑了<8个异常）。多次异常CT分类

尽管单异常分类模型可以实现高性能，但是它们固有的功能有限。全面的CT解释需要数百个单独的二进制分类器。CT解释的另一种框架是多标签分类，其中从一个CT扫描同时预测许多异常。有关多类分类与多标签分类的综述，请参阅此文章。

多标签异常分类过程如下：

每个CT卷都分配给一个，多个或不分配任何类。

在我最近的工作之前，尚未探讨多标签胸部CT分类的问题。然而，由于具有多个全图像标签的大型胸部X射线公共数据集的可用性，对多标签2D胸部X射线分类已进行了深入研究：

受到以前有关胸部X射线多标签分类的研究的启发，我最近从事了胸部CT的多标签分类的工作。我从事多标签胸部CT分类的工作包括三个部分：

从19,993名独特患者中准备了36,316箱胸部CT数据集。据我所知，这是世界上最大的带有多重注释的体医学成像数据集。基于规则的方法的开发，该方法可从自由文本放射学报告中自动提取结构化异常标签，平均F评分为0.976。需要这些结构化的异常标签来训练分类器。训练和评估多器官，多疾病卷积神经网络分类器，该分类器分析整个CT量以同时预测83个异常。对于18个异常，该模型的AUROC均大于0.90，对于所有83个异常，其平均AUROC为0.773。

在以后的文章中，我将更详细地探讨每个方向：如何准备大量的CT和卷数据集，如何从报告中提取结构化标签以及如何构建整卷CT分类器。

CT数据上的其他有趣任务

CT数据还有一些有趣的任务：

对象检测，其中模型预测感兴趣异常周围的边界框的坐标。在这里，需要围绕感兴趣的异常进行边界框训练和评估。可在DeepLesion论文中找到此任务的CT扫描示例。分割，模型在其中预测逐个像素的标签（有效地，“跟踪异常轮廓”）。配准，其中模型将两个不同的扫描“对齐”，以使解剖结构大致位于同一位置。摘要胸部CT是由约512 x 512 x 1000灰度像素组成的体医学图像，这些图像是使用X射线源和围绕患者身体旋转的检测器获取的。放射科医生通过识别扫描中所有异常的性质和位置来解释胸部CT。放射科医生写了一份报告，总结了他们的发现。医院存储CT卷和自由文本报告，但不存储分段蒙版，边界框或结构化的整卷标签。自动解释CT扫描的先前工作集中于一次识别一类异常，例如间质性肺病或颅内出血。最近，我整理了36,316个胸部CT量的数据集，并建立了一个多标签分类模型来预测每个量的83个异常。CT卷上的其他任务包括对象检测，分割和配准。

原文链接：https://glassboxmedicine.com/2020/03/05/automatic-interpretation-of-chest-ct-scans-with-machine-learning/

本文由未艾信息（www.weainfo.net）编译，

查看更多最新资讯，欢迎大家点击阅读原文登录我们的AI社区。

关注我们的公众号：为AI呐喊（weainahan）