对基于深度学习的医学图像分割的一些理解

创建日期: 2020-03-03 16:35:29

定了图像语义分割这个方向大概有半年多了，具体研究课题方向是基于深度学习的医学图像分割。这里作一个简要的阶段性小结。

一、医学图像的突出特征

总体上来说，医学图像相比于自然图像（通过可见光成像）有以下四点区别：

1、医学图像的模态（格式）更加多样化，如X-ray、CT、MRI以及超声等等，当然也包括一些常见的RGB图像（如眼底视网膜图像）。不同模态图像反应的信息侧重点是不一样的。比如X-ray观察骨骼更清晰，CT可以反应组织和器官出血，MRI适合观察软组织。而且不同型号的成像设备得到的成像结果有一定差异。

2、医学图像的像素值范围与自然图像（0~255）有很大差别，如CT一般会上千。

3、噪声。由于成像设备、成像原理以及个体自身差异的影响，医学图像一般会含有很多噪声。由于噪声对于位置和空间约束是独立的，从而可以利用噪声的分布来实现降噪，但是在抑制噪声的同时也需要考虑图像细节的保留问题。

4、伪影。伪影一般是在图像配准或三维重建时产生（如CT），从原理上来，只能减少，无法消除。

举个栗子，下图为一肺部CT图像切片可视化结果，已经过预处理转化为灰度图像，组织与器官之间的分界线比较模糊。图二为不同个体的脑MRI图像，可见差异巨大，这给脑组织提取带来了很大的困难。

图一 肺部CT图像

图二 不同个体的脑MRI成像结果

二 分割目标

对于医学图像数据，首先要明确分割要达到什么目的，是对病灶的提取还是器官的提取还是器官的分割，不同的器官的分割也有不同的具体目标，如脑组织分割、脑肿瘤分割、肺结节分割等等。不同的任务目前没法用统一的模型来完成的，融合到一起反而限制了使用先验知识，进而会损失分割精度。

肺部CT图像分割结果

上图为肺部CT图像分割结果，目的是提取整个肺器官，左侧为DL网络分割结果，右侧为人工分割结果，可以发现，基于深度学习的医学图像分割效果已经非常接近人工分割结果了。

心脏器官分割

心脏器官分割也是类似肺叶分割，需要将心脏分为这六个部分：

? 左心室血腔（the left ventricle blood cavity, LV）

? 左心室心肌（the myocardium of the left ventricle, Myo）

? 右心室血腔（the right ventricle blood cavity, RV）

? 左心房血腔（the left atrium blood cavity, LA）

? 右心房血腔（te right atrium blood cavity, RA）

? 升主动脉（the ascending aorta, AA）

? 肺动脉（the pulmonary artery, PA）

对于不同的任务需求，还可以引入特殊的先验知识来提高精度。

三、关于模型的理解

以上这些区别只是个人粗浅的理解，因为我也不是学医的。可以发现，这些区别并不会对基于深度学习的医学图像分割产生太大的影响。换句话说，对于自然图像分割很优秀的网络模型，完全可以直接迁移到医学图像上来（反之亦然），效果如何只能训完看看了（如非常著名的FCN、SegNet、U-Net等，特别是U-Net最初就是在MICCAI上发表的）。当然，如果要高效的设计训练模型，还是要结合数据特点（如待分割对象的尺寸范围、2D还是3D等等）进行网络设计。说句题外话，AutoDL技术在2019年效果突出（Neural Architecture Search: A Survey），估计以后网络模型设计难以恰饭。

肺叶分割示意图

个人认为，基于深度学习来做医学图像处理，主要的工作集中在了数据预处理部分：深入理解医学图像的格式和特点；设计合适的图像预处理操作增强目标特征；将原始格式的数据处理为适合深度学习模型输入的格式。这三点也是从自然图像处理转到医学图像处理过程中最困难的三点，后续我再分别补充相关内容。