-
0 引言
-
细胞是生命的基本单元，病理图像中细胞的形态学异常通常与疾病相关联.例如，部分人类乳头瘤病毒（Human Papilloma Virus，HPV）感染患者的病理切片中存在着挖空细胞的现象.阅片时，病理医生会根据经验找到感兴趣区域，观察区域里的细胞形态特点，从而对疾病进行诊断.传统病理诊断中的阅片是在光学显微镜下进行的，凭借医学知识与临床经验，在视觉上以定性的方式识别特征，分析切片.虽然病理医生都经过了大量且系统的专业训练，但不同的医生存在视觉感知差异，并且阅片者难以在短时间内获取全部的视觉信息，这种诊断固有的主观异质性，导致在阅片过程中可能将重要的信息遗漏，甚至发生误诊和漏诊.近年来，随着深度学习[1]、人工智能[2]、计算病理[3]等技术的快速发展，建立一种定量、客观、可重复的计算机辅助诊断系统成为可能.
-
病理图像计算，也被称作计算病理，是数字病理和人工智能技术的深度结合，通过对患者的数字病理图像进行定量分析，帮助医生更好地分析和理解疾病.计算病理可具体细分为3个层次：组织层次、细胞层次以及精准医学层次[4].细胞层次的任务主要包括细胞的检测、分割、分类等，是定量评估细胞含量、分布、形态、浸润程度等特征的基础.这是一项主观性极强的工作，且需要耗费大量的时间与精力，所以，细胞层次的图像计算是非常重要的.Rahaman等[5]和Li等[6]全面回顾了深度学习在病理学图像分割和分类方面的最新发展.此外，病理图像中的细胞核存在不同程度的黏连，处理好黏连问题与准确分割出细胞核是同等重要的.Xu等[7-8]在乳腺癌病理图像中运用基于堆叠稀疏自编码器的方法对细胞核进行检测，并将检测结果作为种子点，提出自适应椭圆拟合算法，结合活动轮廓模型，分割检测出细胞核的同时，处理黏连与重叠问题.但此方法过程复杂，无法大规模使用，且椭圆拟合算法效率也不够高效.Cui等[9]和Ronneberger等[10]在标记中将细胞核内部与边界视作不同的类别，采用这种直接的策略训练U-Net模型.这种处理方式理论上是可行的，但从分割结果上来说，细胞核的轮廓很不平滑.Huang等[11]的思路是，不对细胞核边界区域进行分割，而是将标记数据进行形态学腐蚀操作，再对模型预测的结果进行适当的膨胀操作得到最终的分割结果.以上方法都是通过对分割标记进行预处理，引导模型将细胞核内部和边界识别成两个类别，但实际的图像表型却没有这些人为规定的界线，网络在学习实际不存在的界线时，效果总是难以让人满意.Zeng等[12]提出的RIC-Unet（Residual-Inception-Channel attention-Unet）运用了多任务学习的策略，想法与DCAN[13]（Domain Conditioned Adaptation Network）类似，网络包含2个分支，分别用于分割细胞核内部区域与细胞核边界，最终的结果是由2个分支的预测结果相减并配合阈值过滤和膨胀处理得到.该方法思路可取，但大幅增加了网络的规模，且效果一般，与U-Net相比，分割指标的提升不明显.Google研究团队提出Transformer模型[14-15]，使用全Attention的机制代替了LSTM（Long Short-Term Memory），抛弃了之前传统的encoder-decoder模型必须结合CNN（Convolutional Neural Network）或者RNN（Recurrent Neural Network）的固有模式，在减少计算量和提高并行效率的同时取得了更好的结果.
-
距离图谱分支目的是通过对分割标记进行处理，引导网络重视细胞核内部，弱化细胞核边缘，从而将细胞核之间的黏连去除.但不是将细胞核内部和边界看作2个不同的类别，而是通过在细胞核分割分支的基础上加入距离图谱分支，即采用多任务学习的策略，除了完成分类任务，再额外构建一个回归任务，让2个分支同时训练，最后再配合标记符控制的分水岭后处理算法得到去除黏连的分割结果.
-
尺寸上，距离图谱与待分割图像相同.距离图谱的制作是根据实例标注数据来进行的.以一个细胞核代表的连通区域为例，距离图谱中对应点的数值为该连通域中每个像素点到与其最接近的背景像素点之间的距离.整幅图像的距离图谱则是对实例标注中所有的连通域进行计算得到的结果.但是病理图像中，细胞核的形态大小存在差异，可能导致距离图谱中连通域的数值存在较大的差异，而图像中每一个细胞核内部区域都希望受到等同的关注，因此，需要对距离图谱进行标准化.具体操作为：对同一个连通域而言，将连通域内的所有数值除以该连通域的最大数值，即可让所有数值都位于0~1之间.如图1所示，从左到右依次是原始病理图像、实例标记以及标准化后的距离图谱.与普通的二值分割标记相比较，细胞核内部与边缘的信息可以通过距离图谱中数值的大小来反映，越接近细胞核中心，数值越大，越接近细胞核边缘，数值越小.
-
受以上工作的启发，本文提出一种基于Transformer与距离图谱的泛癌细胞核图像分割模型（如图2所示），距离图谱分支得出细胞核实例分割结果，Transformer分支得出细胞核像素级别分类结果，两者相乘即可获得最终结果.本文的贡献如下：
-
图1 距离图谱示意
-
Fig.1 Diagram of distance map
-
1）Transformer中多头自注意力模块和卷积模块相结合，使得模型既具有卷积核获取图像局部上下文信息的能力，也拥有了Transformer捕获图像全局上下文信息的能力.
-
2）加入距离图谱分支，使网络模型能够更重视细胞的内部信息而忽略边缘信息，可以高精度识别黏连细胞核.
-
3）所提方法在不同的公开数据集上进行测试，结果显示本文方法具有较强的泛化能力.
-
1 本文方法
-
1.1 基于Transformer与距离图谱的泛癌细胞核图像分割模型
-
如图2所示，本文网络模型整体遵循U型结构，主要由编码器、中间层和解码器构成，2个解码器分支共用一个编码器.编码器部分，整体结构与Res-Net 50相似.先对图像进行7×7的卷积操作和2×2最大池化操作，然后送入数量分别为3、4、6、3的ResSA（Res multi-head Self-Attention）Unit.ResSA Unit是由残差改进而来的，用本文1.2节中的改进的多头自注意力模块替换原本残差模块中的3×3的卷积操作，通过键向量K之间丰富的上下文信息，来加强特征的表达能力.图像经过编码器，对局部信息和全局信息进行充分提取后，送入中间层.中间层由本文1.3节的空洞空间池化金字塔模块（Atrous Spatial Pyramid Pooling，ASPP）构成，空洞卷积的扩张率分别为1、2、3、4、8.中间层的加入，扩大了局部的感受野，能够对编码器的输出提取不同尺度的特征，再将这些不同尺度的特征融合到一起送入解码器.解码器部分包含有2个分支，2个分支完全对称，共用同一个编码器.2个解码器分支主要采用了本文1.4节的Attention-Gate模块与本文1.5节的密集连接模块.首先对特征进行上采样，然后将上采样后的结果送入注意力门模块，融合浅层特征与深层特征，加强网络对目标区域的关注，抑制无关区域的特征，接着再将经过注意力门模块融合后的特征送入密集单元.特征在经过密集单元时，可以将特征间的有效性最大化，有利于提高分割的准确率.将上述操作视作1组操作单元，经过4组类似的操作后，再进行1次3×3的卷积操作和1次1×1的卷积操作，最终经由Sigmoid激活函数生成最后的结果.
-
图2 TDM-Net模型结构
-
Fig.2 Structure diagram of the proposed TDM-Net
-
1.2 改进的多头自注意力模块
-
Transformer是自然语言处理任务中的经典模型，其核心为多头自注意力（Multi-head Self-Attention，MSA）机制.最近，越来越多的研究人员将Transformer拓展到计算机视觉任务中，并且取得了许多优秀的成果[16-18]，甚至超越了传统的CNN框架.在计算机视觉任务中应用Transformer的相关工作中，主要存在2种框架，一是利用纯Transformer结构去替换原有的卷积操作，如Vision Transformer等，二是将CNN与Transformer相结合的混合结构[19].混合结构同时利用了卷积与Transformer的特性，且其中的多头自注意力机制可以即插即用.传统的多头自注意力机制如图3a所示，其原理在于通过键向量（Key，K）、查询向量（Query，Q）、值向量（Value，V）三元组的计算获得具有全局上下文信息的多头自注意力矩阵.具体来说，该矩阵的计算可以分为如下4个步骤：
-
1）通过1×1的卷积将输入特征映射X映射到K、Q、V 3个不同的空间上，其中键向量K、查询向量Q、值向量V分别定义为K=XWk、Q=XWQ、V=XWv，通过K与Q相乘得到局部上下文信息矩阵R：
-
2）由于原始的自注意力对输入特征的位置信息不敏感，所以对查询向量Q加上了位置信息P，然后将结果与R相加得到具有位置关系的局部上下文信息矩阵：
-
3）对进行归一化，得到局部注意力矩阵A：
-
4）局部注意力矩阵A与值向量V相乘，得到输出特征Y：
-
最终输出的具有全局上下文信息的注意力矩阵是将输出特征进行融合得到的.
-
在传统的多头自注意力机制中，通过独立的键向量K与查询向量Q来得到注意力矩阵，对输入特征的依赖较高，并没有考虑相邻键向量K之间丰富的上下文信息，这在一定程度上限制了特征图的表达能力.为此，对传统的多头自注意力机制做出改进，使得相邻键向量之间的上下文信息得到利用，改进后的多头自注意力机制结构如图3b所示.
-
首先将输入特征映射到K、Q、V 3个不同的空间上，其中键向量K、查询向量Q、值向量V分别定义为K=X、Q=X、V=XWv.接着对K进行k×k的卷积操作，得到键向量K的局部上下文信息矩阵K1，然后将K1与Q进行拼接，并对该结果进行两次连续的卷积操作得到注意力矩阵A，如式（5）所示：
-
与传统多头自注意力机制中注意力矩阵的获取方式不同，这个注意力矩阵A是由查询向量Q和带有局部上下文信息的键向量K得到的，而不是通过独立的Q与K进行配对得到.通过额外的局部上下文信息，可以增强自注意力机制的特征表达能力.接下来，基于上述操作所得的注意力矩阵A，与值向量V相乘，得到全局上下文信息矩阵K2，如式（6）所示：
-
将局部上下文信息矩阵K1与全局上下文信息矩阵K2进行融合，得到最后的输出特征.
-
1.3 空洞空间池化金字塔模块（Atrous Spatial Pyramid Pooling，ASPP）
-
卷积神经网络通过多级的非线性变换，组合低层次的特征形成抽象表示，特征提取能力显著.但在图像分割的任务中，传统卷积通常搭配池化操作来增加感受野，同时也会使特征图的尺寸缩小，导致细节信息的丢失.空洞卷积[20]则对传统卷积进行了改进，可以在不改变特征图尺寸的情况下扩大感受野的范围，使得网络可以获取高维度的多尺度上下文信息.空洞卷积具体的计算形式如式（7）所示：
-
其中：x表示输入向量；y表示输出向量；i表示输出向量y中的位置；r表示扩张率，也称膨胀系数，对应于步长，传统卷积中r=1；k是卷积核中的参数；ω是空洞卷积核.图4显示了3种不同膨胀率的空洞卷积，从左到右扩张率分别为1、2、3.
-
此外，有研究发现，在不增加参数量的前提下，空洞卷积提取到的全局特征更多，尤其是在常见的编码器-解码器结构中[21].
-
ASPP模块的思想来自于空间金字塔池化，并基于空洞卷积实现[22].对于给定尺寸的特征图，ASPP模块使其经过不同扩张率的空洞卷积，并将多个卷积操作后的结果融合到一起，扩大通道数，得到多尺度的信息.已经有不少工作证明了ASPP模块在不同尺度采样下得到特征的有效性.同时，ASPP模块也较好地解决了空洞卷积存在网格效应问题.
-
1.4 Attention-Gate模块
-
Oktay等[23]在Attention U-Net中提出的Attention-Gate模块，是一种软注意力机制.U-Net中使用的跳跃连接，虽然能够利用编码器部分下采样获取到的上下文信息指导解码器部分上采样的空间信息重建，但直接将浅层特征拼接到深层特征上，会加剧对无效特征的计算.为此，他们在跳跃连接的基础上加入了注意力门模块.注意力门模块会使网络自动关注目标区域，从而抑制了无关区域的特征响应，减少了特征的数量.模块的整体结构如图5所示.
-
图3 多头自注意力机制结构
-
Fig.3 Structure diagrams of multi-head self-attention mechanism
-
图4 空洞卷积示意
-
Fig.4 Plots of dilated convolution
-
图5中，深层特征是解码器部分的输出，拥有更多更准确的信息，代表着网络学习的方向，浅层特征则是对应编码器部分的输出.将深层特征与浅层特征相加，通过训练将特征的数值映射在0到1之间，得到注意力矩阵.其中，目标区域的值应接近1，无关区域的值应接近0.将浅层特征与注意力矩阵相乘，使得浅层特征能够关注到目标区域，再将这一结果与深层特征进行跳跃连接，指导空间信息的重建.相关实验结果表明，加入注意力模块的网络分割准确率更高，且该模块的通用性较强，可以直接集成到网络模型中，也不会增加太多的计算成本.
-
1.5 密集连接模块
-
密集连接模块的思想来自于Dense-Net[24].密集连接模块使得网络里每一层的输入都来自这一层之前所有层的输出，如图6所示，这一过程可以描述为
-
其中：x0，x1，···，xl-1，xl分别表示第0，1，···，l-1，l层的输出；H（·）表示非线性转化函数.
-
由于网络每层的特征都与之前的特征相连接，实现了特征的重用，因此最终输出特征的数量也会更多.密集连接的另一个优点是能够减少参数量.相比于传统的结构，密集连接使得网络不再对多余的特征图进行学习，并且每层的深度都较浅，仅对网络整体添加少量的特征.此外，由于密集连接中的每层都可以直接利用损失函数的梯度与原始的输入特征，这有助于训练更深的网络，并且减轻了Res-Net[25]中梯度消失的问题.
-
图5 Attention-Gate模块结构[23]
-
Fig.5 Structure diagram of Attention-Gate[23]
-
图6 密集连接示意[24]
-
Fig.6 Diagram of dense connection[24]
-
1.6 损失函数
-
网络的第一个分支选用Dice损失函数作为损失函数（Loss，L）.Dice损失函数是基于Dice相似系数计算得到的，它能够自动平衡不同类别之间的权重，提高分割效果.Dice损失函数的计算方法如式（9）所示：
-
式中：L表示网络预测的损失函数；Ytrue表示真实的分割标记；Ypredict表示网络预测的结果；β设定为避免分母为0的常量，取值为1×10-5.
-
网络的第2个分支是回归任务，采用平均绝对误差（Mean Absolute Error，MAE）作为损失函数，如式（10）所示：
-
式中：m表示图像的大小，即总的像素数；yi表示真实距离图谱中第i个像素点的值；表示网络预测的距离图谱中第i个像素点的值.
-
网络训练时总的损失函数为Dice损失函数和MAE损失函数的和:
-
2 实验结果与分析
-
2.1 数据集
-
本文使用的数据融合了2个公开数据集：
-
1）MoNuSeg[26]，这是由国际医学图像计算和计算机辅助干预协会（Medical Image Computing and Computer-Assisted Intervention Society，MICCAI）在2018年发布的多器官细胞核分割竞赛数据集.数据集包含了来自乳腺、肾脏、肝脏、前列腺、膀胱、结直肠、胃等7种器官，共计44张尺寸大小均为1 000×1 000的病理图像.主办方将其中的30张作为训练集，剩下的14张用作测试，其中，训练集标注了约22 000个细胞核轮廓，测试集标注了约7 000个细胞核轮廓.
-
2）CoNSeP[27]，数据来自考文垂和沃里克郡大学医院（University Hospitals Coventry &Warwickshire，UHCW）.数据集来自结直肠的病理图像，共计41张，尺寸大小均为1 000×1 000，其中，27张作为测试集，剩下的14张用作测试.整个数据集标注了24 319个细胞核轮廓.
-
将这2个数据集组合起来，按照数据发布方的划分，训练集共57张图像，测试集共28张图像.训练集图像没有事先进行裁剪，而是在训练时对输入图像进行随机裁剪，裁剪大小为384×384.由于需要定量评估模型的性能，因此采用固定位置裁剪的方式制作测试集，测试集的图像的尺寸为512×512，共计112张图像.
-
2.2 实验设置
-
实验所使用的硬件设备和软件环境如下：处理器，Intel（R）Core（TM）i7-9700K CPU @ 3.60 GHz；内存（RAM），32 GB；独立显卡，GeForce RTX 2080 Ti；操作系统Ubuntu 20.04；开发工具：Python，PyTorch，MATLAB2018b.
-
网络模型训练时使用了在线数据增强（https://github.com/aleju/imgaug）的方法，即在训练前数据以一定的概率进行模糊、伽马变换、亮度与饱和度变换等处理并进行归一化.
-
模型使用随机梯度下降法（Stochastic Gradient Descent，SGD）进行优化，批大小（batch size）设置为3，初始学习率设置为0.01.在实际训练过程中，如果连续10个epoch训练集上总的损失函数值都没有下降，则将学习率调整为先前的一半，在学习率小于1×10-6时停止训练.最终用于定量评估的模型为在训练集上总的损失函数值最小的模型.
-
2.3 性能评估
-
训练好的模型制作的112张测试图像上进行测试，用以下4个指标来对模型性能进行评估：
-
1）Dice相似系数.如式（12）所示:G表示真实的分割标记; P表示模型预测的结果.
-
2）精度（Precision）.如式（13）所示:分母表示预测结果中被预测为细胞核的像素数; 分子表示分割标注与预测结果中细胞核区域取交集的像素总数.
-
3）聚合型杰卡德系数（Aggregated Jaccard Index，AJI）.如式（14）所示:Gi表示真实分割标记里的第i个连通域; 表示预测结果中的第M个连通域，这个连通域与Gi有最大的交并比; U表示预测结果中与真实分割标记没有交集的连通域的集合.AJI系数常用来评价欠分割和过分割，在细胞核的分割任务中主要存在的是欠分割问题.
-
4）豪斯多夫距离（Hausdorff Distance，HD）.豪斯多夫距离主要用来描述形状相似性，计算的是真实分割标记和模型预测结果之间像素点距离差异的度量.
-
2.4 对比实验与分析
-
为了比较TDM-Net的性能，在本节进行对比实验与分析.采用上一节性能评估指标，在本节训练了几个经典的分割网络与本文的网络进行分割性能的对比，分别是Seg-Net[28]、U-Net、 Link-Net[29].这3个网络在训练时均选用与TDM-Net相同的Dice损失函数、初始学习率以及学习率调整策略，并使用SGD进行优化.关于Seg-Net、U-Net、 Link-Ne的模型结构和其他网络参数的设置，可以参考其文献内的详细实验设置.由表1可以看出，TDM-Net在4个指标上相较于其他3个用作对比的分割网络来说性能都有极大的提升，验证了模型的有效性.图7绘制了4个模型测试集上指标分布的小提琴图，每张测试图像的结果在小提琴图中以小白点的形式分布.从小提琴图也可以清晰地看出，TDM-Net的评价指标分布更集中，整体也优于其他3个模型.
-
图7 对比实验指标小提琴图 a.4种模型在测试集上的Dice分布；b.4种模型在测试集上的Precision分布； c.4种模型在测试集上的AJI分布；d.4种模型在测试集上的HD分布
-
Fig.7 Violin plots of evaluation index for comparison experiments between four models on test set a.Dice; b.precision; c.AJI; d.HD
-
2.5 消融实验与结果分析
-
为了证明网络不同模块的有效性，设计了如下消融实验.基准模型，即Baseline，编码器部分选择Res-Net 50进行特征提取，没有中间层，解码器部分选择U-Net的解码器.将ASPP、Attention-Gate、Dense Unit、Multi-Head Self-Attention作为单独的模块，分别添加到Basline中，模型记为Baseline+ASPP、Baseline+AG、Baseline+Dense、Baseline+MHSA.去掉TDM-Net中的距离图谱分支，仅保留细胞核分割分支，记为T-Net，这一做法是为了验证距离图谱分支对模型性能的影响.
-
由表2可以看出，在添加了ASPP、Attention-Gate、Dense Unit、Self-Attention等模块后，Baseline的性能都有了不同程度的提升，尤其是在加入Multi-Head Self-Attention模块与距离图谱分支后，验证了本文所使用的Transformer中的多头自注意力与距离图谱的积极作用，使得细胞核分割结果的准确率得到了提高，同时也较好地处理了细胞核之间的黏连问题.
-
TDM-Net、T-Net与3个对比实验网络分割的定性展示如图8所示.可以看出，TDM-Net已经能够较好地分隔细胞核之间的黏连，与其他方法相比，优势明显，同时也验证了距离图谱分支协同训练的积极作用，即模型处理细胞核黏连问题的能力得到了提高，模型整体的性能更优.
-
3 结论
-
本文提出的基于Transformer与距离图谱的细胞核分割网络，通过引入Transformer中的多头自注意力值与距离图谱，让网络充分挖掘了病理图像中细胞核之间丰富的上下文信息与细节信息，提升了分割的准确率，同时较好地解决了病理图像中细胞核分割时存在的黏连问题，并在多个公开数据集上进行了模型泛化能力的验证.实验结果表明，TDM-Net的性能在多个指标上均好于U-Net、Seg-Net、Link-Net等网络，且能够较好地解决细胞核之间的黏连问题.下一步将继续优化网络结构、自注意力机制等进一步提高模型的性能，并将细胞核分割的结果用于更高层次的计算病理任务中.
-
图8 不同模型的分割结果对比 a.由实例标记生成的细胞核轮廓；b.距离图谱分支输出的结果； c.TDM-Net细胞核分割分支生成的细胞核轮廓；d-g.分别是T-Net、Seg-Net、 U-Net、Link-Net输出生成的细胞核轮廓
-
Fig.8 Comparison of segmentation results with different models a.contour of nuclei generated by instance masks; b.outputs of distance map branch; c.contour of nuclei generated by TDM-Net with nuclei segmentation branch; d-g.contours of nuclei generated by T-Net, Seg-Net, U-Net, Link-Net, respectively
-
参考文献
-
[1] LeCun Y,Bengio Y,Hinton G.Deep learning[J].Nature,2015,521(7553):436-444
-
[2] 国务院.国务院关于印发新一代人工智能发展规划的通知[R].中华人民共和国国务院公报,2017-22
-
[3] Fuchs T J,Buhmann J M.Computational pathology:challenges and promises for tissue analysis[J].Computerized Medical Imaging and Graphics,2011,35(7/8):515-530
-
[4] 顾松,鲁浩达,谢嘉伟,等.计算病理及其对精准医学的价值[J].中华病理学杂志,2021,50(8):851-855.GU Song,LU Haoda,XIE Jiawei,et al.Computational pathology and its contributions to precision medicine[J].Chinese Journal of Pathology,2021,50(8):851-855
-
[5] Rahaman M M,Li C,Wu X C,et al.A survey for cervical cytopathology image analysis using deep learning[J].IEEE Access,2020,8:61687-61710
-
[6] Li Y X,Li C,Li X Y,et al.A comprehensive review of Markov random field and conditional random field approaches in pathology image analysis[J].Archives of Computational Methods in Engineering,2022,29(1):609-639
-
[7] Xu J,Xiang L,Liu Q S,et al.Stacked sparse autoencoder(SSAE)for nuclei detection on breast cancer histopathology images[J].IEEE Transactions on Medical Imaging,2016,35(1):119-130
-
[8] Xu J,Gong L,Wang G H,et al.Convolutional neural network initialized active contour model with adaptive ellipse fitting for nuclear segmentation on breast histopathological images[J].Journal of Medical Imaging,2019,6(1):017501
-
[9] Cui Y X,Zhang G Y,Liu Z H,et al.A deep learning algorithm for one-step contour aware nuclei segmentation of histopathology images[J].Medical & Biological Engineering & Computing,2019,57(9):2027-2043
-
[10] Ronneberger O,Fischer P,Brox T.U-net:convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention.October 5-9,2015,Munich,Germany.Springer,2015:234-241
-
[11] Huang Z Y,Ding Y,Geng R Z,et al.Learning erosional probability maps for nuclei instance segmentation[C]//2020 IEEE Conference on Multimedia Information Processing and Retrieval.August 6-8,2020,Shenzhen,China.IEEE,2020:297-302
-
[12] Zeng Z T,Xie W H,Zhang Y Z,et al.RIC-Unet:an improved neural network based on Unet for nuclei segmentation in histology images[J].IEEE Access,7:21420-21428
-
[13] Chen H,Qi X J,Yu L Q,et al.DCAN:deep contour-aware networks for accurate gland segmentation[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:2487-2496
-
[14] Vaswani A,Shazeer N,Parmar N,et al.Attention is all you need[J].arXiv e-print,2017,arXiv:1706.03762
-
[15] Dosovitskiy A,Beyer L,Kolesnikov A.An image is worth 16×16 words:transformers for image recognition at scale[J].arXiv e-print,2020,arXiv:2010.11929
-
[16] Chen H Y,Li C,Li X Y,et al.IL-MCAM:an interactive learning and multi-channel attention mechanism-based weakly supervised colorectal histopathology image classification approach[J].Computers in Biology and Medicine,2022,143:105265
-
[17] 王赟,葛泉波,姚刚,等.基于多注意力机制集成的非侵入式负荷分解算法[J].南京信息工程大学学报(自然科学版),2023,15(3):304-314.WANG Yun,GE Quanbo,YAO Gang,et al.Non-intrusive load decomposition model based on multi-attention mechanism integration[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition):2023,15(3):304-314
-
[18] 杨春霞,徐奔,桂强,等.基于注意力与双通道网络的方面级情感分析[J].南京信息工程大学学报(自然科学版),2023,15(1):42-50.YANG Chunxia,XU Ben,GUI Qiang,et al.Aspect level sentiment analysis based on attention and dual channel network[J].Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2023,15(1):42-50
-
[19] Carion N,Massa F,Synnaeve G,et al.End-to-end object detection with transformers[M]//Computer Vision—ECCV 2020.Cham:Springer International Publishing,2020:213-229
-
[20] Yu F,Koltun V.Multi-scale context aggregation by dilated convolutions[J].arXiv e-print,2015,arXiv:1511.07122
-
[21] Shao Z F,Tang P H,Wang Z Y,et al.BRRNet:a fully convolutional neural network for automatic building extraction from high-resolution remote sensing images[J].Remote Sensing,2020,12(6):1050
-
[22] Chen L C,Papandreou G,Schroff F,et al.Rethinking atrous convolution for semantic image segmentation[J].arXiv e-print,2017,arXiv:1706.05587
-
[23] Oktay O,Schlemper J,Folgoc L,et al.Attention U-net:learning where to look for the pancreas[J].arXiv e-print,2018,arXiv:1804.03999
-
[24] Huang G,Liu Z,van der Maaten L,et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26,2017,Honolulu,HI,USA.IEEE,2017:2261-2269
-
[25] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778
-
[26] Kumar N,Verma R,Anand D,et al.A multi-organ nucleus segmentation challenge[J].IEEE Transactions on Medical Imaging,2020,39(5):1380-1391
-
[27] Graham S,Vu Q D,Raza S E A,et al.Hover-Net:simultaneous segmentation and classification of nuclei in multi-tissue histology images[J].Medical Image Analysis,2019,58:101563
-
[28] Badrinarayanan V,Kendall A,Cipolla R.SegNet:a deep convolutional encoder-decoder architecture for image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(12):2481-2495
-
[29] Chaurasia A,Culurciello E.LinkNet:exploiting encoder representations for efficient semantic segmentation[C]//2017 IEEE Visual Communications and Image Processing.December 10-13,2017,St.Petersburg,FL,USA.IEEE:1-4
-
摘要
肿瘤细胞的密度、核质比和平均尺寸等指标对癌症的分级和预后有重要的意义.在计算病理学中，细胞核分割是肿瘤微环境分析的基础.通过对分割结果进行统计分析，对新的肿瘤标记物的探索有重大的意义.病理图像背景下的细胞核形态不规则，细胞核染色不均匀，且细胞核边缘之间存在黏连的问题，而现有的深度学习算法在细胞核主体分割正确的情况下，边缘的分割错误不会对总体的损失造成太大的影响，黏连的细胞核很容易被当作同一个分割目标.为了解决细胞核重叠问题，本文提出一种基于Transformer与距离图谱的分割模型，将Transformer中的核心多头自注意力机制与距离图谱引导算法相结合，重视细胞核内部，弱化细胞核边界，提升对图像局部和全局上下文信息的学习能力.本文方法在两个公开数据集上的平均Dice系数为0.7979、精度为0.7561、AJI系数为0.6672、Hausdorff距离为10.11.实验结果表明，相较其他分割算法，本文方法的性能更好，能够有效提高细胞核的分割精度，同时较好地解决了细胞核之间的黏连问题.
Abstract
Indices such as tumor cell density,nucleocytoplasmic ratio,and average size have important implications for cancer grading and prognosis.Therefore,segmentation of nuclei is the fundamental prerequisite for tumor microenvironment analysis in computational pathology.Additionally,the exploration of new tumor markers is of great significance through statistical analysis of segmentation results.However,the morphology of nuclei in the background of pathological images is irregular,the staining of nuclei is uneven,and adhesion occurs between the edges of nuclei.While the segmentation error of the edge will make no difference on the overall loss as long as the main body of the nucl is correctly segmented,so the adhering nuclei can easily be regarded as the same segmentation target by existing deep learning algorithms.To address the overlapping nuclei,a new segmentation algorithm based on the Transformer and distance map,abbreviated as TDM-Net,is proposed,which integrates the core of multi-head self-attention mechanism in Transformer with contextual information to fully explore the proximity relationship and enhances the learning ability of image details by introducing distance map to emphasize the interior of nuclei and weaken the boundary of nuclei.The algorithm's Dice coefficient,precision,Aggregated Jaccard Index (AJI) and Hausdorff distance are 0.7979,0.7561,0.6672,and 10.11,respectively.The results show that the proposed TDM-Net outperforms other segmentation algorithms,effectively improves nuclei segmentation accuracy and solves overlapping of different nuclei.
