【www.zhangdahai.com--其他范文】
陈罗林，周煜松，徐胜舟
（中南民族大学 计算机科学学院&湖北省制造企业智能管理工程技术研究中心，武汉 430074）
在各类危害女性身心健康的恶性肿瘤病症中，乳腺癌作为其中典型病症之一，其发病率正在逐年升高［1］.国际癌症研究机构（International Agency for Research on Cancer，IARC）于2020年12月发布了当年全球最新癌症数据，数据显示2020年全球乳腺癌新发病例高达226万例，超过了肺癌的220万例，乳腺癌取代肺癌，成为全球最常见的癌症［2］.而早期诊断和及时治疗，可以使乳腺癌死亡率加速下降［3］.乳腺钼靶X线摄影检查（Mammography）被公认为目前诊断乳腺癌的首选和最有效的检测手段［4］.然而，乳腺钼靶图像上可能会存在一些噪声或高亮度的干扰，即使是专家也难以快速准确分析出乳腺组织病变情况.而且乳腺钼靶图像数量巨大，如果医师仅凭肉眼来找出异常区域既费时又费力.因此，大量的医学影像计算机辅助诊断技术（Computer Aided Diagnosis，CAD）出现并被投入到临床使用，以减轻医生的工作量，并且有助于提高医生诊断的准确性［5］.
基于传统机器学习的乳腺肿块检测CAD系统需要先对图像预处理，在输入的乳腺钼靶图像中选出乳腺肿块的可疑候选区域，然后对可疑区域的特征进行提取，最后使用分类器对其进行分类，检测可疑区域是否为乳腺肿块.PETRICK等人［6］提出使用一种新的自适应密度加权对比度增强滤波器并将其与高斯-拉普拉斯边缘检测相结合，从而在数字化乳腺钼靶X线摄影中分割出可疑区域.KOM等人［7］提出一种线性变换滤波器对图像进行预处理，并使用局部自适应阈值技术来实现乳腺钼靶图像中肿块的自动检测.HANG等人［8］提出了一种基于多尺度形态学滤波和自适应随机森林级联的乳腺钼靶X线摄影中乳腺肿块检测和分割系统，并在公共数据集上进行测试，该方法表现出了很好的性能.XU等人［9］提出一种稳健准确的标记控制分水岭方法并用于乳腺钼靶X线摄影中的病变分割，首先将传统分水岭变换用于平滑形态梯度图像，获取内外标记物之间的病变边界，并通过模式匹配和阈值方法分割出病变粗糙区域，再通过距离变换和形态扩张来确定内外标记，从而分割出更加精确的乳腺病变区域.
随着人工智能的发展，深度学习作为近年来呈指数增长的人工智能分支之一，不断被应用到各个领域，并且在计算机视觉领域取得重大突破.医学影像中的深度学习发展尤为迅速［10］，越来越多的学者将深度学习用于乳腺癌的辅助诊断上.DHUNGEL等人［11］提出一种使用级联深度学习和随机森林分类器检测乳腺肿块的方法，该方法首先将多尺度深度置信网络和高斯混合模型结合起来，选出乳腺肿块的可疑候选区域，再利用级联R-CNN网络和随机森林分类器来减少假阳性数量.TEARE等人［12］提出利用不同尺度的双深度卷积神经网络，并与随机森林网络相结合，来对乳腺钼靶图像中乳腺肿块进行检测，所得出的灵敏度和特异度与专业医师得出的结果基本一致.徐一舫等人［13］通过对比R-CNN、SPPNet、Fast R-CNN、Faster R-CNN四种算法在乳腺钼靶X线摄影中对乳腺肿块的检测能力，验证了Faster R-CNN算法在乳腺肿块检测中的高效性.AL-MASNI等人［14］提出基于YOLO算法的CAD系统，该系统检测出乳腺肿块的同时也对其进行良恶性识别，最终都能较好地定位乳腺肿块位置并将其正确分类.
受深度学习的影响，并考虑到检测精度及模型复杂度，本文提出一种改进的RetinaNet目标检测算法用于乳腺钼靶图像中乳腺肿块的检测.首先，为了在特征提取的过程中获取更丰富的信息，本文在特征提取网络中添加多光谱通道注意力（Multi-Spectral Channel Attention，MCA）模块［15］，然后考虑到浅层特征信息在经过多层传递后丢失比较严重，本文添加了一条自底向上的路径，来增强网络的表征能力.
RetinaNet［16］是一种基于Anchor-based的一阶段目标检测算法，它主要由ResNet［17］、特征金字塔网络（Feature Pyramid Networks，FPN）［18］和两个子网络组成，基本结构如图1所示.ResNet作为特征提取网络，初步提取图像的特征，获取到3个特征层C3、C4、C5，然后将这3个特征层传入FPN中，其中P5和C5表示同一个特征层，P6、P7是C5依次下采样得到的结果，P4是由P5上采样后与C4相加得到的特征层，P3是P4上采样后与C3相加得到的特征层，FPN作为特征融合网络，对多尺度的特征进行融合，将浅层的特征也传递到深层，使网络能够保留更多的信息，最终会输出5个不同尺度的特征层，并将其传至两个子网络，这两个子网络分别为分类网络和边框回归网络，分类子网络对FPN输出的特征层进行目标的分类，边框回归子网络则用来预测目标边界框的位置信息.
图1 RetinaNet的结构Fig.1 StructureofRetinaNet
2.1 特征提取网络的改进
RetinaNet的特征提取部分使用的是ResNet-50，而ResNet-50是由一系列残差块构成的，这样可以加深网络深度，获取更多的特征信息，并且可以避免梯度消失的问题.
近年来，注意力机制在深度神经网络中得到了广泛应用，并在医学图像处理中发挥了显著的作用［19］.注意力机制类似于人类集中注意力去观察事物的某些重要信息一样，这样可以快速地获取有价值的信息.注意力机制的实质就是自主学习到一些权重，这些权重就代表着重要性，再利用“加权求和”使网络模型更加关注那些重点信息.不少研究表明，在神经网络中引入注意力机制能大幅提高性能［20-23］.于是，本文在ResNet-50的残差块中引入注意力模块，ResNet-50中的残差模块使用的是瓶颈结构，如图2（a），这样使得网络更加灵活，并且减少了计算量.为了使网络在对乳腺钼靶图像提取特征的过程中更关注于乳腺肿块区域的信息，在每个残差块中都添加了MCA模块，添加后的结构如图2（b）所示.
图2 ResNet-50中的残差块和插入MCA模块后的残差块Fig.2 ResidualblockinResNet-50andresidualblockinserted withMCAmodule
MCA模块是基于Squeeze-and-Excitation（简称SE）模块［24］的一个改进，SE模块的结构如图3（a）所示.一般的通道注意力对于每个通道的标量进行计算时采用的是全局平均池化（GlobalAverage Pooling，GAP）［25］，而从频率的角度进行分析，会发现GAP只保留了离散余弦变换（DiscreteCosine Transform，DCT）最低频率分量的信息，而在计算时也不能忽视其他有用的频率分量.通常，二维DCT的基函数可表示为：
二维DCT则可表示为：
s.t.h∈{0，1，…，H-1}，w∈{0，1，…，W-1}，其中f2d∈RH×W表示二维DCT的频谱，x2d∈RH×W表示输入的图像，H和W分别为输入图像的高度和宽度，B可看作是DCT权重，所以二维DCT也可看作是输入的加权和.而当h、w均为0时，结合公式（1）、（2）可以得到：
此时表示二维DCT的最低频率分量，由公式（3）可知，其与GAP有关，并且成正比，GAP只是二维DCT的一个特例，因此可以引入MCA模块获取更多有用的频率分量.MCA模块结构如图3（b）所示，首先将输入X∈RC×H×W按通道维度分解为n个部分，并给各部分分配相应的二维DCT频率分量，得到的二维DCT结果作为通道注意力的压缩结果，图中Freqi(i∈{0，1，…，n-1})即为压缩后的向量，然后将所有向量合并，用得到的结果替换原通道注意力中GAP的结果.
图3 SE模块与MCA模块Fig.3 SEmoduleand MCA module
2.2 FPN的改进
原RetinaNet在ResNet-50提取到图像特征信息之后会通过FPN来丰富获取到的信息.FPN主要解决目标检测中的多尺度问题，浅层特征语义少但定位准，深层特征语义丰富但定位模糊，所以在RetinaNet中FPN会输出5个不同尺度的特征层，并将其传入预测网络中，而且这5个不同尺度的特征层也是通过自顶向下的路径以及横向连接来实现对浅层特征与深层特征的信息融合，这样能极大地提高对小目标的检测能力.
乳腺钼靶X线影像中有许多肿块区域所占面积较小，所以多尺度特征融合能在很大程度上提高性能.为了对特征信息做更深一步地增强，本文在RetinaNet中引入路径聚合网络（Path Aggregation Network，PAN）［26］，在FPN后添加一条自底向上的路径，并通过横向连接实现多尺度特征融合.引入PAN模块，获取到更加丰富的特征信息，也保留了更多浅层信息，更好地利用了浅层信息精确定位的特点.
本文针对FPN采取了两种改进方式.如图4（a）所示，在FPN后添加PAN1模块，这是第一种改进方式，PA3和P3是同一个特征层，并直接输出，PA4是PA3下采样后与P4相加得到的特征层，PA5类似，PA6和PA7对应原RetinaNet中的P6和P7.
图4（b）是在FPN后添加PAN2模块的结构图，即第二种改进方式，与第一种方式的区别就是直接舍弃了原来的P6和P7，最后输出的PA6和PA7为PA5依次下采样的结果.通过这种方式不仅会提升精度而且还会减少参数量，因为最后输出的5个特征层通道数均为256，原本的C5下采样到P6是通过步长为2的3×3卷积完成的，特征层C5的大小为19×19×2048，输出的特征层P6的大小为10×10×256，所以该卷积层的参数量为3×3×2048×256；
而舍弃P6、P7，由PA5下采样到PA6作为输出，由于特征层PA5的大小为19×19×256，输出的PA6大小为10×10×256，该卷积层的参数量为3×3×256×256，为原先参数量的，所以即使添加了PAN2模块，其参数量也比原来的参数量要小.这两种方式中所有的下采样操作都是通过步长为2的3×3卷积完成的，而且在每一次特征融合之后都会进行一次3×3卷积处理，增强其表征能力.
图4 添加PAN模块后的FPN结构Fig.4 FPNstructureafter adding PANmodule
3.1 数据集及实验环境
3.1.1 实验数据来源
本文的实验数据来源于美国南佛罗里达大学的乳腺X线摄影数字数据库（The Digital Database for Screening Mammography，DDSM）［27］.DDSM包含多个医院通过乳腺X线摄影扫描得到的病例，每个病例包括患者左右双侧乳腺的轴位（Craniocaudal，CC）视图和侧斜位（Mediolateral Oblique，MLO）视图，共4幅.轴位视图是摄影台平行于水平面且正对着患者，并将患者乳腺置于摄影台上，X射线自上而下垂直照射而成.侧斜位视图是摄影台与水平面成30度至60度角，并将患者乳腺置于摄影台上，乳头呈切线位，X射线从乳腺内上方往外下方且垂直于摄影台照射而成.如图5中，图（a）和图（b）分别为某患者的右轴位（RCC）视图和右侧斜位（RMLO）视图.每个异常病例包含有对应的“.overlay”文件，文件中记录了医师标记的病灶区域的相关信息，如病灶类型、位置、轮廓等.
图5 患者的右轴位视图和右侧斜位视图Fig.5 RCCview and RMLOview of thepatient
本文实验从DDSM中随机选择了336个异常病例作为数据集，其中每一个病例包含患者某一侧乳腺的轴位视图及侧斜位视图，因此共有672张乳腺钼靶图像.根据每个病例的“.overlay”文件，在对应的乳腺钼靶图像上勾画出肿块的不规则区域，并根据这些区域确定边界框信息，将其作为金标准.
3.1.2 数据预处理
在本文实验数据集中，有大量乳腺钼靶图像存在对比度和亮度过低的情况，会导致肿块与周围乳腺组织难以被区分开，因此采取Gamma变换对图像进行增强，如图6所示，这样使得图像整体亮度得到提升，并使图像的低灰度区域对比度得到增强.
图6 图像增强Fig.6 Imageenhancement
由于数据集的数量较少，所以本文采取水平翻转和垂直翻转的方式对数据进行增强，如图7所示，并采用五折交叉验证的方式进行实验，共做5次实验.先将原始数据集平均分为5份，每次实验取其中一份作为测试集，以确保每个样本都被测试过，再对剩余部分做水平翻转和垂直翻转的数据增强，并将增强后的数据集按8：2划分为训练集和验证集，最后的实验结果是对这5次测试结果取平均值.
图7 数据增强Fig.7 Dataaugmentation
3.1.3 实验环境
本文实验是基于深度学习框架Pytorch来实现的，操作系统为64位Windows 10，CPU为Intel i5-9400F，16 GB内存，GPU为NVIDIA GeForce RTX 3070，显卡内存为8 GB，运行的软件环境为Python 3.8、CUDA 11.3、cuDNN 8.2.训练和测试均利用GPU进行加速完成.本文初始学习率设为0.0001，使用Adam优化器，固定步长衰减学习率，每迭代一次，学习率就减小为原来的0.96，共迭代200次.
3.2 评价指标
评价目标检测算法的性能，常用的指标有交并比（IoU）、精确率（Precision）、召回率（Recall）、平均精度（AP）以及平均精度均值（mAP）.
IoU用来衡量两个区域的重合程度，是两个区域的交集与并集的比值，其公式如下：
其中，Bp表示预测框，Bgt表示真实框，IoU越接近1，预测框与真实框越接近，定位越准确.
在目标检测的二分类过程中，检测器需判断样本是肿块区域还是背景区域，那么对样本进行分类时会出现4种情况：TP、FP、FN、TN，其中TP表示将正样本预测为正类的数量，一般指IoU＞0.5的检测框数量，即真阳性；
FP表示将负样本预测为正类的数量，一般指IoU≤0.5的检测框数量，即假阳性；
FN表示将正样本预测为负类的数量，即假阴性；
TN表示将负样本预测为负类的数量，即真阴性.
Precision表示预测结果中真正的正样本占预测为正类的所有样本的比例，其公式如下：
Recall又称查全率，表示检出的正样本中占实际正样本的比例，其公式为：
而在医学影像领域，要尽可能减少漏检的情况，所以本文选择其作为评价指标之一.
以Recall作为横轴、Precision作为纵轴，可以得到P-R曲线，AP为P-R曲线下的面积，其公式为：
其中P表示Precision，R表示Recall.而mAP则为各类别AP的平均值.由于本文实验需要检测的目标只有一个类别，所以就直接选择AP作为评价指标之一.
3.3 实验结果分析
3.3.1 不同检测算法对比实验
在乳腺钼靶图像中对肿块的检测能力方面，将本文改进后的算法与其他目标检测算法进行了对比，结果如表1所示，4列分别表示检测方法、特征提取网络、评价指标AP50、每秒传输帧数（Frames Per Second，FPS），其中AP50表示IoU为0.5时的平均精度.表格的后两行是本文改进后的方法，由表可知，本文算法相比原算法，检测速度虽略微降低，但检测效果有很大提升，并且与其他检测算法相比，本文算法在乳腺肿块检测中取得了更优的结果.
表1 不同检测算法对比实验Tab.1 Comparativeexperimentsof different detection algorithms
图8展示了不同检测算法在乳腺钼靶图像上肿块的检测结果.
图8 对比实验可视化检测结果Fig.8 Visualization detection resultsof contrast experiments
由图8可知，Faster R-CNN虽然能正确识别乳腺肿块区域，但假阳性数量也很多；
SSD存在的最大问题就是易漏检小目标区域；
YOLOv3-SPP和YOLOX检测效果相对不错，而本文方法无论是对小目标的检测、还是在识别精度上，都有最优的表现.
3.3.2 消融实验
为了验证添加的各模块在RetinaNet中的有效性，本文在原RetinaNet中依次添加改进的模块，对各模块之间做消融实验，测试结果如表2所示.其中左侧3列为添加的模块，分别是MCA模块、PAN1模块和PAN2模块.右侧4列为评价指标，AP50表示IoU为0.5时的平均精度；
R表示IoU为0.5时的召回率；
对IoU从0.5到0.95，每隔0.05计算一次平均精度，最后将所有结果取平均值，该均值即为表中的AP；
Params表示参数量.
表2 各模块之间的消融实验Tab.2 Ablation experimentsbetween different modules
由表2可知，在RetinaNet中添加改进的模块，精度都会提升，而且正如2.2中分析的，在FPN后添加PAN2模块，参数量不增反减，并且平均精度也会略微增加.其中在ResNet-50的残差块中添加MCA模块，同时在FPN后添加PAN2模块，即舍弃掉原本的P6、P7，这样效果相对最好，AP50由原来的75.7%提升到78.9%，AP由原来的37%提升到38.4%，并且召回率也有3.4%的提升.
图9展示了改进后的RetinaNet算法和原RetinaNet算法对乳腺钼靶图像中肿块的检测结果，由图9（c）、图9（d）可知，改进后的两种算法在乳腺肿块区域的定位上基本一致，并且相比原RetinaNet算法，定位更加准确，也在一定程度上减少了漏检和误检的情况.
图9 消融实验可视化检测结果Fig.9 Visualization detection results of ablation experiments
本文提出了一种基于注意力机制和双向特征融合的RetinaNet乳腺肿块检测算法.首先，在数据处理部分，先从DDSM中选取部分样本作为数据集，并根据医师圈画的病灶区域对数据进行标注，然后使用Gamma变换增强图像对比度，并通过水平、垂直翻转来增强数据集；
其次，在算法改进部分，先在RetinaNet的特征提取网络中的每个残差块中添加多光谱通道注意力模块，使网络更加专注于乳腺肿块区域；
然后在FPN后通过两种不同方式添加一条自底向上的路径，并通过横向连接实现特征融合，使获取到的特征更加丰富.实验结果表明：改进的各模块添加到原RetinaNet中都能使精度有所提高，并且在特征提取网络中添加多光谱通道注意力模块，同时以第二种方式对FPN做改进，即在FPN后添加PAN2模块，这样改进后的算法检测能力相对是最高的，与其他检测算法相比，也具有更好的性能.但是整个实验的样本量较小，之前尝试过将数据增强到8倍，但由于原始数据集量太小，效果并不明显.虽然改进后的算法在平均精度上有所提升，但仍有提升空间，而且漏检情况仍然存在.所以后续会收集更多乳腺钼靶图像来扩充数据集，并针对漏检问题做更深入的研究.
