近年来，基于深度学习的研究在材料领域不断发展，在材料的微观组织分析、加工制备设计、表面粗糙度预测以及缺陷检测等方面均取得了重要的研究成果。一方面，深度学习网络可以用于零件材料表面粗糙度的预测领域，从而实现表面粗糙度的准确预测。另一方面，利用卷积神经网络也可以进行材料行为和加工制备的方法设计。此外，深度学习在材料缺陷检测领域取得了飞速发展，在缺陷的分类、定位等方面均取得了一定的成果。特别是随着航空航天、汽车等相关领域迅猛发展，铸件的需求也在不断增长，其品质直接影响到生产生活的各个方面。在实际生产过程中，受不同制造工艺的限制，不可避免地产生大量具有缺陷的铸件。因此，提高缺陷检测的精度，降低工件缺陷率十分重要。目前，国内的汽车轮毂厂商大多采用人工评定铸件的品质。通过分析铸件X射线图像中的不同像素特征，对气孔、裂纹、噪声等缺陷进行分析。传统X射线图像的轮毂缺陷检测方法存在人工识别不稳定、误检率高、检测精度较低等问题。随着工业缺陷检测技术的不断进步，目前基于传统机器视觉和深度学习的检测法已经得到了广泛应用，提高了铸件缺陷的识别精度，大幅节省了检测成本。
传统的机器视觉方法，通过提取图像的纹理、颜色、轮廓等作为缺陷检测特征，并利用支持向量机SVM或神经网络来实现对目标缺陷的分类。KAMALAKANNAN A等为了克服图像灰度形态变化而导致内部缺陷分割困难的问题，提出一种基于空间平滑的分割方法，提高了铸件内部缺陷的识别和检测率。ZHAO X等针对微小而模糊的气孔缺陷，提出一种基于双向增强和全方位分析的铸件X射线气孔检测方法，有效提高了铸件中气孔缺陷的检测精度。傅可清等针对铝合金铸件X射线图像缺陷特征提取维度缺乏、效率低等问题，提出一种铝合金压铸件X射线成像典型缺陷特征提取算法，利用滤波、去噪、阈值分割等方法完成相关特征提取。
一般来说，传统机器视觉方法尽管可以实现缺陷的分类，但还不能有效地实现缺陷定位，具有一定的局限性。基于深度学习的检测方法，利用卷积神经网络对缺陷目标进行识别定位，具有较高的检测精度和效率，在工业领域得到了更为广泛的应用。目前基于深度学习的目标检测方法主要分为两类：一类是以Faster R-CNN为代表的常见的 Two-Stage 算法模型，张雪荣等提出基于深度学习的钢卷端面缺陷检测系统，采用改进后的Faster R-CNN作为系统的目标识别算法，对钢卷面缺陷进行识别检测，得到了较好的识别效果。蔡彪等采用了Mask R-CNN对铸件内部缺陷进行了缺陷检测。但这类算法先生成候选框，然后再对每个候选框进行分类，检测速度较慢，影响实时性。另一类是以SSD、YOLO为代表的One-stage检测方法。鲍春生等基于改进的YOLOv3网络模型，对铸件划痕缺陷进，有效提高了缺陷检测精度。此外，MERY D等提出一种用于铸件缺陷检测的卷积神经网络，使用GAN网络对数据集进行模拟训练，使用滑动窗口法对X射线图像进行缺陷检测，能够有效检测不同铸件的真实缺陷。WU B等采用改进的卷积神经网络对X射线图像的钛合金铸件缺陷进行识别分类，对工业铸件缺陷提供了多种检测方法。
综上，基于深度学习的图像检测算法已经较为成熟，YOLO系列算法在工业缺陷检测领域也得到较为广泛的应用，该类算法使得检测实时性得到了一定的提升，但检测精度略低，特别是对缺陷特征不太明显的X射线图像，模型检测效果不佳。
上海工程技术大学闫学顺等联合上海交通大学、嘉善鑫海精密铸件有限公司、湖州鼎盛机械科技股份有限公司、5.浙江佳力风能技术有限公司在特种铸造及有色合金期刊上发表了题为“基于深度学习的铝合金轮毂铸件图像缺陷检测”的文章，文章指出传统X射线图像的铝合金轮毂铸件缺陷检测方法存在人工检测效率低、误检率高、检测精度较差等问题，提出一种基于深度学习的铝合金轮毂铸件图像缺陷检测方法。通过引入直方图均衡化方法，实现533组铝合金铸件X射图像缺陷特征增强；同时基于Mosaic数据增广策略随机生成含有多尺度不同缺陷类型的新图像数据，提升图像的复杂度；修改了YOLOv5主干网络，引入SENet注意力机制模块对输入特征图的重要通道进行特征提取增强。结果表明，该方法对铸件缺陷平均检测精度（mAP）达到了99.6%，对比YOLOv3、YOLOv4以及YOLOv5主流算法，平均检测精度分别提升了9%、5.1%、4.2%，相较于原网络模型，常见的4种类型（气孔、缩松、裂纹、夹杂）铸件缺陷平均检测精度提升了10.83%。该方法具有更好的泛化能力，能够实现铸件多类型缺陷的自动检测，能够满足工业实际需求。
【试验方法】
铸件X射线图像的采集往往需要投入较大的人力和物力，高质量的铸件X射线图像获取较为困难。此外，受拍摄环境影响，部分图像的缺陷特征并不明显，采集到的图像由于部分缺陷只占其中极小的像素，较少的数据难以保证检测模型充分学习缺陷特征，增加图像检测难度。为此，提出一种基于深度学习的铝合金轮毂铸件图像缺陷检测方法，通过采用直方图均衡化方法和Mosaic数据增广策略，实现图像数据的扩充与增强，同时改进YOLOv5网络模型，引入通道注意力模块，加强对图像缺陷的特征提取，有效提高铸件缺陷的检测精度，其流程见图1。
图1 铸件图像缺陷检测方法示意图
受拍摄环境影响，部分图像的缺陷特征并不明显，存在整体图像较暗或者较亮，见图2，原图的灰度集中在中间，整体图像适中，但缺陷的边缘及特征并不清晰。为了让图像灰度相对均匀地占据图像，突出图像的数据特征，受图像像素值重分布来实现医疗图像增强的方法启示，采用直方图均衡方法对局部细节缺失、背景较暗的铸件X图像进行图像增强。
直方图均衡化法原理是对图像中像素个数较多的灰度值进行展宽，对像素个数少的灰度值（对缺陷特征影响不大的灰度值）进行归并，把原始图像的灰度直方图均匀化，增大对比度，实现图像增强。图2为增强前后的图像及直方图结果。该方法重新分配图像的像素值，增大了图像的信息量，突出了图像数据特征，有利于提高模型的特征学习能力。利用该方法对数据集图像进行进一步处理。
（a） 原图像及其直方图 （b） 增强后图像及其直方图
图2 图像增强前后对比图
铸件图像数据特征分布较为稀疏，每张图像含有一种或者微量缺陷，这种数据分布特点不利于模型充分学习缺陷特征。为了提高模型的泛化能力，本研究采用Mosaic数据增广策略。
Mosaic数据增广策略可以实现4张图像的拼接，对含有微量缺陷的单张图像来说，由于数据特征稀疏、特征不明显，不利于算法模型的训练。为此，采用Mosaic数据增广策略能够将多张含有微量缺陷的图像拼接为新图像传入到神经网络中学习。图3为该方法的主要流程思想。①随机选取4张图像，按象限排布。②选取高为h，宽为w的尺寸作为输出图像大小，并将图像分割为4个不同区域。③选取离分割线较远的顶点作为重合点，按照②分割区域的分割线，对分割的各象限图像进行拼接，生成新图像作为训练数据。
图3 简化Mosaic数据增广方法
利用该方法，能够将多张含有单一缺陷类型的图像随机拼接为一张含有多尺度多类别缺陷的新图像，有效解决了X射线图像获取困难、缺陷特征分布稀疏模型难以充分学习等问题。该方法丰富了图像的背景特征，使得多尺度不同类型缺陷出现在同一图像中，采用新图像作为子训练集，有利于提高模型的泛化能力。
【YOLOv5原理与改进】
基于YOLO系列的网络模型已经成为小目标缺陷检测领域的最重要的模型之一。采用体积和权重都较小的YOLOv5s，具有更快的检测速度，便于打包应用到实际生产中。YOLOv5s 将整个网络结构分成 输入端、骨干网络、颈部结构、输出端4个部分，网络结构见图4。
（1）输入端 输入数据集图像，并对数据集图像进行组合变换，将多背景多目标图像组合起来。
（2）骨干网络 将输入的网络图像进行裁剪，输入到Focus结构，进行特征图拼接，完成后进入到CSP结构进行最后的特征提取工作。
（3）颈部结构 用特征金字塔（FPN）与路径聚合方式，完成特征图的融合和特征读取、传达等操作，对不同检测层进行特征聚合。
（4）输出端 将利用网络结构对图像进行预测信息检测，完成最终的目标检测。
YOLOv5结构在原YOLOv3、YOLOv4基础上，主干网络采用Focus和CSP结构，加强了对图像的特征提取，尽管检测速度得到一定的提升，但检测精度相对降低。
为了在运用YOLOv5保证检测实时性的同时，尽可能的提高检测的精度，采用在网络结构中增加通道注意机制SENet模块的方法。SENet模块插入到网络结构的合适位置能够加强对特征层的特征提取，从而有效提高模型的检测精度，其设计简单，计算量小，易于加载到现有的YOLOv5模型框架中，网络结构见图5。为了获得在通道维度上的注意力，首先对输入的特征层进行全局平均池化，使空间特征降维到1×1：
经过反复试验，采用在骨干网络的第6层与第7层之间，加入SENet模块，来增强对重要通道的特征提取。添加位置见图4虚线框处，得到改进的YOLOv5-SE模型见图5。
图4 改进的YOLOv5网络结构图
图5 SENet网络结构图
【分析与验证】
采用射线计算机层析照相技术，将获得的533张通道数为3、尺寸大小为768×672的轮毂铸件X射线缺陷图像相关特征利用Labelimage工具进行标记，以XML文件形式存储图像的文件名、分辨率、缺陷类型与区域等信息。
图像包含4种常见的缺陷类型（气孔、缩松、裂纹、夹杂），所研究的缺陷图像见图6。气孔一般出现在轮毂壁厚较大的地方，形状接近圆形，尺寸略小；缩松具有小而分散等特点；裂纹通常表现为铸件出现直线或者不规则曲线裂口；夹杂一般表现的特征为铸件内存在与其金属成分不同的异物、面积突出的黑色小块。
图6 不同铸件缺陷的轮毂X射线图像
在533张图像的基础上，按照6:3:1将缺陷图像依次随机划分为训练集、测试集、验证集，共得到训练集图像320张，测试集图像160张，验证集图像53张。为保证检测模型充分学习缺陷特征，采用直方图均衡化方法对图像缺陷进行数据增强，强化了缺陷局部数据特征。利用几何变换（如放缩、旋转）进一步扩充缺陷数据，图像数据集扩充到4797张。将得到的新训练图像进行Mosaic数据增广，将图像尺寸缩放到640×640，对所有图像随机分组，并随机选4张图像进行拼接，生成子数据集；最后利用YOLOv5-SE模型对图像数据不断训练，从而得到最优小目标铸件缺陷图像检测方法。
处理得到的图像数据，采用YOLOv5-SE模型进行训练。模型训练在python环境下进行，采用深度学习框架为 PyTorch，输入图像的尺寸为640×640，模型训练迭代次数为1000，每次训练选取的样本数为4，初始学习率为0.01，采用 Precision（准确率）、Recall（召回率）、mAP@0.5（IoU阈值为0.5时所有目标类别的平均精度值）、mAP@0.5:0.95（IoU阈值在0.5～0.95之间所有阈值的平均检测精度值）等参数作为模型性能评价指标。收敛情况结果见图7。可以看出，随着迭代次数的增加，平均检测精确度达到80%以上，当IoU值为0.5时平均精度（mAP）趋近于1达到99.6%，对测试集进行检测结果见图8，不同颜色的框图数字代表一类缺陷类型（其中0为裂纹缺陷，1为气孔缺陷，2为缩松缺陷）。
图7 YOLOv5-SE模型训练曲线图
图8 YOLOv5-SE测试集检测结果
采用YOLO系列主流算法对相同测试集图像进行训练，输入尺寸为640×640的图像，YOLOv3、YOLOv4模型训练迭代次数为500，每次训练选取的样本数为8，YOLOv5s、YOLOv5-SE模型训练迭代次数为1000，每次训练选取的样本数为4，不同模型检测得到的batch size（单批次样本大小）、Epoch（全样本训练次数）、FPS（检测实时性）、mAP（平均精度）等值见表1。可以看出，改进后的YOLOv5-SE模型检测精度达到了99.6%，尽管检测速度略有下降，但仍满足实际需要。
进一步选取模型训练mAP值较高的YOLOv5、YOLOv5-SE模型进行研究，采用160张测试集图像，比较采用不同检测模型组合，所有类型缺陷的具体检测效果。检测模型组合见表2，其中√表示采用，-表示未采用。
采用Y1～Y4四种模型均基于YOLOv5网络结构，不同之处在于是否采用不同的数据处理方式以及网络结构中是否加入注意力机制。对四种组合模型进行训练，检测结果见表3，其中αm为平均检测精度的平均值。
可以看出，模型Y1和模型Y2对4种缺陷类型的平均检测精度要高于Y3、Y4，进一步验证了采用直方图均衡化方法和引入注意力机制的模型具有更优的检测性能。此外，气孔缺陷在模型Y1和Y2中具有较好的检出率，而在没有采用直方图均衡化方法的模型Y3、Y4中表现较差，说明对此类缺陷采用直方均衡化进行图像增强后，更容易被识别分类出来。
为了进一步验证模型的检测性能，采用改进后的YOLOv5-SE（Y1）和原网络模型（Y3）在53张验证集图像上进行图像缺陷检测，图9为两种模型的检测结果（如porosity 0.3，表示此处为缩松缺陷的识别精度为0.3）。可以看出，YOLOv5-SE对缺陷识别精度特别是对缩松、气孔缺陷的检测精度明显高于原始网络，检测效果更优，进一步证明了该模型具有更好泛化能力。
（a）原网络模型 （b） YOLOv5-SE模型
图9 两种网络模型缺陷检测结果图
【结论】
（1）采用直方图均衡化方法和Mosaic数据增广策略，完成了图像的增强与扩充，提升图像复杂度，提高模型训练的准确性。
（2）改进了YOLOv5主干网络，加入了SENet注意力机制模块，采用改进后的YOLOv5-SE模型，对铝合金轮毂铸件缺陷平均检测精度（mAP）达到了99.6%，较原YOLOv5模型mAP提升了4.2%。
（3）相较于原网络，YOLOv5-SE对常见的4种类型（气孔、缩松、裂纹、夹杂）铸件缺陷平均检测精度提升了10.83%，能够实现铸件多类型缺陷的自动检测，该方法具有较好的泛化能力。
[文献引用格式]
闫学顺,汪东红,吴文云,等.基于深度学习的铝合金轮毂铸件图像缺陷检测[J].特种铸造及有色合金,2023,43(4):457-463.
YAN X S,WANG D H,WU W Y,et al.Image defect detection of aluminum alloy wheelhub casting based on deep learning[J].Special Casting & Nonferrous Alloys,2023,43(4):457-463.