【文章来源】
特种铸造及有色合金2024年第44卷第4期
【引用格式】
白蕊，胡勇，金泽发，等. 基于机器学习的铝熔体夹渣自动检测技术［J］. 特种铸造及有色合金，2024，44（4）：477-483.
Citation:BAI R，HU Y，JIN Z F，et al. Automatic detection technology for inclusion in Al melt based on machine learning［J］. Special Casting & Nonferrous Alloys，2024，44（4）：477-483.
导读
根据现有夹渣图像的特点，提出基于YOLOv5模型的夹渣目标检测算法，以减少获取图像的角度、光源等不确定因素对测试结果所造成的负反馈影响，提高检测精度。利用Mosaic数据增强、自适应锚框计算、自适应图像缩放等技术，融合Focus和CSP结构，设计出基于YOLOv5的自动化识别夹渣图像和自动计算夹渣率的优化算法。结果表明，相对于人工采集照片计算夹渣率水平的方法，改进后的YOLOv5s模型，有效提高了断面夹渣图像目标检测的精确度，由改进前的83%提高至97%。
【研究背景】
铝合金因具有轻质、高强、耐腐蚀等优异的综合性能，在汽车轻量化、航空航天、交通等领域的应用越来越广泛。鉴于铝合金的熔体特性，如易氧化、易吸气及与氧化夹杂的亲和力强等，在熔铸过程中易产生夹渣等冶金缺陷，这不仅影响铸锭表面质量，更影响铝合金产品的内部质量。据统计，铝合金生产过程的废品70%是在熔铸工序产生的。因此，含渣量已成为评估铝液质量是否合格的重要手段之一。
目前，有多种先进的检测铝合金含渣量的方法应用于研究与生产。金属熔体纯度分析仪LiMCA可以定量检测最小尺寸为15 μm的夹渣物，这种方法虽然精度很高，但过程复杂，对试验有较高要求，且所用传感器系统成本较高，不适用于大批量生产；Prefil-Footprinter、LAIS法和PoDFA通过纳米级过滤片来实现熔体中渣及氧化物的收集，再通过扫描电镜分析其尺寸及形貌从而实现夹渣物的检测，这些方法同样对试验要求高且费用高昂，在生产中还未广泛应用。
【研究亮点】
K模因其简单易用、成本低、方便生产现场操作等特点，是目前企业用于评估铝液质量的主要方法。但是，目前对于含渣量的评估主要是通过人为统计断口照片的夹渣尺寸及数量来完成的。这种方式耗时、耗力，且检测误差较大，不能满足现场的快速检测要求。目标检测算法的快速发展为制造领域的数字化、智能化提供了新的解决方案。
太原科技大学、宁夏大学、栋梁铝业有限公司、中北大学联合研究团队在在2024年第44卷第4期《特种铸造及有色合金》期刊上发表了题为“基于机器学习的铝熔体夹渣自动检测技术”的文章，作者在现有低倍显微断面组织照片与计算机图像识别的基础上，基于YOLOv5模型优化夹渣图像识别算法，增加夹渣图像识别的精确度，减少了角度、光源等不利因素所造成的负反馈影响，通过开发自动化识别图像夹渣并自动统计计算夹渣率的算法，形成熔体夹渣率的快速检测技术，以提升企业及实验室熔体质量检测的效率和精确度。
点击图片阅读原文
【研究方法】
铝合金K模试样制备过程：将精炼除气后的铝合金熔体浇注入K模模具中，待冷却后形成试样，将试样沿凹槽部位折断，形成5个断口，见图1。利用体视显微镜进行断口拍照，统计断口含有的夹渣数量及尺寸并进行计算便可得熔体的夹渣等级。
图1 K模模具示意图及夹渣率检测试样
K模检测标准是通过计算断面夹渣率来评估铝液质量，计算夹渣率时，断口夹渣尺寸等级的对应关系见表1。
根据不同尺寸的夹渣数量、夹渣等级计算夹渣率。根据计算结果，对熔体的夹渣等级进行划分，K模夹渣判定标准见表2。目前，通过肉眼进行图像采集存在数据的偶然性和误差大等问题，本研究将图像识别技术与机器学习相结合，开发K模自动检测夹渣率系统，使检测标准更加精细化。
【夹渣的自动检测原理模型】
机器学习作为一种实现人工智能的方法，是由多层次迭代神经元自动模拟事物特征，从而进行位置和类别预测。目标检测是基于数据驱动的机器学习，检测出需要标注的目标，并确定类别位置，是视觉领域的核心。由于图像采集存在试样形貌的差异以及在获取样本时的光照、遮蔽物、拍摄角度等其他因素的干扰，目标检测一直都是视觉检测领域的挑战性问题。目标检测分为以YOLO、SSD为代表的一阶段目标检测方法和以R-CNN、Faster R-CNN、Mask R-CNN为代表的两阶段目标检测方法。一阶段目标检测方法是直接从输入图像中预测出目标的位置和类别，而两阶段目标检测是先生成候选框，再对候选框进行分类和定位，因此精度高但速度慢。由于工业检测要求实时监测，对检测的速度要求较高，故选择一阶段目标检测方法更为合适。随着一阶段目标检测算法YOLO的不断更新，在能够保证较高检测速度的同时，也能兼顾良好的检测精度。
虽然有研究在夹渣的视觉识别方面进行了诸多探索，但在处理分析过程中，夹渣图像目标检测在应用时仍存在很多问题与挑战。刘锦林等使用CNN及BP神经网络对K模进行渣点检测判断，实现了单图像检测，所用算法对夹渣图像的辨识度较差，对图像质量要求过高。
综合目前在夹渣图像领域的研究，存在的问题如下：
（1）断面图像噪声影响 捕获到的断面图像分布不均，有大量的噪声干扰从而导致失真，噪声的存在降低了真实断面和样本图片之间的匹配度，严重影响后续目标检测的效果。
（2）夹渣边缘不清晰 捕捉到的夹渣图像边缘相较于周围环境并不清晰，导致难以获取目标的具体形状、大小。由于拍摄环境有限，难以精确地对夹渣进行目标检测。
上述存在的问题，使得在目标检测过程中的特征提取十分困难，导致目标检测的效果与可靠性大大降低，从而影响熔体夹渣质量判断的准确性。
YOLOv5模型不同于RCNN（区域卷积神经网络），其使用一体化卷积神经网络回归方法，可以直接预测待检测样本类型和定位待检测样本的具体位置，具有实时检测、精确度高、响应速度快、计算量少等特点其他模型的同训练COCO数据集的性能对比。可以明显看出，YOLOv5响应速度相较于其他模型有明显提升。较之SSD321模型，响应速度提升10倍以上，而平均精度mAP（mean Average Precision）较SSD方法更高，是SSD321模型的1.6倍。因此，本研究选用YOLOv5模型进行目标检测。
图2 YOLOv5与其他模型性能对比
YOLOv5模型的优点在于其对算法进行不断改进，其中输入端提升包括Mosaic数据增强、自适应锚框计算、自适应图像缩放；基准网络融合了Focus和CSP结构等检测算法新思路；Head输出层主要改进的是训练时的损失函数以及预测框筛选，YOLOv5模型的整体框架见图3。
图3 YOLOv5模型的整体框架
根据响应速度、模型网络层数以及模型大小的不同，YOLOv5模型包括YOLOv5s、YOLOv5m、YOLOv5n、YOLOv5l等模型。YOLOv5系列模型性能对比见图4。YOLOv5s模型响应速度更快，模型小但精度相对较低。YOLOv5m的模型网络层数更深更复杂，在训练时耗费的时间更久，但精确度更高。综合考虑响应速度、模型大小、检测精确度等因素，本试验主要用YOLOv5s和YOLOv5m模型进行目标识别。
图4 YOLOv5系列模型性能对比
根据YOLOv5s、YOLOv5m基础模型的框架，通过对图像预处理以及数据增强进行优化后（定义为：YOLOv5so、YOLOv5mo），所开发的K模图像识别程序流程见图5。
图5 K模图像识别程序流程
【图文解析】
通过基于YOLOv5模型的夹渣图像识别算法优化来提升夹渣图像在特征提取、图像分割、匹配识别阶段的精度。首先，对夹渣图像数据进行预处理，采用基于空域的算法进行图像增强，包括点运算、领域去噪等算法，并通过CLAHE算法进行降噪处理。然后使用Labelme工具对预处理后夹渣图像进行打标签操作，并使用Mosaic数据增强方法来增加可用的图像数量，并降低过拟合的可能性。最后，通过回归模型评估混淆矩阵来衡量夹渣目标检测训练的精确度和召回率，并得出该模型的性能。
图6 典型的K模断面夹渣显微组织
图7 不同算法处理结果
图8 CLAHE原理图
图9 Mosaic数据增强模型和Mosaic方法夹渣的目标检测训练结果
图10 回归模型曲线
可视化训练结果与讨论
模型预测效果的评估方法，通过可视化训练结果，比较了YOLOv5so和YOLOv5mo两种优化模型的可视化训练结果。重点讨论了YOLOv5so模型在精确度和召回率方面的表现，并进行了数据增强优化和泛化能力测试。最后，通过样本夹渣尺寸分布结果和夹渣手动标注与自动识别的对比，验证了自动识别准确率更高。
图11 YOLOv5so和YOLOv5mo两种模型的可视化训练结果
图12 基于YOLOv5s模型、YOLOv5mo模型、和YOLOv5so模型的夹渣目标检测精度对比
图13 K模断面夹渣的手动标注与自动识别效果对比
【主要结论】
（1）在目标检测前的图像预处理阶段增加了针对夹渣边缘清晰化图像增强的模块，通过CLAHE等操作，图像经过变换后，解决了断面图像噪声影响，夹渣边缘更加明显，增强了算法的鲁棒性和泛化能力。
（2）与人工检测相比，应用本研究开发的算法，可以实现自动批处理图像数据，且精确度大大提升，降低了人工检测的误差。
（3）YOLOv5so熔体夹渣自动化目标检测算法较YOLOv5s算法，精确度从83%提升至97%。