基于AI图像识别的智能缺陷检测系统，在钢铁行业的应用-技术方案

概述

废钢智能检判方案简介

废钢智能检判系统优势及价值

废钢人工检判过程

废钢等级检判标准

废钢检判结果

智能检判方案-废钢智能检判算法

算法一：废钢等级识别算法

算法二：不合格料的位置识别算法

算法三：不合格料的类型识别算法

算法四：不合格料重量输出算法

算法五：密闭件识别算法

算法六：油污件识别算法

补充算法

智能检判方案-智能检判算法流程

废钢图像数据采集

废钢图像数据标注

软件功能描述-智能远程操作台

移动APP

硬件配置

硬件示意图硬件布置示意图如下：

硬件清单

网络方案-网络拓扑图

关于网络的其他要求

注意：后续技术分享，第一时间更新，以及更多更及时的技术资讯和学习技术资料，将在公众号CTO Plus发布，请关注公众号：CTO Plus

原文：基于AI图像识别的智能缺陷检测系统，在钢铁行业的应用-技术方案 (qq.com)

在公众号CTO Plus前面的文章《基于AI图像识别的工业缺陷检测应用系统（GPU&FPGA）》中对我的AI图像识别产品在工业领域的缺陷检测应用场景做了大概的描述，包括应用场景、实施案例和优势。本篇文章我将进一步介绍下这款产品的技术方案。

如有应用需求和问题咨询欢迎后台联系本文作者，联系方式（同微信）：15801030767

概述

当前国内外钢铁企业在废钢检判过程主要依靠人工识别判定，由于缺乏高
效、准确、方便的验收工具，废钢质检员往往只能依靠个人的专业知识和经验。

废钢厂废钢品种繁多，等级细分明确，废钢质量的检判最主要是通过人工
肉眼目测的方式对废钢进行判级以及识别杂质等不合格料。传统的质检判定主观性较强，判定异议较多，系统性的管理与追溯不够完备。

废钢智能检判系统将实现自动化数据采集与精准化数据管理，并应用深度
图像识别技术，辅助人工进行废钢的判级和不合格料的识别，可识别各种不同级别废钢的比例，并给出定价和杂质重量，以及提供密闭件油污件报警。

根据目前实际情况，可以先在炼钢车间的 2 个车位做项目验证，验收通过
后再推广或者迁移到其余车位。

废钢智能检判方案简介

自动识别车体，通过目标检测算法直接锁定卸货车辆开始检测。
算法满足多种场地和卸货场景。包括：航吊车吸盘、抓钢机抓取、直卸车卸货摊平、码头船运场景等。
通过多重维度（厚度、形状、大小、颜色、新旧）精准识别废钢等级和扣杂重量。
可识别多种不合格料型：杂质、密闭件、油污件、超长件、次料、机械生铁等，并给出实时的报警。
多路监控视频实时切换，并可提供历史回看。系统信息达到可追溯，可核查。
支持多个卸料位同时工作，即多用户同时工作。

废钢智能检判系统优势及价值

避免人工检判误差导致的损失。人工检测结果难免不稳定，低于评判基准时则会造成钢厂成本的增加。
系统可实现 7*24 检判，全天可接收废钢车辆，有效提高工作效率。
提高公开公正性，系统有视频和高清图片存储，可审计可追溯，实现透明化的管理。
有效规避安全隐患，质检员可远离卸货现场，远程与系统协同工作。
有效提高识别不合格料的准确率，系统算法可精准识别密闭件、油污件等不合格料，严格杜绝危险料型进炉危险。
大大降低了相关人员的工作强度，有助于提高员工满意度，减少人才流失。

废钢人工检判过程

检判流程：

废钢货车过磅称重，并先自己申报废钢料型。
开入指定卸料检判位，用吸盘卸料。一般由 1-2 名检验员进行评判。
检验员观察车厢及吸盘卸下来的料，废钢卸完后检验员根据经验直接给出该车等级和扣杂等结果，并将结果录入手操器，进入公司系统。
空车过磅称重，结算。

废钢等级检判标准

项目验证阶段主要实现边角料和重废等散料的智能检判，如表 2-1 所示。将来有机会再一起尝试破碎料的智能检判。

废钢检判结果

当前检判结果由质检员输入到手操器，包含车牌、公司、类型、扣杂等信息，并自动同步到公司计算机系统。

智能检判方案-废钢智能检判算法

算法一：废钢等级识别算法

【采用深度学习、目标检测等算法，首先对图像进行预处理，直方图均衡化以及图像形态学处理。再对图像质量进行检测。最终得出废钢等级的输出结果】

算法二：不合格料的位置识别算法

【采用 YOLO with Darknet，对输入的每张图片，可以识别并标记出杂质等不合格料的位置。】

算法三：不合格料的类型识别算法

【采用 Fast R-CNN，对照片中潜在的杂质目标进行搜索，划定位置范围，然后识别出其所属的类别】

算法四：不合格料重量输出算法

【从 ResNet，Inception，VGG 等算法模型中，选取并训练一个深度卷积神经网络，以照片作为输入，并直接以杂质等不合格料作为输出，实现端到端的含量估算】

算法五：密闭件识别算法

【使用直方图均衡化和伽马矫正等算法，优化成像效果，突出照片目标。使用平滑处理降低图片中的噪声，使用边缘增强突出密闭件轮廓，并给出预警。】

算法六：油污件识别算法

【使用直方图均衡化和伽马矫正等算法，优化成像效果，突出照片目标特征。使用平滑处理降低图片中的噪声，使用边缘增强突出油污件轮廓，并给出预警。】

补充算法

【数据增强】

针对系统上线初期数据量较少的情况，可采用数据增强的方法扩充训练数据集。对已收集到的图片进行随机旋转、随机剪裁、色彩抖动、噪声扰动、水平翻转、竖直翻转中的一种或多种操作，人工增加训练集的大小，丰富数据多样性，避免过拟合。

【迁移学习】

利用公开数据集，比如 ImageNet 对 YOLO 等神经网络模型进行预训练，在其基础上进行参数与知识迁移，从而在更少的计算资源开销与训练时间内实现对废钢检测任务的支持。

智能检判方案-智能检判算法流程

训练和推理流程：

废钢图像数据采集

在废钢车间内布点架设摄像头，采集卸料过程中的废钢图像数据。采集出来的图像有两个用途：抽取部分样本做图像标注，用于算法模型训练；实际生产过程中，作为数据源，传递给废钢智能检测算法数据推理系统，用于数据推理。
现场使用摄像头进行 7*24 小时全程监控，以录像的形式保存，以截图的方式进行截选图片，进行图片的采集工作。
截图原则: 每车的一次卸料，车辆停靠好位置后，吸盘对钢料有若干次吸取动作，原则上，首先截选车辆停靠后的初始图片，以及截选每一次卸料动作结束后的一张图。即截选第一次卸料动作之前的图，以及每一次动作结束后的图。
摄像头角度的调整:卸料相对来说比较固定，为了获得高质量的图片，不太需要调整摄像头的角度、焦距等设置，确保摄像头能拍摄到车辆的完整卸货过程即可。
拍摄内容: 以当前卸料的货车为主体内容，能够看到大部分的车头、大部分的车轮、完整的车厢。

废钢图像数据标注

由废钢厂质检员和专家对收集到的图片数据进行标注和指导，此过程，我司会派遣专业标注工程师进行驻场协助，根据具体情况来安排驻场时间。数据标注为算法重要实现的前提，需要废钢厂质检员和专家的经验指导。

标注举例说明：质检员可通过看卸货图像，圈出不合格料的边界和位置以及写出目测的重量数值；质检员可通过看卸货图像，写出该图片中废钢的等级。

软件功能描述-智能远程操作台

基于大数据和人工智能技术，对钢厂内的各类信息源进行整合与分析，形成了一套操作简单、功能齐全的可视化信息平台。平台通过角色和权限管理，帮助提升管理者的工作效率，辅助一线作业工人进行科学决策，同时降低运维人员的操作负担。

（1）智能监控：底层 AI 技术加持，实现关键环节作业监控

智能检判：基于卸货过程中的图像数据，通过 AI 算法进行智能分析，实现对废料重量的实时分析及卸货状态预警；
智能分析作业行为：在有人员作业的场景，调用 AI 算法，进行作业行为和护具佩戴的智能分析，并对发现的违规操作进行提示；（可选）
监控屏幕自由组合：可根据业务需求，自由调取摄像头列表中的监控画面；

（2）控制台：场内数据实时更新，帮助企业掌握作业动态

智能化流程管理：利用摄像头和识别算法，将入场审查、称重、卸货、结算离场等关键环节的数据进行信息化整合，实现对场内全流程业务数据的统一管理；
场内业务实时统计：自动整合当日入场车辆数、废料重量、报警信息等关键业务信息，并进行实时动态更新；
智能检判算法表现：直观展示关键业务环节中使用的智能检判算法的资料和模型表现；
摄像头状态一览：展示⼚区内所有摄像头的信息和监控状态；

（3）数据⾯板

数据面板：将历史业务数据可视化，帮助企业透析运营状况
订单总量、分布及趋势：对企业历史订单数量进行定制化的统计分析，包括同比环比、增量存量等；
智能检判算法的历史表现：将智能检判算法模型的历史表现可视化，轻松追溯预测记录；
卸货报警消息统计：对关键业务的报警信息进行可视化，掌握订单质量；
回收钢材种类的分布及趋势：将各类钢材重量比值和趋势可视化，直观了解业务状态；
智能分析：支持标注、训练及服务更新，赋能算法持续迭代
数据标注：使用定制化图像标注工具，对卸货场景的图片数据进行标注，系统自动将标注后的图片文件转化为标准模型输入结构；（可选）
模型训练：系统内置 AutoML 模块，用户只需要简单的选择数据集与模型种类，即可快速训练出新的模型及测试结果；（可选）
服务更新：自动汇总所有已上线及未上线过的服务及其模型表现，轻松对服务进行更新；（可选）

移动APP

为实现工厂作业全流程的信息化、智能化目标,“卸货智能助手”APP 辅助卸货现场的质检员，完成卸货区车辆定位、预测服务调用、卸货报警等多项工作。

硬件配置

硬件示意图
硬件布置示意图如下：

每个车位上方安装高清网络摄像头，尽量满足无遮挡正面俯视车厢的角度，可以安装到车间两侧的墙上，与行车吸盘互不干扰。

硬件清单

硬件配置清单如下：

网络方案-网络拓扑图

各服务器均考虑负载均衡、互为备份，不仅保证系统可以平滑升级，也保证单点服务器出现故障以后，不会导致系统出现致命错误而停止服务；中心与移动信息中心通讯链路采用移动专线接入方式，保证数据采集设备通讯的安全性、稳定性及速度。

系统各主机之间均采用千兆链路连接，可以保证系统在扩容后内部网络依然能够满足各主机间数据传输需要。