|
---|---
申请号| CN202410053849.9
公开号（公开）| CN118134841A
申请日| 2024.01.12
申请人（公开）| 超音速人工智能科技股份有限公司(833753)
发明人（公开）| 张俊峰（总); 叶长春(总); 廖绍伟
原文摘要
该专利公开了一种面向光伏产品缺陷检测的深度学习算法。它以深度卷积神经网络作为预训练模型，用特征金字塔网络 FPN 融合预训练模型输出的多尺度特征图，再由区域提议网络 RPN 在特征图上生成候选框；随后通过 ROIAlign 抽取局部特征，并借分类、回归与 FCN 完成缺陷分类、位置回归和掩膜提取。整套流程在缺陷分类与输出效果上准确度更好，定位更精准，描述也更完整全面，从而提升了光伏产品加工环节的缺陷检测水平。
术语
FCN指的是全卷积网络，是深度学习中用于图像处理任务的一种重要架构，相比于传统的卷积神经网络CNN，FCN不仅能够识别图像中的对象，还能在像素级别对图像进行预测，如图像分割、图像生成等。
全卷积网络是一种由卷积层组成的神经网络架构，没有全连接层。相比于传统的CNN，全卷积网络的主要特点在于它的输出层是一个像素级别的密集特征图，每个像素点都对应输入图像中的一个局部感受野，这使得FCN能够对输入图像进行像素级别的预测和分析，比如图像分割，将图像中的每个像素进行分类，标记其所属的语义类别。
全卷积网络的出现在计算机视觉领域不仅在图像分割任务上取得了显著的成果，而且为其他图像处理任务，如图像生成、图像修复等，提供了重要的基础。全卷积网络在计算机视觉领域具有广泛的适用性。
步骤
1.一种光伏产品缺陷检测AI深度学习算法：所述深度学习算法包括如下步骤：
第一步：采用深度卷积神经网络作为预训练模型，对输入的光伏产品图像进行特征提取，获取图像的高层语义信息，得到不同尺度的特征图；
第二步：使用特征金字塔网络结构FPN对预训练模型得到的不同尺度的特征图进行融合，增强模型对不同尺寸产品缺陷的检测能力；
第三步：采用区域提议网络RPN在特征图上生成候选框，这些候选框涵盖了存在缺陷的区域和信息，以实现后续产品的缺陷快速检测；
第四步：使用ROIAlign技术从候选框中抽取出局部特征，以供后续的分类和回归任务使用；
第五步：利用全卷积网络FCN对局部特征进行分类，并同时进行回归操作以精确定位缺陷的位置；
第六步：除了分类和位置回归外，还利用FCN从局部特征中提取掩膜信息，以得到缺陷的精确形状和大小。
2：在第一步中，首先选择适用于光伏产品缺陷检测任务的预训练模型，然后，将预训练模型导入到算法中，并将待检测的光伏产品缺陷图像输入到模型中。
3.在第二步中，利用特征金字塔网络融合来自不同尺度的特征图，同时利用低层特征图的空间信息和高层特征图的语义信息，将这些特征图进行融合。
4.在第三步中，使用区域生成网络来提取候选框，RPN网络得到所有anchors的分类、回归信息，RPN基于特征图。
5.在第四步中，使用ROIAlign操作来抽取候选框内的局部特征，根据RPN网络输出的分类、回归信息，经过NMS得到最终的ROIs。
6.第五步中，对筛选出来的ROIs进行分类、回归、mask分割操作，使用分类器对候选框进行缺陷分类。
7.第六步中：分类器是传统的机器学习方法。
8.第七步中：分类器是深度学习方法。
9.在第六步，通过位置回归，根据分类结果和候选框的位置信息，对缺陷的位置进行进一步的调整和修正，同时，根据FCN得到的掩膜信息，进一步提取缺陷信息。
总结
概括来说，这套算法先用预训练模型抽取图像特征，再用 FPN 融合多尺度信息，接着用 RPN 生成候选框、用 ROIAlign 抽取局部特征，最后依靠分类、回归与 FCN 完成缺陷分类、位置回归及掩膜提取。它在分类准确性、定位精度与描述完整性上都有不错表现，对光伏产品加工中的缺陷检测效果提升明显。
硬件需求
工控机+显卡
测试环境
操作系统：win7 开发环境： VS2019 C++17
或者 操作系统：win10 开发环境： VS2022 C++17
如无特殊说明，本算法 用C++实现。
评论0