基于深度学习的瓷砖色差分类方法研究——学习笔记（评价：色差的定义太模糊。。。问题描述不清楚，太水了）

摘要

瓷砖是人类建筑不可或缺的一种材料，而瓷砖品质最重要的指标之一就是色差，一批瓷砖中色差越小，品级越高。目前企业主要是由熟练工人在特定的光照及距离条件下进行筛查，劳动强度大并且效率低，没有固定的判断标准。因此提出利用基于深度学习算法的视觉检测系统代替人工进行瓷砖色差分类，**首先，经过数字图像处理算法对采集的瓷砖图像进行预处理，将瓷砖本体从背景中分割出来 ；然后，利用卷积神经网络分别提取具有色差的两类瓷砖特征，通过监督学习实现瓷砖的色差分类 ；最后，设计了图形用户界面将上述所有图像处理算法及分类算法进行实现，开发可视化人机交互式操作和分类结果显示系统。**实验结果表明 ：基于深度学习的视觉检测系统能够在瓷砖色差分类任务上实现准确分类，且分类效率高、分类结果可视化，具有重要的应用价值

0 引言

瓷砖的色差指瓷砖间的色泽差异，包含颜色与光泽间的总体差别。传统瓷砖色差分类工作主要通过熟练工人用肉眼对同一批烧制的同类瓷砖来进行差异化区分 [1]，且工人们需在特定光线环境下和一定距离内进行观察与对比，从而确定瓷砖的等级与色号 [2]。这种检测工作对检测人员的经验要求高，且工作强度大。与此同时传统瓷砖行业通过人工对瓷砖进行分色，其精度与效率已不能满足愈发增长的生产规模和对瓷砖品级区分精度的要求。因此可以采取基于机器视觉的方法，以机器代替人眼来进行瓷砖色差分类工作。

基于深度学习 [3] 的机器视觉系统首先在生产线采集数字瓷砖图像，然后用数字图像处理算法对原始数据进行预处理 [4] 与图像分割，进而采用基于深度学习的卷积神经网络算法 [5] 实现对具有色差的瓷砖图像间的分类分色，最后通过图形用户界面将瓷砖图像预处理及图像分割结果以及分类结果可视化。最后，将该系统应用于实际的瓷砖生产线下的色差分类任务，证明算法的有效性。

1 瓷砖图像处理

1.1 图像采集

1.2 图像处理

降噪处理 ：对于实地采集的瓷砖图像来说，一般图像尺寸巨大，噪声鲜有肉眼能直接看到的，但这些噪声都是实实在在存在的。常见的图像噪声包括高斯噪声 [7]、瑞利噪声、伽马噪声以及椒盐（脉冲）噪声，其中椒盐噪声其与图像信号强度对比明显，对图像
污染较大，因而在原始图像中较为明显 [8]。本文采用中值滤波算法去除数字瓷砖图像中的椒盐噪声，如图3(a) 所示。

灰度化处理 [9] ：为了方便计算机程序对数字图像的操作，并且简化图像分割时的计算量，本文在图像分割前对降噪后的数字图像做灰度化处理，灰度化处理后如图 3(b) 所示。二值化处理 ：为了更好地让瓷砖与原始图像的背景相区分，对瓷砖的灰度图做进一步的二值化处理。本文采用基于阈值的二值化方法，即设置一个阈值 n，将输入的灰度图像中灰度值 f(x,y) ≥ n的点的灰度值设置为 255，并将这些点称为对象点 [10] ；其他的点之灰度值则设置为 0，这些点称为背景点。该算法的计算公式如（1）所示 ：

式中 f(x,y) 为灰度图像素值，g(x,y) 为二值化后的新图像像素值 [11]。由于原始图像的前景与背景对比较为强烈，本文选用双峰法确定阈值。首先计算出灰度化后的图像的灰度直方图，如图 3? 所示。将两个主要的波峰之间的最低谷作为前景与后景之间的分界线，由于摄像头位于同一位置，所有瓷砖的背景相同，且此处阈值的选取精度要求不高，还需要后续处理，因此选取 100 作为二值化处理时的阈值。二值化处理后的瓷砖图像如图3(d)，可以看出图中的噪声明显减少，并且瓷砖整体更加清晰突出。

形态学操作 ：利用形态学的开操作去除流水线背景中的支架结构对二值图中瓷砖图像的污染以及其他一些微小的噪声 [12]。实验效果如图 4 所示，此时的二值图中基本上只存在形状接近矩形的残缺瓷砖。

基于透视变换的图像分割 ：将形态学运算后的图像用轮廓检测算法得到轮廓集，并求出其中面积最大一个轮廓作为瓷砖轮廓，之后求出瓷砖轮廓最小外接矩形作为最终需要从原始图像中分割出来的瓷砖图像本身。这里使用的最小外接矩形算法为用主成分分析法（PCA）求出轮廓的主方向向量，进而得到轮廓的长宽，最小外接矩形的轮廓（绿色）如图 5。

已求出瓷砖最小外接矩形，由这个矩形的四个角点坐标进行透视变换，使瓷砖图像投影为规整的矩形并平行于转换后完整图像的长宽，最后将此新矩形按角点坐标从转换后完整图像中裁剪出来，如图 6 所示。

2 基于深度学习的瓷砖色差分类算法设计

2.1 数据预处理

为了减小输入卷积神经网络的数据量，将分割好的图像的尺寸缩小为 227×227 的标准尺寸，并且由于数据集本身样本数量不多，需对数据集进行扩充，从而使训练出的模型具有更好的泛化能力，防止神经网络算法可能产生的过拟合现象，本文使用旋转和水平翻转作为数据增广的方法 [13]。为了训练神经网络模型并测试其分类精度，本文将数据集划分为训练集和测试集。并为了保证数据集中不同种类分布的均一性，从两个色号中分别选取 80% 作为训练集，用于网络的特征学习，将两种色号分别剩下的 20% 作为测试集用于测试每次训练完成之后的模型分类效果。

2.2 卷积神经网络的设计

ResNet[14] 的提出就是为了解决深度学习网络随着层数的加深而导致的梯度消失使得网络学习停滞的问题，其巧妙地运用恒等映射并通过快捷连接将其赋予上一模块的输入，从而使得每一层梯度不可能为零，使得每一层的参数可以不断地更新学习下去而不会停滞，使得超深层网络可以实现更加深入的学习 [15]

文 献 中 介 绍 了 18/34/50/101/152 等 多 种 层 数的 ResNet 模 型， 实 验 使 用 的 是 具 有 18 层 结 构 的ResNet18 模型 [16]。对网络进行训练的损失函数选择交叉熵函数，优化算法选择 Adam 算法，并在网络中间引入 Batch Normalization 层防止网络的过拟合 [16]。

2.3 实验设计

超参数是指与数据集无关，只与模型结构相关需在训练之前设定好的参数，主要包括数据集训练周期（epoch）、批量大小（batch size）、优化器的学习率（learning rate）[17]。在上述瓷砖数据集上设定训练周期为 50，批量大小恒定为 64，再分别设定大小为 0.01、0.001、0.0001 的初始学习率进行训练。

如图 7 至图 9 所示，在训练前期，前两者验证模型时准确率波动更大，分析认为这是由于样本数据集不够庞大，两种色差数据较为相似，较高的学习率导致网络的权值与偏置在优化过程中变化过大，导致输出的预测分布无法稳定，但随着损失值逐渐减小，训练集与测试集最终准确率都达到 100% 而实现收敛。

3 瓷砖色差分类平台的设计与实现

之后我会持续更新，如果喜欢我的文章，请记得一键三连哦，点赞关注收藏，你的每一个赞每一份关注每一次收藏都将是我前进路上的无限动力 ！！！↖(▔▽▔)↗感谢支持！