雨培学长将在5月31日下午2:30

与大家继续探讨小样本问题

欢迎扫描文末二维码预约直播围观~

在工业生产制造中，由于生产过程是一个多因素耦合的复杂过程，生产过程中的任何异常都会导致产品缺陷产生，及时识别异常产品的缺陷模式是提高生产质量和生产效率的有效途径，所以缺陷检测具有十分重要的研究意义。

早期的产品缺陷模式识别主要是通过机器学习方法进行的，如支持向量机、反向传播网络等。这些方法与用肉眼直接对产品缺陷进行识别相比，大大降低了工作量。但是这些早期方法存在以下不足：识别准确率低且需要大量的标签数据对模型进行训练。近年来随着深度学习的发展，大量基于卷积神经网络的算法在视觉任务中大放异彩。由于卷积神经网络具有非常强大的特征提取能力，卷积神经网络在缺陷检测任务中得到了广泛的应用。

与传统的机器学习方法相比，基于卷积神经网络的深度学习方法在缺陷识别领域具有更高的识别准确率和工作效率。但是这种方法和机器学习方法具有同样的缺点，首先是模型训练需要大量的标签数据，而具有缺陷模式标签的图像是不容易获取的，因为获取带有产品缺陷模式标签的图像需要人工监督，即需要大量有经验的专业人员进行人工标注，这是非常昂贵且耗时的。此外在某些高度自动化的生产场景中，产品的良率特别高，收集缺陷样本非常耗时，而当前的用于缺陷检测的深度学习方法大多是基于大量缺陷样本建立模型，缺陷样本的缺乏导致模型难以上线。针对某些行业比如汽车行业的多型号小批量生产场景(每种型号产品只生产几天)，在完成缺陷样本收集前某种型号产品已经不再生产了，这种场景下大量的缺陷样本收集是不可能的。此外，由于缺陷是由生产过程中的非受控因素产生的，缺陷的形态是多种多样的，各种形态的样本很难收集完整，这也限制了深度学习在工业检测领域的应用。

为了拓展深度学习在工业检测领域的应用范围及提升易用性，小样本检测算法的研究成为必然。

解决工业检测小样本问题有两种路径，第一种是工程路径，第二种是算法路径。其中工程路径常见有两种方法，第一种是基于真实产品手动制造缺陷，第二种是基于真实图像手动仿真缺陷。这两种方法的优势在于操作简单，产生的缺陷也与真实缺陷比较接近，但劣势也比较明显。基于真实产品手动制造缺陷会对产品造成不可逆的破坏，对于高价值产品破坏成本较高，而且，因为缺陷均由非受控因素产生，手动制造的缺陷不一定与实际缺陷情况完成吻合，会存在一些差异。而基于图像手动仿真缺陷则存在对操作人员要求高，产生速度慢的问题。因此，使用工程路径解决小样本问题可以在一些比较紧急的情况下使用，比如项目初期需要紧急上线时。

从算法路径解决小样本问题，基本的思路有两种，第一种是增加样本，第二种是减少算法对样本的依赖。基于第一种思路的算法研究方向有数据增广和缺陷生成，其中数据增广在深度网络训练时为了防止过拟合已成为一个标准手段，站在工业检测的视角上看，数据增广是一种性价比比较高的扩增样本的手段，但因为目前数据增广的方法大多是基于一些传统图像处理方法，所以能仿真缺陷的位置和一些简单纹理变化，但无法仿真缺陷的形状和复杂纹理，所以数据增广一般作为一个基础手段，可以解决一部分小样本问题，对于一些简单场景是有帮助的。而要解决更复杂场景的样本生成问题，需要用缺陷生成算法。我们将缺陷生成算法的研究分为三个阶段，第一阶段是单一产品单一型号缺陷生成，第二阶段是单一产品多型号缺陷生成，第三阶段是实现跨产品缺陷的生成。当前缺陷生成算法大致可以分为两种，一种是自动生成算法，整个生成过程完全不需要人工干预，第二种是半自动生成算法，需要一些简单的人工交互。自动生成算法的典型算法有dcgan[1] 、wgan[2] ，输入一张缺陷图像可以直接生成多张真实的缺陷图像。半自动生成算法的典型算法有cgan[3] 、cvae[4] 、pix2pix[5] ，需要人工交互给定缺陷生成的类别或形状，然后根据给定信息生成指定类型缺陷。但当前无论是自动生成算法还是半自动生成算法，对训练样本的需求量虽然比监督算法少，但还是有一定要求，而且目前还没有一种能在所有数据上通用的解决方案，当前仍需要针对不同的场景制定不同算法版本。通用的缺陷生成算法是这个研究方向下一步的重点。

算法路径解决小样本问题的第二个思路是减少算法对样本的依赖，基于这个思路衍生出两条算法路线，第一条路线是完全不需要缺陷样本的非监督学习算法，基于非监督算法训练模型时仅需要ok图像参与训练即可。第二条路线仍基于有监督算法，对缺陷样本的需求量大大降低。

非监督算法实现的思路大体上分为两种，一种是基于生成模型，基本思路是训练一个只能生成ok图像的生成网络，推理时针对输入的ng图像，找到一个与ng图像最接近的ok图像，然后求两张图的差异，根据差异大小判断是否为ng，典型算法有ae，vae[6] ，ano-gan[7] 等。另一种思路是基于特征表示，基本思路是找个一个较好的特征表示，将ok图和ng图分别映射到高维特征空间，ok图对应特征点的类内距离很小，推理时一张图对应特征点与ok图特征簇的中心距离很远就可以判定为ng，典型算法有svdd[8] 、ocsvm、deepsvdd[9] 等。

基于有监督算法减少样本依赖的思路分为两种，一种是对输入数据进行归一化，降低不同缺陷样本之间的差异，归一化算法基于传统图像处理算法实现，需要针对不同场景做不同的算法设计，很难有通用性，因此仅作为一些临时处理手段。另一种思路是基于迁移学习，典型的算法研发方向是域适应(domain adaption)和域泛化(domain generation)。da处理的问题要求可以获取一部分目标域的图像，且不能实现跨类别的迁移，因此适合用于处理跨产品型号的问题。dg在da的基础上，放宽了对目标域数据的要求，可以不需要目标域数据，且可以实现跨类别迁移，因此可以实现跨产品、跨型号、跨缺陷类别的迁移。da算法当前研究的基本思路有三种，一是基于差异度量，核心思路是找一个差异度量函数，让源域与目标域样本的特征在这个度量函数下最小，代表算法为mmd[10] ;二是基于对抗，核心思路是通过构造对抗网络，训练一个分类器让判别器无法区分数据是来自源域还是目标域，这样就实现了源域和目标域的融合，代表算法为dom confusion [11] ;三是基于重构，核心思路是将构造源域和目标域的通用特征，仅利用通用特征去执行相应的任务，代表算法为domain separation networks[12] 。dg算法当前的研究思路也分为三种，第一种是推理时选取一个分布最近的源域的模型直接使用，第二种是通过拆解域相关与域无关的组件并进行组合来实现对目标域数据的处理，第三种是训练得到域不变的特征[13] 。

当前基于有监督的缺陷检测算法，在数据量充足的场景下已经逐步成功落地，但工业场景具有一定的离散性，大部分应用场景均为小样本检测场景，小样本问题的解决有助于将ai技术应用于千千万万工厂。虽然当前针对小样本问题有一些初步的解决思路，但该问题的彻底解决需要更深入的研究及更大的投入。阿丘科技将ai for every factory作为使命，会坚定不移地持续研究小样本问题，也希望可以和有志于研究工业ai检测问题的工业人一起交流进步，推动小样本问题的彻底解决。

5月31日下午2:30-3:30

直播间在线交流

吴雨培学长在线等你哦

(微信扫一扫预约直播，有直播提醒哦)

文献引用

[1] radford a , metz l , chintala s . unsupervised representation learning with deep convolutional generative adversarial networks[c]// 2015.

[2] arjovsky m , chintala s , bottou l . wasserstein gan[j]. 2017.

[3] mirza m , osindero s . conditional generative adversarial nets[j]. computer science, 2014:2672-2680.

[4] sohn k, lee h, yan x. learning structured output representation using deep conditional generative models[j]. advances in neural information processing systems, 2015, 28: 3483-3491.

[5] isola p, zhu j y, zhou t, et al. image-to-image translation with conditional adversarial networks[c]//proceedings of the ieee conference on computer vision and pattern recognition. 2017: 1125-1134.

[6] kingma d p, welling m. auto-encoding variational bayes[j]. arxiv preprint arxiv:1312.6114, 2013.

[7] schlegl t, seeböck p, waldstein s m, et al. unsupervised anomaly detection with generative adversarial networks to guide marker discovery[c]//international conference on information processing in medical imaging. springer, cham, 2017: 146-157.

[8] tax, david mj, and robert pw duin. "support vector data description." machine learning 54.1 (2004): 45-66.

[9] ruff, lukas, et al. "deep one-class classification." international conference on machine learning. pmlr, 2018.

[10] tzeng e , hoffman j , zhang n , et al. deep domain confusion: maximizing for domain invariance[j]. computer science, 2014.

[11] tzeng e , hoffman j , darrell t , et al. simultaneous deep transfer across domains and tasks[j]. 2015 ieee international conference on computer vision (iccv), 2017.

[12] bousmalis k, trigeorgis g, silberman n, et al. domain separation networks[j]. advances in neural information processing systems, 2016, 29: 343-351.

[13] j wang, lan c , liu c , et al. generalizing to unseen domains: a survey on domain generalization[j]. 2021.

（文章来源：吴雨培 北京阿丘科技算法总监）

以上是网络信息转载，信息真实性自行斟酌。