数据增强之 Cutout

备注

[DeVries and Taylor, 2017] 是由 Devansh Arpit、 Stanisław Jastrzębski、Nicolas Ballas、David Krueger、Emmanuel Bengio 和 Yoshua Bengio 于 2017 年发布的一篇研究论文。

这篇论文介绍了一种正则化技术，用于解决卷积神经网络（CNNs）中的过拟合问题。当 CNN 基于有限的数据集进行训练时，就容易出现过拟合的问题，导致网络仅仅是记忆了训练数据，而未能适应新的数据点。

这种正则化技术名为“Cutout”，它涉及到在训练期间随机选择输入图像的正方形区域，将其所有像素设置为零。这个过程在不同的训练示例中随机进行，有助于防止网络过度依赖于特定的特征或输入数据的部分。

该论文提供了实验结果，表明 Cutout 改进了 CNN 在多个图像分类数据集上的表现，包括 CIFAR-10、CIFAR-100 和 SVHN。Cutout 被证明可以显著减少过拟合，并提高 CNN 的泛化性能。作者还将 Cutout 与其他正则化技术（如 dropout）进行了比较，并表明 Cutout 在泛化性能方面优于它们。

总的来说，“使用 Cutout 改进卷积神经网络的正则化”提供了一种有力的正则化技术，可以帮助改善 CNN 的泛化性能。这种方法易于实现并可以轻松集成到现有的 CNN 架构中，因此是处理深度学习应用中的过拟合问题的一种有用技术。

Cutout 技术在很多方面都是可扩展的，因为它的思想是基于一个通用的原则。例如，类似于 Cutout 的技术，如 MixUp，DropBlock 和 DropPath，都是以类似的想法出现的，即在训练期间随机删除或修改输入。这些变体进一步拓展了 Cutout 的应用领域和功效，使其成为更加灵活和适用于更多深度学习应用的技术。

Cutout 使用固定大小的正方形区域，采用全 0 填充，而且允许正方形区域在图片外（由于这点，Cutout 非正方形区域都在边界处）。

• 正方形区域的边长固定；

• 正方形区域使用同一种像素值填充；

• 正方形随机出现在图片中，超出边界的部分被截断。

小技巧

• 正方形边长的设定，是否会覆盖图像主要信息；在尺度不一的实际业务场景中可能影响其效果，比如目标检测中将目标全部覆盖了。

• 使用 Cutout 前，先进行归一化，以降低像素填充的影响。