引用

E. D. Cubuk、B. Zoph、D. Man、V. Vasudevan and Q. V. Le、&amp； #039； auto augment:learningaugmentationstrategiesfromdata，&amp； #039； 2019 IEEE/cvfconferenceoncomputervisionandpatternrecognition ( cvpr )，2019，pp. 113-123，DOI:10.1109/cvpr.2019

摘要

数据增强技术是提高现代图像分类精度的有效技术。 但是，当前的数据扩展实现都是手工设计的。 本文介绍了一种改进的自动搜索数据扩展策略，称为自动代理的简单过程。 实现设计了一个搜索空间，其中一个策略由多个子策略组成，并为每个小批量中的每个图像随机选择一个子策略。 子策略由两个操作组成，每个操作包括平移、旋转和剪切等图像处理函数以及应用这些函数的概率和幅度。 我们使用搜索算法寻找最佳策略，使神经网络在目标数据集上产生最高的验证精度。 我们的方法在CIFAR-10、CIFAR-100、SVHN、ImageNet (无附加数据)中实现了最先进的精度。 在ImageNet中获得了83.5%的Top-1精度，比以前的83.1%的记录提高提高了0.4%。 在CIFAR-10上实现了1.5%的错误率，比以前的技术水平提高提高了0.6%。 我们发现扩展策略可以在数据集之间迁移。 通过ImageNet学习的政策成功地实现了对其他数据集的显著改善，如Oxford Flowers、Caltech-101、Oxford-iit Pets、FGVC Aircraft、Stanford Cars等。

引言

深度神经网络是一个强大的机器学习系统，在训练大量数据时往往能很好地工作。 数据扩展是通过随机扩展提高数据量和多样性的有效技术在图像领域，经常会移动几个像素或水平翻转图像。 直观上，数据扩展用于教授有关数据区域不变性的模型。 对对象进行分类通常对水平翻转和移动不敏感。 网络体系结构也可以用于硬编码不变性。 卷积网络具有平移不变性。 但是，通过数据扩展合并潜在的不变性比将不变性直接硬编码到模型架构中要简单。

表1

表1显示了本论文的错误率( % )和迄今为止5个数据集的最佳结果( ImageNet为Top-5，其他为Top-1 ) )的比较。

但是机器学习和计算机视觉领域的一大焦点是设计更好的网络体系结构。 我很少关注寻找更好的数据扩展方法，包括更多的不变性。 例如，2012年在ImageNet中引入的数据扩展方法仍然是标准的，变化很小。 即使发现了特定数据集的增强，通常也无法高效地迁移到其他数据集。 例如，在CIFAR-10中，在训练期间水平翻转图像是一种有效的数据增强方法，而在MNIST中则不是。 因为这些数据集有不同的对称性。 自动学习数据扩展的需求最近被作为重要的未解决的问题提出来。

本文旨在自动化找到目标数据集的高效数据扩展策略的过程。 在我们的实现(第3节)中，每个策略都表示可能的扩展操作的一些选择和顺序。 每个操作都是图像处理函数(例如平移、旋转或颜色归一化)、函数应用的概率以及他们应用的规模。 通过使用搜索算法，训练神经网络找出这些操作的最佳选择和顺序以获得最佳验证精度。 在我们的实验中作为检索算法使用了强化学习，但是如果使用更好的算法的话可以进一步改善结果。

通过广泛的实验，AutoAugment通过以下方式实现：1)将AutoAugment直接应用于感兴趣的数据集，将通过最佳扩展策略( AutoAugment-direct )和2 )学习的策略应用于新的数据集在直接应用方面，在CIFAR-10、缩小CIFAR-10、CIFAR-100、SVHN、缩小SVHN、ImageNet等数据集上达到了领先的精度。 不包含附加数据。 CIFAR-10的错误率为1.5%，优于以前的领先0.6%。 SVHN将最先进的错误率从1.3%提高确定为1.0%。 在减少的数据集上，我们的方法在不使用未标记数据的情况下达到了与半监督方法相比的性能。 在ImageNet中，实现了83.5%的Top-1精度，比以前的83.1%的记录好了0.4%。 其次，如果直接申请太高，转移增值政策是个好选择。 迁移扩展策略时，证明在一个任务中发现的策略可以很好地泛化到不同的模型和数据集。 例如，在ImageNet中发现的策略大大改善了各种FGVC数据集。 使用ImageNet策略进行训练可以分别减少1.2%和1.8%的测试集错误，甚至对于使用ImageNet预训练的用于调整权重的数据集，如Stanford Cars和FGVC Aircraft。 该结果表明迁移数据增强策略为标准权重迁移学习提供了替代方法。 表1总结了我们的结果。

相关工作

人工设计了一种常用的图像识别数据增强方法，优化的增强策略是针对特定数据集。 例如，在MNIST中，大多数顶级模型都使用弹性变形、缩放、平移和旋转。 随机裁剪、图像镜像和变色/白化在自然图像数据集(如CFAR-10和ImageNet )中更常见。 这些方法是手工设计的，需要专业知识和时间。 从数据中学习数据扩展策略的方法原则上适用于任何数据集。

本文介绍了如何从数据中自动发现数据扩展策略。 受体系结构检索最新进展的启发，其中强化学习和进化被用于从数据中发现模型体系结构。 这些方法虽然改进了人工设计的体系结构，但仅靠体系结构搜索无法突破CIFAR-10错误率2%的障碍。

到目前为止的增强学习数据的尝试包括智能增强，提出了通过合并来自同一个班级的两个以上的样本来自动生成增强数据的网络。 Tran等人使用贝叶斯方法根据从训练集中学到的分布生成了数据。 DeVries和Taylor在学习的特征空间中使用简单的变换增加数据。 对抗网络的生成也用于生成附加数据。 我们的方法与生成模型的重要区别在于，我们的方法生成代码变换操作，而生成模型，例如GAN直接生成放大数据。 一个例外是Ratner等人的研究，他们使用gan生成了描述数据增强策略的序列。

AutoAugment直接在感兴趣的数据集上查找最佳扩展策略

将寻找最佳增益策略的问题表达为离散搜索问题(参照图1 )。 我们的方法包括两个部分：搜索算法和搜索空间。 在高级别，搜索算法(被实施为控制器RNN )包括对数据扩展策略s进行采样和使用什么样的图像处理操作、批量使用操作的概率和操作规模的信息。 我们方法的关键是策略s用于训练具有固定架构的神经网络，其验证精度r被发送回更新控制器。 由于r不是微小的，所以控制器将使用策略梯度方法进行更新。 下一节将详细介绍这两个组件。

图1 .使用搜索方法的框架概述

搜索空间详细信息：在我们的搜索空间中，一个策略由五个子策略组成，每个子策略由两个顺序应用的图像操作组成。 另外，各操作也与1 )该操作适用的概率，2 )操作的规模这2个超级参数相关联。

图2

图SVHN中发现的策略之一，以及如何使用该策略在用于训练神经网络的原始图像中生成扩展数据。 该战略有五个次级战略。 对mini-batch的每幅图像，随机均匀地选择子策略，生成变换后的图像对神经网络进行训练。 每个子策略由两个操作组成，每个操作都与两个数字相关联：调用该操作的概率和操作的宽度。 由于调用动作的概率，此动作可能不适用于此小批次。 但是，适用的情况下，以固定宽度适用。 通过展示使用同一个子策略，一个图像在不同的小批量上如何进行不同的转换，强调应用子策略的随机性。 如文中所述，在SVHN中，AutoAugment更频繁地选择几何变换。 可以看出Invert为什么是SVHN中常用的操作。 因为图像中的数字对于变换是不变的。

图2显示了一个在搜索空间中具有五个子策略的策略示例。 第一个子策略指定ShearX的应用顺序，然后指定Invert。 应用ShearX的概率为0.9，应用时的订单为7/10。 然后是应用概率为0.8的Invert。 Invert操作不使用振幅信息。 强调这些操作按指定顺序应用。

我们在实验中使用的操作来自受欢迎的Python图像库PIL。 一般来说，PIL中考虑所有将图像作为输入接收并输出的函数。 我们还使用了两种有前途的扩展技术： Cutout和SamplePairing。 搜索操作包括： ShearX/Y、TranslateX/Y、Rotate、AutoContrast、Invert、Equalize、Solarize、Posterize、Contrast、Color、bror、brior 每个操作还具有默认振幅范围。 这将在第四节中详细讨论。 将幅度范围离散化为10个值(等间隔)，可以使用离散搜索算法找到它们。 同样，将应用该操作的概率离散化为11个值(等间隔)。 ( 161011 )在两个可能的空间中寻找各个子策略是检索问题。 但是，我们的目标是同时找到五个这样的子战略以提高多样性。 具有五个子策略的搜索空间可能有( 161011 ) ^102.91032种。

使用的16种操作及其默认值的范围如表6所示。 请注意，我们的搜索空间没有显式的Identity操作； 此操作可以通过调用隐式、概率设置为0的操作来实现。

表6 .控制器在搜索过程中可以选择的所有图像转换列表

表6

搜索算法详细信息：我们在实验中使用的搜索算法使用的是强化学习。 搜索算法有两个组成部分。 控制器，它是循环神经网络、训练算法、近端战略优化算法。 在各步骤中，控制器预测基于softmax决定； 然后，将预测作为嵌入信息输入到下一步骤中。 控制器总共有30个softmax预测，预测5个子策略。 每个都有两个操作，每个都需要操作类型、规模和概率。

控制器RNN的训练：控制器使用奖励信号进行训练，这是作为探索过程的一部分训练的神经网络——在改善子模型泛化方面策略的效果。 在我们的实验中，我们留下了用于测量子模型泛化的验证集。 使用通过对不包含验证集的训练集应用五个子策略生成的扩展数据对子模型进行训练。 对于每个小批量样品，随机选择五个子策略之一来扩展映像。 然后在验证集中对子模型进行评估并测量准确性，该准确性将用作训练循环网络控制器的鼓励信号。 在每个数据集上，控制器采样大约15，000个策略。

控制器RNN体系结构和培训超级参数：遵循“learningtransferablearchitecturesforscalableimagerecognition”培训计划和超级参数更具体地，控制器RNN是单层LSTM，每层包含100个隐藏单元，用于与确定每种架构相关联的两个卷积单元(其中b通常为5 )的两个5B softmax预测。 控制器RNN的10B个预测中的每一个都与一个概率相关联。 子网的联合概率是这10B个softmax所有概率的乘积。 该联合概率被用于计算控制器RNN的梯度。 坡度将根据子网验证精度进行缩放，并更新控制器RNN。 这样，控制器就会为坏的子网分配较低的概率，为好的子网分配较高的概率。 与“learningtransferablearchitecturesforscalableimagerecognition”类似，采用学习率为0.00035的近端策略优化( PPO )。 为了鼓励搜索，还使用权重为0.00001的熵惩罚。 在一种实现中，基线函数是先前报酬的指数移动平均值，权重为0.95。 的权重统一初始化在-0.1和0.1之间。 为了方便起见，决定使用PPO训练控制器。

搜索完成后，将5个最高策略中的子策略连接到一个策略(包括25个子策略)。 包含这25个子策略的最终策略将用于训练每个数据集的模型。 上面的搜索算法是可以用来找到最佳策略的许多可能的搜索算法之一。 各种离散搜索算法，包括遗传编程和随机搜索，可以用来改进本文的结果。

试验和结果

实验总结

本节根据经验研究AutoAugment在两个用例中的性能。 自动直接和自动自动传递。 首先对自动代理进行基准测试，然后直接在竞争激烈的数据集中搜索CIFAR-10、CIFAR-100、SVHN和ImageNet数据集。 结果表明，直接应用自动代理大大改善了基线模型，给这些困难数据集带来了前沿的准确性。 然后讨论扩展策略在数据集之间的迁移性。 具体而言，在ImageNet中为细分分类数据集(如Oxford 102 Flowers、Caltech-101、Oxford-IIIT Pets、FGVC Aircraft和Stanford Cars )找到的最佳扩展此外，结果表明，扩展策略具有惊人的可转移性，极大地改善了这些数据集上的强基线模型。 最后，第五部分将AutoAugment与其他自动数据扩展方法进行比较，表明AutoAugment明显更好。

4.1.CIFAR-10、CIFAR-100、SVHN结果

虽然CIFAR-10有50，000个培训示例，但我们将在一个称为CIFAR-10缩减的小数据集上执行搜索的最佳策略。 该数据集由4,000个随机选择的样本组成，通过增强的搜索过程可以节省训练子模型中的“时间”。 固定训练：在时间内，我们发现允许子模型为更多的纪元进行训练比使用更多的训练数据为更少的纪元进行训练更有用。 在子模型体系结构方面，使用了小型的wideresnet-40-2(40层-2的加宽系数)模型，训练了120个时代。 使用小的Wide-ResNet是为了提高计算效率。 这是因为从一开始就训练每个子模型以计算控制器的梯度更新。 我们使用了10^{-4}的权重衰减、0.01的学习率、有一个退火周期的馀弦学习衰减。

在减少的CIFAR-10上搜索时发现的策略随后将用于培训CIFAR-10、减少的CIFAR-10和CIFAR-100的最终型号。 如上所述，我们从5个最高策略中连接子策略，形成了一个具有25个子策略的单一策略，用于CIFAR数据集上的所有AutoAugment实验。

基线预处理遵循最先进的CIFAR-10模型的惯例：数据标准化、50%概率水平翻转、零填充、随机裁剪，最后使用16x16像素的Cutout。 除了标准的基线预处理外，还应用了自动授权策略。 首先对一张图像应用现有基线方法提供的基线扩展，然后应用自动授权策略，再应用Cutout。 没有优化Cutout区域的大小，使用了16像素的推荐值。 因为Cutout是搜索空间中的操作，所以Cutout可能在同一图像中使用两次。 第一次使用学习区域大小，第二次使用固定区域大小。 实际上，在第一个APP应用程序中执行“Cutout”操作的概率很低，因此通常在特定图像中使用“Cutout”一次。

在CIFAR-10中，自动代理主要选择基于颜色的转换。 例如，CIFAR-10中最常用的转换是平均、自动对比度、颜色和亮度。 请参见附录表1中的说明。 像ShearX和ShearY这样的几何变换很少出现在好的政策中。 此外，转换Invert几乎不适用于成功的战略。 在CIFAR-10上找到的策略包含在附录中。 接下来，我们将使用减少CIFAR-10的策略来说明CIFAR数据集的结果。 所有报告的结果都是五次或更多次运行的平均值。

CIFAR-10的结果。 表2显示了不同神经网络结构上测试集的正确性。 TensorFlow实现了Wide-ResNet-28-10、Shake-Shake、ShakeDrop模型，是权重衰减和学习率的超参数，为基线增强的常规训练提供了最佳的验证集准确性除了在Wide-ResNet-28-10中使用余弦学习衰减之外，其他超级参数与介绍模型的论文中所报道的相同。 然后使用相同的模型和超级参数评估AutoAugment测试集的准确性。 对于AmoebaNets，请使用基线扩展和AutoAugment中使用的相同超级参数。 表中可以看出，使用ShakeDrop模型实现了1.5%的错误率，优于目前的先进模型0.6%。 请注意，此增益远大于AmoebaNet-B在ShakeDrop(0.2 )和shakedrop在shake-shake ( 0.2 )中获得的增益。

在最近提出的CIFAR-10测试集中评估在AutoAugment中训练的最佳模型。 Recht等人报告，shake-shake(262x64d ) Cutout是此新数据集最好的，错误率为7.0% )比原始CIFAR- 10测试集的错误率高4.1%。 此外，PyramidNet ShakeDrop在新数据集上实现了7.7%的错误率(比原始测试集高4.6% )。 使用我们最好的模型，AutoAugment训练的PyramidNet ShakeDrop达到了4.4%的错误率(比原始集的错误率高2.9% )。 与在这个新数据集上评估的其他模型相比，我们的模型在精度方面表现出明显的小的下降。

CIFAR-100的结果。 我们还用CIFAR-100训练模型，使用与ReducedCIFAR-10相同的AutoAugment策略； 结果如表2所示。 同样，我们在这个数据集上取得了最先进的结果，通过ShakeDrop正则化打破了以前12.19%的错误率的记录。

最后，使用简化的CIFAR-10训练模型，这是用于应用相同的AutoAugment策略以找到最佳策略的000个示例训练集。 像半监督学习社区使用的实验惯例一样，用000个标记样本进行了训练。 但是，我们在训练中不使用46，000个没有标签的样本。 我们的结果如表2所示。 与整个数据集相比，提高对于减少数据集的准确性帮助更大。 随着训练集的规模变大，预计数据增强的效果会下降。

SVHN的结果。 对73，257个训练样本(也称为核心训练集)和531，131个附加训练样本SVHN数据集进行了实验。 测试集中有26，032个示例。 为了节省搜索时间创建了一个简单的SVHN数据集，其中包含1,000个从核心培训集中随机采样的示例。 使用自动代理找到最佳策略。 子模型的模型结构和训练过程与上述CIFAR-10实验相同。

在SVHN中选择的策略与在CIFAR-10中选择的转换不同。 例如，SVHN中最常用的转换为Invert、Equalize、ShearX/Y和Rotate。 如上所述，转换Invert很少用于CIFAR-10，但在成功的SVHN策略中非常常见。 数字的特定颜色不像数字及其背景的相对颜色那么重要。 另外，几何变换ShearX/Y是SVHN中最常用的两种变换。 这也可以根据SVHN中图像的一般性质来理解。 由于门号在数据集内通常是自然剪切和倾斜的，通过数据增强来学习这种变换的不变性是有用的。 图2中的SVHN示例显示了五个成功的子策略。

搜索完成后，将五种最佳策略连接起来，并使用标准扩展策略将其应用于在SVHN中运行良好的培训体系结构。 对于完整的培训，请遵循Wide-ResNet论文中使用核心培训集和其他数据的一般步骤。 通过保留训练集中的最后7325个样本来构建验证集。 根据验证集的性能调整权重衰减和学习速度。 其他超级参数和培训细节与介绍该模型的论文相同。 AutoAugment的结果将基线预处理与您在SVHN中学习的策略相结合。 一个例外是不使用Cutout而减少SVHN。 这是因为会显著降低准确率。 此次实验结果汇总如表2所示。 从表中可以看出，我们使用了两种模型达到了最先进的精度。

表2

表2. CIFAR-10、CIFAR-100和SVHN数据集上的测试集错误率(

我们还在精简的SVHN (一套1000个示例培训，用于找到最佳策略)中测试最佳策略。 集中缩减的AutoAugment结果与再次领先的半监督方法相媲美，范围为5.42%至3.86% (表2 )。 我们发现，与整个数据集相比，AutoAugment在减少数据集方面带来了更大的改善。

4.2 .图像管理结果

与上述实验类似，我们使用ImageNet培训集的简化子集搜索策略，包括120个类(随机选择)和6000个样本。 使用余弦衰减训练Wide-ResNet40-2。 的重量衰减为10^{5}，学习率为0.1。 在ImageNet中发现的最佳策略与在CIFAR-10中发现的最佳策略类似，重点在于基于颜色的转换。 一个不同的是，几何变换“旋转”经常用于ImageNet策略。 图3应如图所示。

图3

图3. ImageNet的成功战略之一

同样，通过组合总共25个子策略的5个最佳策略来制定ImageNet培训的最终策略。 然后，使用ResNet-50和ResNet-200模型，从一开始就使用此策略在整个ImageNet中训练270个epoch。 我们使用4096的批量大小和1.6的学习率。 我们在第90、180、240个时期将学习率衰减10倍。 使用标准Inception样式的预处理来扩展基线。 这包括将像素值缩放为[-1，1 ]并在水平方向上反转为50%概率和颜色的随机扭曲[ 22，59 ]。 使用AutoAugment培训的模型使用在基线预处理和ImageNet中学习到的策略。 我们发现移除颜色随机扭曲不会改变自动代理的结果。

表3. ImageNet上的验证集Top-1/Top-5精度( % )。

表3

ImageNet的结果如表3所示。 结果表明，AutoAugment除了广泛使用的Inception预处理外，还对从ResNet-50到最先进的AmoebaNets等多种模型进行了改进。 其次，将AutoAugment应用于AmoebaNet-C，使其top-1和top-5的精度从83.1%/96.1%提高变为83.5%/96.5%。 考虑到在5000张图像中发现了最佳的强化措施，这一改善是显著的。 如果有更多的计算可用，AutoAugment将能够通过更多的映像来发现更好的扩展策略，我们希望能获得更好的结果。 83.5%/96.5%的精度也是该数据集上最新的top1/top5精度(不需要多组/合并)。

4.3 .提高学习能力策略向其他数据集转移的转移性

上面介绍了直接应用AutoAugment来搜索感兴趣的数据集的扩展策略“AutoAugment-direct”。 在许多情况下，自动代理APP应用程序可能是资源密集型的。 本节试图了解是否有可能将扩展策略从一个数据集迁移到另一个数据集(称为AutoAugmenttransfer )。 当这种转移自然发生时，资源需求不会像直接应用自动代理那样密集。 AutoAugment不会过度拟合感兴趣的数据集，而且AutoAugment确实发现了适用于各种问题的通用变换。

为了评估在ImageNet中发现的策略的迁移性，我们使用了在ImageNet的ImageNet中学习到的策略。 这些数据集有相对较小的训练样本集，并且有大量的类，因此很困难。

表4

表使用AutoAugment-transfer时和不使用AutoAugment-transfer时从一开始就训练的Inception v4模型的FGVC数据集上的测试集Top-1错误率( % )。

对于表4所示的所有数据集，使用了具有1个退火周期的余弦学习速度衰减训练Inception v4 1000个epoch。 根据验证集的性能选择学习率和权重衰减。 然后，将训练集和验证集组合在一起，以选定的超级参数进行训练。 图像大小设置为448x448像素。 在ImageNet中发现的策略显著提高显示了所有FGVC数据集的泛化精度。 据我们所知，我们从零开始训练网络权重，但标准卡数据集上的结果错误率最低。 以前的尖端技术微调了ImageNet预训练的权重，使用深层聚合获得了5.9%的错误率。

讨论

本节将搜索与以前对自动化数据扩展方法的尝试进行比较。 我们还讨论了我们的结果对通过几次消融实验做出的一些设计决定的依赖性。

自动增强和其他自动数据增强方法：许多以前的数据增强方法中最引人注目的是论文《learningtocomposedomain-specifictransformationsfordataaaugmentation》的工作论文中的设定与GAN相似。 生成器学习提出了扩展策略(一组图像处理操作)，使得扩展图像可以欺骗分类器。 我们的方法与他们不同的是，我们的方法试图直接优化分类精度，而他们的方法只是试图确保增强图像与当前的训练图像相似。

为了使比较公平，进行了“learningtocomposedomain-specifictransformationsfordataaugmentation”中说明的实验。 使用与4.1节相同的策略训练ResNet-32和ResNet-56，并将我们的方法和论文的结果进行了比较。 通过使用基线数据对ResNet-32进行强化训练，实现了与论文中使用ResNet-56 (论文中称为Heur.)相同的错误。 为此，我们训练了ResNet-32和ResNet-56。 我们发现，对于这两种模型，AutoAugment都带来了更高的改善( 3.0% )。

表5

表5 .具有不同自动数据扩展方法的CIFAR-10上的测试集错误率( % )。

培训与子战略数量之间的关系：我们工作的一个重要方面是在培训过程中随机应用子战略。 每个映像仅通过每个小批量的许多可用子策略之一进行扩展。 这本身更具有随机性，因为它具有与每个变换相关的应用概率。 发现这种随机性要求每个子策略有一定数量的epoch才能启用自动代理。 由于每个子模型使用五个子策略进行训练，因此在模型能够充分受益于所有子策略之前，必须训练80-100个以上的epoch。 这就是我们选择在120年代训练子模型的原因。 在模型获利之前，需要应用每个子策略的次数。 学习策略后，对于完整的模型要花更长的时间。 例如，CIFAR-10将进行1800次Shake-Shake培训，ImageNet将进行270次ResNet-50培训。 这样可以使用更多的子战略。

数据集和体系结构之间的迁移性：重要的是注意，上述策略可以成功迁移到许多模型体系结构和数据集。 例如，在Wide-ResNet-40-2和简化的CIFAR-10中学习的策略将带来在完整的CIFAR-10和CIFAR-100中训练的所有其他模型体系结构中描述的改进。 同样，在WideResNet-40-2和缩小ImageNet中学习的策略大大改进了在具有不同数据和类别分布的FGVC数据集上训练的Inception v4。 没有发现自动代理策略会损害模型的性能。 即使它们在不同的数据集上学习，Cutout在减少的SVHN中也不是(表2 )。 虽然观察到了移动性，但是以最接近目标的数据分布学习的战略带来了最佳性能。 在SVHN中训练时，使用在简化的CIFAR-10中学习到的最佳策略与基线增强相比确实很少。提高给出了泛化精度，但与应用SVHNlearned策略一样无关紧要。

5.1 .消融实验

改变子策略数：随着子策略数的增加，假设神经网络被训练在同一点，具有更大的强化多样性，应该达到提高泛化精度。 为了验证这一假设，我们将完全由CIFAR-10训练的Wide-ResNet-28-10模型的平均验证精度作为训练使用的子策略数的函数进行了研究。 从500个优秀的子策略池中随机选择子策略集，在这些子策略集中的每个训练期间对Wide-ResNet-28-10模型进行了200次训练。 对于每个集合大小，对子策略进行了五次不同的采样，得到了更好的统计数据。 此模型的培训详细信息与上面在CIFAR-10中培训的WideResNet-28-10相同。 图4显示了作为训练中使用的子系统函数的平均验证集精度，确认了验证精度随着子系统的增加，达到提高，最多20个子策略。

图4

图CIFAR-10中训练的Wide-ResNet-28-10验证错误(平均执行5次以上)作为来自自动增强训练中使用的随机选择的子策略) 500的良好子策略)的函数。

随机化扩展策略中的概率和幅度：在CIFAR-10中采用AutoAugment策略，对每个操作的概率和幅度进行随机化。 我们使用和以前一样的训练程序训练Wide-ResNet-28-10，用于随机概率和振幅的20个不同的实例。 平均误差为3.0% (标准偏差为0.1% )，比原始自动策略得到的结果差0.4% (见表2 )。

随机策略性能：然后随机化整个策略、操作、概率和幅度。 平均运行20次以上，该实验产生平均精度3.1%，标准差为0.1%，比仅有随机化的概率和幅度稍差。 随机策略实现的误差为3.0% (平均单独运行5次以上时)。 这表明使用随机抽样策略的AutoAugment也能带来很大的改善。

烧蚀实验表明，从搜索空间随机采样的数据增强策略也能使CIFAR-10优于基线增强策略。 但随机策略呈现出的改进小于AutoAugment策略( 2.6%0.1% vs.3.0%0.1%错误率)。 此外，通过AutoAugment策略学习到的概率和振幅信息似乎很重要，因为这些参数随机化后其有效性会明显下降。 我再次强调，为了便于使用RL训练控制器，也可以加强随机搜索和进化策略。 本文的主要贡献在于我们的数据扩展方法和搜索空间的构建； 不是离散优化方法。

致谢

本文由南京大学软件学院2021级硕士石孟雨翻译转载。