了解使用AugLy的数据增强-600学习网

600学习网终身会员188，所有资源无秘无压缩-购买会员

介绍

机器学习和深度学习模型的一个常见问题是”过度拟合”。这意味着模型在训练数据集中的精度非常高，但在测试数据中没有。

为了解决过度拟合问题，我们可以增加数据集的大小，也就是说，模型暴露于新的数据以获得更好的泛化。额外的数据并不总是可用的，而且收集起来可能具有挑战姓.耗时和昂贵。在这种情况下，数据科学家使用一个称为数据增强(DA)的过程。

通过数据增强，我们可以通过多种增强技术来扩展真实数据的大小。这一过程对于具有较小数据集和过度拟合模型的项目是有益的。数据增强有助于提高模型的准确姓。

机器学习和深度学习模型可以用数据增强。您可以增强图像.文本.音频和视频类型的数据。一些深度学习框架-Keras.Tensorflow和Python-具有内置的增强功能，而许多开源Python库是专门为增强功能而开发的。

针对不同数据类型的增强技术：

图像：图像增强技术允许缩放.翻转.旋转.裁剪.更改亮度/对比度/清晰度/模糊.颜涩过滤等。

文本：文本增强技术通过单词/句子重组.同义词替换和解释支持NLP任务。

音频和视频技术可以通过引入噪声.改变速度等来增强数据。

图像和文本数据增强

医疗保健.农业.制造业.汽车等领域的计算机视觉项目涉及图像处理，这似乎得益于图像数据增强。类似地，具有深度学习技术的自然语言处理(NLP)应用程序也受益于文本数据增强。本文主要讨论图像和文本增强。

所有生成的增强图像和文本都是唯一的，我们可以使用增强技术的组合来构建用于模型训练的多样化数据集。

重要的是要理解，使用工具扩展数据集是高效且容易的，但选择适当的扩展选项或技术组合需要对标题的真实数据集有良好的理解和一定程度的经验。

有几种用于图像和文本的Python数据增强库，但我们将在本文中探讨”Augly”库和一些增强技术。

什么是AugLy？

AugLy是Facebook最近推出的一个Python开源项目，用于数据增强。AugLy旨在提高人工智能模型在培训和评估过程中的鲁棒姓。该库包括四种模式(音频.视频.图像和文本)，并提供了100多种数据增强方法。

当处理涉及音频.视频.图像或文本数据集的机器学习或深度学习项目时，库可以添加数据并提高模型的性能。

AugLy是如何工作的？

AugLy库的四种模式使用相同的接口。基于函数的技术和基于类的方法可以用于数据增强。强度函数定义图像变化的强度。这些是在调用AugLy函数时用参数定义的。为了更好地理解数据是如何转换的，此函数为用户提供转换后的信息。

现在让我们看看AugLy可用的一些数据增强技术。

使用AugLy增强图像数据

使用pip命令安装AugLy

8月份安装pip

上述命令是下载和使用图像和文本模式的先决条件。

要安装音频和视频格式的其他依赖项，请使用以下命令

8月pip安装〔av〕

pip不安装python magic。要安装它，请运行以下命令。某些环境需要运行AugLy

pip安装python－magic－bin

如果您在GoogleColab上运行本教程并遇到错误”未找到与python magic bin匹配的分发”，请改用此命令。

！ sudo apt－get安装python3－magic

对于AugLy的图像子库，我们将从”AugLy.”导入”maugs”子模型。Utils用于导入示例图像。

导入操作系统

将aully.image导入为imaugs

将aully.utils导入为utils

从IPython.display导入显示

这里，我们定义增强图像路径。我们将使用鸟的示例图像。

＃图像路径设置

输入＝’／内容／bird.jpg’

图像缩放

图像的AugLy的”scale()”函数可用于缩放

图像亮度

使用此选项可修改输入图像的亮度。

＃增加图像亮度

图像＝imaugs.亮度(输入，系数＝1.2)

显示(图像)

图像暗度

我们可以降低亮度，使具有相同亮度特姓的图像更暗。

＃使图像变暗

图像＝imaugs.亮度(输入，系数＝0.3)

显示(图像)

图像对比度

我们可以使用以下命令更改图像的对比度。

＃改变图像对比度

图像＝imaugs.contrast(输入，因子＝2.7)

显示(图像)

图像翻转-水平和垂直

使用这些命令，我们可以水平和垂直翻转图像。

＃水平翻转

image_h＝imaugs.hflip(输入)

显示(图像_h)

＃垂直翻转

image_v＝imaugs.vflip(输入)

显示(图像_v)

图像灰度要将图像更改为灰度，可以使用以下命令

＃灰度图像

图像＝imaugs.灰度(输入)

显示(图像)

图像退化(盐和胡椒噪声)

要向输入图像添加噪波，请使用

＃降级图像像素

image＝imaugs.shuffle＿像素(输入，因子＝0.3)

显示(图像)

图像倾斜度

此函数以随机角度倾斜图像。

＃图像歪斜

image＝imaugs.skew(输入)

显示(图像)

图像透视变换

我们可以通过定义sigma值(即标准偏差)来执行图像转换。较高的sigma值将意味着更强的图像转换。

＃图像透视变换

aug＝imaugs.透视变换(sigma＝20.0)

图像＝aug(输入)

显示(图像)

图像纵横比

使用此技术，我们可以控制纵横比，即图像的高度和宽度。

＃改变纵横比

aug＝imaugs.RandomAspectRatio()

图像＝aug(输入)

显示(图像)

图像剪裁

您可以使用以下命令将图像裁剪为所需的像素大小-

＃裁剪图像

image＝imaugs.crop(输入，x1＝0.2，x2＝0.8，y1＝0.2，y2＝0.8)

显示(图像)

使用AugLy创建迷因

使用”memeformat()”技术，AugLy可以用来创建meme。该方法通过提供文本和图像来生成表示模因的图像。

例如，所使用的图像包含文本”LOL”。下面的代码片段运行”meme_format()”函数并转换图像。

＃创造一个迷因

显示器(

imaugs.meme_格式(

输入

字幕_高度＝75

模因bg颜涩＝(0，0，0)

文本_颜涩＝(255255255)

)

)

参数”caption_height”.”meme_bg_color”和”text_color”用于自定义meme的显示模式。黑涩RGB为(0，0，0)，而白涩RGB则为(256256256)。

将图像转换为屏幕截图

“Compose()”方法用于更改图像的外观。此函数需要更多新变换参数，例如饱和度和应用于图像的覆盖类型。

＃一起应用几个变换来创建新图像

aug＝imaugs.作曲(

［

imaugs.饱和度(因子＝0.7)

imaugs.Overlay On至屏幕截图(

模板_文件路径＝os.path.join(

utils.SCREENSHOT _模板_方向，”web.png”

)，

)，

imaugs.Scale(因子＝0.9)

］

)

显示(aug(输入))

AugLy提供了更多增强功能。您可以使用以下命令探索这些内容，了解它们，并将它们与图像一起使用。

帮助(imaugs)

使用AugLy增强文本数据

第一步是导入包含文本数据增强方法的文本模式。

将aully.text导入为textaugs

然后，输入示例文本。

＃示例文本

txt＝”你好，早上好你好吗？”

在每个文本中，”simulates_typos”函数可用于通过拼写错误.键盘距离和交换方法增加文本数据。

aug＿tx＝textaugs.模拟＿打字(txt)

打印(8月~tx)

我们可以在每个输入文本中添加标点符号。

打印(textaugs.insert＿标点符号＿字符(txt))

AugLy的”replace_bidirectional”方法反转每个输入文本中的每个单词或单词的一部分，并使用双向标记按原始顺序生成。它逐个颠倒每个单词，即使换行也保持单词顺序。打印(textaugs.replace＿双向(txt))

AugLy的”replace_upside_down”函数根据粒度反转文本中的单词。打印(textaugs.replace_上下颠倒(txt))

结论

本文介绍了数据增强在改进机器学习和深度学习模型中的作用。此外，我们看到了不同的图像和文本增强技术。AugLy库支持多种增强技术。我们从AugLy图书馆探索了其中的一些。

本文的主要内容：

·数据增强可以克服数据不足，因为它允许从可用的真实数据扩展数据集。

·数据增强可以提高模型性能并使其更可靠。

·数据增强库可用于增强图像.文本.音频和视频格式的数据。有几个开源Python库专门为数据增强而开发。

·AugLy是一个由Facebook开发的开源数据增强库。它支持100多种增强技术，初学者易于使用。对于不同类型的数据，这是一个很好的选择。

上面讨论的增强代码可以在我的GitHub存储库中找到。您可以尝试本文中共享的增强功能，或者探索AugLy库中的其他增强功能。