网站集约化后如何建设,天津线上推广公司哪个好,网站大全软件,宁波seo关键词如何优化Facebook 近日开源了数据增强库 AugLy#xff0c;包含四个子库#xff0c;每个子库对应不同的模态#xff0c;每个库遵循相同的接口。支持四种模态#xff1a;文本、图像、音频和视频。 最近#xff0c;Facebook 开源了一个新的 Python 库——AugLy#xff0c;该库旨在帮…Facebook 近日开源了数据增强库 AugLy包含四个子库每个子库对应不同的模态每个库遵循相同的接口。支持四种模态文本、图像、音频和视频。 最近Facebook 开源了一个新的 Python 库——AugLy该库旨在帮助 AI 研究人员使用数据增强来评估和改进机器学习模型的可用性。AugLy 提供了复杂的数据增强工具可以创建样本来训练和测试不同的系统。 项目地址GitHub - facebookresearch/AugLy: A data augmentations library for audio, image, text, and video.
该库基于 Facebook 和 Instagram 等平台上的真实图片和视频提供了 100 多种数据增强功能因此对于处理与社交媒体应用程序相关的模型或数据的研究工作特别有用。
目前 AugLy 支持四个模态文本、图像、音频和视频。使用真实世界的数据进行数据增强能够帮助机器更好地理解复杂的任务。以文本短语「love the way you smell today」为例该文本想要表达的意思是喜欢但是将此短语应用到臭鼬的图片上时想要表达的意思全部变了。AugLy 更类似于人们为了了解周围的世界而从多种感官获取信息的方式。随着数据集和模型变得越来越具有多模态在一个统一的库和 API 下转换项目的所有数据是非常有必要的。
对于该数据增强库机器学习界的大佬 Yann LeCun 也转推推荐。 AugLy 如何工作
AugLy 包含四个子库每个子库对应不同的模态每个库遵循相同的接口AugLy 提供了基于函数和类格式的转换并提供强度函数帮助了解转换的强度基于给定参数。AugLy 还可以生成有用的元数据以帮助了解数据转换过程。 此外该库已经聚合了许多扩展以及以前从未存在过的扩展。例如增强功能将图像或视频叠加到社交媒体界面上使其看起来像是用户在 Facebook 等社交网络上截屏的图像或视频然后重新共享。这对于许多用例来说是一个有用的补充因为 Facebook 上的用户通常会以这种方式重新共享内容。
AugLy 为何如此重要
数据增强对于确保 AI 模型的鲁棒性至关重要。如果可以教会模型对数据中不重要的属性扰动具有鲁棒性那么模型将学会关注特定用例中数据的重要属性。
在 Facebook 中一个重要的应用程序是检测特定内容的「相似副本」。例如同一条信息可能以不同的形式重复出现。又例如图像经过修改后被裁剪了几个像素或者用过滤器或新的文本覆盖进行了增强。通过使用 AugLy 数据增强 AI 模型它们可以在上传已知侵权内容 (如歌曲或视频) 时识别出来。
使用 AugLy 训练模型来检测相似内容意味着我们可以主动阻止用户上传已知侵权的内容。例如 SimSearchNet一个基于卷积神经网络的模型可以专门用来检测精确复制内容该模型是用 AugLy 增强训练的。
除了使用 AugLy 训练模型外该库还可用于确定模型相对于一组增强的鲁棒性。事实上AugLy 已经被用来评估 deepfake 检测模型在「Deepfake 检测挑战赛」Deepfake Detection Challenge中的鲁棒性最终影响了前五名获胜者。
AugLy 支持图像增强如裁剪、填充图像、截屏和重新共享照片。数据增强的用途是广泛的AugLy 可以帮助研究人员从事各种工作从物体检测模型到识别仇恨言论再到语音识别。
参考链接
https://ai.facebook.com/blog/augly-a-new-data-augmentation-library-to-help-build-more-robust-ai-models/
Facebook AI Open Sources AugLy: A New Python Library For Data Augmentation To Develop Robust Machine Learning Models - MarkTechPost
