A Survey of Mix-based Data Augmentation: Taxonomy, Methods, Applications, and Explainability

要約

データ拡張 (DA) は、最新の機械学習とディープ ニューラル ネットワークに不可欠です。
DA の基本的な考え方は、既存のデータのわずかに乱れたバージョンを追加するか、新しいデータを合成することによって、モデルの一般化を改善するために新しいトレーニング データを構築することです。
この作業では、DA の小さいながらも重要なサブセット、つまり複数の例を混合して新しいサンプルを生成する Mix-based Data Augmentation (MixDA) を確認します。
単一サンプル操作に基づく従来の DA アプローチやドメイン知識を必要とする従来の DA アプローチとは異なり、MixDA は幅広い新しいデータの作成においてより一般的であり、コミュニティでますます注目を集めています。
まず、データ ミックスの階層的なビューに従って、MixDA を Mixup ベース、Cutmix ベース、およびハイブリッド アプローチに分類する新しい分類法を提案します。
その後、さまざまな MixDA 手法が、より詳細な方法で包括的にレビューされます。
その一般化により、MixDA はさまざまなアプリケーションに浸透しており、この作業でも完全にレビューされています。
また、MixDA の特性に基づいてモデルの動作を説明しながら、モデルのパフォーマンスの向上、一般化、およびキャリブレーションのさまざまな側面から MixDA が機能する理由を調べます。
最後に、現在の MixDA 研究の重要な発見と基本的な課題を要約し、将来の研究の潜在的な方向性を概説します。
特定のドメイン (画像や自然言語処理など) で DA アプローチを要約したり、MixDA 研究の一部のみをレビューしたりする以前の関連研究とは異なり、分類法、方法論の観点から MixDA の体系的な調査を提供するのは初めてです。
、アプリケーション、および説明可能性。
この作業は、このエキサイティングな分野に関心のある研究者に有望な方向性を提供しながら、MixDA 技術とアプリケーション レビューへのロードマップとして役立ちます。

要約(オリジナル)

Data augmentation (DA) is indispensable in modern machine learning and deep neural networks. The basic idea of DA is to construct new training data to improve the model’s generalization by adding slightly disturbed versions of existing data or synthesizing new data. In this work, we review a small but essential subset of DA — Mix-based Data Augmentation (MixDA) that generates novel samples by mixing multiple examples. Unlike conventional DA approaches based on a single-sample operation or requiring domain knowledge, MixDA is more general in creating a broad spectrum of new data and has received increasing attention in the community. We begin with proposing a new taxonomy classifying MixDA into, Mixup-based, Cutmix-based, and hybrid approaches according to a hierarchical view of the data mix. Various MixDA techniques are then comprehensively reviewed in a more fine-grained way. Owing to its generalization, MixDA has penetrated a variety of applications which are also completely reviewed in this work. We also examine why MixDA works from different aspects of improving model performance, generalization, and calibration while explaining the model behavior based on the properties of MixDA. Finally, we recapitulate the critical findings and fundamental challenges of current MixDA studies, and outline the potential directions for future works. Different from previous related works that summarize the DA approaches in a specific domain (e.g., images or natural language processing) or only review a part of MixDA studies, we are the first to provide a systematical survey of MixDA in terms of its taxonomy, methodology, applications, and explainability. This work can serve as a roadmap to MixDA techniques and application reviews while providing promising directions for researchers interested in this exciting area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google