Learning Tree-Structured Composition of Data Augmentation

要約

データ拡張は、ラベル付けされたデータがほとんどない場合にニューラル ネットワークをトレーニングするために広く使用されています。
拡張トレーニングの一般的な方法は、複数の変換を組み合わせてデータに順番に適用することです。
RandAugment などの既存の拡張メソッドは、事前に選択された変換のリストからランダムにサンプリングしますが、AutoAugment などのメソッドは高度な検索を適用して、サイズ $k^d$ (長さ $d の変換シーケンスの数) の拡張セット全体にわたって最適化します。
$、与えられた $k$ 変換のリスト。
この論文では、実行時間の複雑さが最悪の場合の複雑さ $O(k^d)$ よりもはるかに高速である効率的なアルゴリズムを設計します。
我々は、各ツリーノードが 1 つの変換に対応する、$k$ 変換のバイナリ ツリー構造の構成を検索する新しいアルゴリズムを提案します。
バイナリ ツリーは、対照学習用の SimCLR 拡張スキームなどの逐次拡張を一般化します。
トップダウンの再帰的検索手順を使用して、アルゴリズムは実行時の複雑度 $O(2^d k)$ を達成します。これは、$k$ が $2$ を超えると $O(k^d)$ よりもはるかに高速になります。
このアルゴリズムを適用して、各部分母集団で 1 本の木を検索し、重み付けされた組み合わせを学習して、木の森を生成することで、異種の部分母集団を含むデータ分布に取り組みます。
私たちは、収集したマルチラベル グラフ分類データセットを含む、多数のグラフおよび画像データセットで提案したアルゴリズムを検証します。
このデータセットは、グラフのサイズとその平均次数に大きなばらつきがあるため、データ拡張の研究に最適です。
私たちのアプローチは、既存の検索方法と比較して計算コストを 43% 削減し、同時にパフォーマンスを 4.3% 向上させることができることを示します。
ツリー構造を使用すると、小さなグラフと大きなグラフで重要な変換を識別するなど、各変換の相対的な重要性を解釈できます。

要約(オリジナル)

Data augmentation is widely used for training a neural network given little labeled data. A common practice of augmentation training is applying a composition of multiple transformations sequentially to the data. Existing augmentation methods such as RandAugment randomly sample from a list of pre-selected transformations, while methods such as AutoAugment apply advanced search to optimize over an augmentation set of size $k^d$, which is the number of transformation sequences of length $d$, given a list of $k$ transformations. In this paper, we design efficient algorithms whose running time complexity is much faster than the worst-case complexity of $O(k^d)$, provably. We propose a new algorithm to search for a binary tree-structured composition of $k$ transformations, where each tree node corresponds to one transformation. The binary tree generalizes sequential augmentations, such as the SimCLR augmentation scheme for contrastive learning. Using a top-down, recursive search procedure, our algorithm achieves a runtime complexity of $O(2^d k)$, which is much faster than $O(k^d)$ as $k$ increases above $2$. We apply our algorithm to tackle data distributions with heterogeneous subpopulations by searching for one tree in each subpopulation and then learning a weighted combination, resulting in a forest of trees. We validate our proposed algorithms on numerous graph and image datasets, including a multi-label graph classification dataset we collected. The dataset exhibits significant variations in the sizes of graphs and their average degrees, making it ideal for studying data augmentation. We show that our approach can reduce the computation cost by 43% over existing search methods while improving performance by 4.3%. The tree structures can be used to interpret the relative importance of each transformation, such as identifying the important transformations on small vs. large graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google