LatentDR: Improving Model Generalization Through Sample-Aware Latent Degradation and Restoration

要約

深層学習の大幅な進歩にも関わらず、特にトレーニング データが限られている場合、モデルを新しい未知の領域にうまく一般化するのに苦労することがよくあります。
この課題に対処するために、サンプル間の関係を活用して拡張手順をガイドする、分布を意識した潜在拡張のための新しいアプローチを提案します。
私たちのアプローチでは、まず潜在空間でサンプルを確率的に劣化させ、それらを拡張ラベルにマッピングしてから、トレーニング中に破損したバージョンからサンプルを復元します。
このプロセスにより、分解ステップで分類子が混乱し、元のサンプルの全体的なクラス分布が復元され、クラス内/ドメイン間の多様な変動が促進されます。
私たちは、ドメイン汎化ベンチマークや強力なドメインシフトを伴う医用画像データセットなど、多様なデータセットとタスクのセットに対するアプローチを広範囲に評価し、潜在空間拡張の既存の手法に比べて私たちのアプローチが大幅な改善を達成していることを示しています。
さらに、私たちの方法がロングテール認識タスクに柔軟に適応できることを示し、より一般化可能なモデルを構築する際の多用途性を実証します。
コードは https://github.com/nerdslab/LatentDR で入手できます。

要約(オリジナル)

Despite significant advances in deep learning, models often struggle to generalize well to new, unseen domains, especially when training data is limited. To address this challenge, we propose a novel approach for distribution-aware latent augmentation that leverages the relationships across samples to guide the augmentation procedure. Our approach first degrades the samples stochastically in the latent space, mapping them to augmented labels, and then restores the samples from their corrupted versions during training. This process confuses the classifier in the degradation step and restores the overall class distribution of the original samples, promoting diverse intra-class/cross-domain variability. We extensively evaluate our approach on a diverse set of datasets and tasks, including domain generalization benchmarks and medical imaging datasets with strong domain shift, where we show our approach achieves significant improvements over existing methods for latent space augmentation. We further show that our method can be flexibly adapted to long-tail recognition tasks, demonstrating its versatility in building more generalizable models. Code is available at https://github.com/nerdslab/LatentDR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google