Target-Aware Generative Augmentations for Single-Shot Adaptation

要約

この論文では、ソース ドメインからターゲット ドメインにモデルを適応させるという問題に取り組みます。このタスクは、ディープ ニューラル ネットワークの脆弱な一般化によりますます重要になっています。
いくつかのテスト時適応技術が登場していますが、それらは通常、ターゲット データの可用性が限られている場合には、合成ツールボックスのデータ拡張に依存します。
私たちは、シングルショット適応という困難な設定を検討し、拡張戦略の設計を検討します。
我々は、既存の方法で利用される拡張では大きな分布の変化に対処するには不十分であると主張し、そのため新しいアプローチ SiSTA を提案します。これは、最初にシングルショットターゲットを使用してソースドメインから生成モデルを微調整し、次に新しいサンプリング戦略を採用するものです。
合成ターゲット データのキュレーション。
さまざまなベンチマーク、分布シフト、画像破損に関する実験を使用した結果、SiSTA は顔属性検出とマルチクラス オブジェクト認識において既存のベースラインに比べて大幅に改善された一般化を実現することがわかりました。
さらに、SiSTA は、より大きなターゲット データセットでのトレーニングによって取得されたモデルと競合するパフォーマンスを発揮します。
コードには https://github.com/Rakshith-2905/SiSTA からアクセスできます。

要約(オリジナル)

In this paper, we address the problem of adapting models from a source domain to a target domain, a task that has become increasingly important due to the brittle generalization of deep neural networks. While several test-time adaptation techniques have emerged, they typically rely on synthetic toolbox data augmentations in cases of limited target data availability. We consider the challenging setting of single-shot adaptation and explore the design of augmentation strategies. We argue that augmentations utilized by existing methods are insufficient to handle large distribution shifts, and hence propose a new approach SiSTA, which first fine-tunes a generative model from the source domain using a single-shot target, and then employs novel sampling strategies for curating synthetic target data. Using experiments on a variety of benchmarks, distribution shifts and image corruptions, we find that SiSTA produces significantly improved generalization over existing baselines in face attribute detection and multi-class object recognition. Furthermore, SiSTA performs competitively to models obtained by training on larger target datasets. Our codes can be accessed at https://github.com/Rakshith-2905/SiSTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google