Beyond Finite Data: Towards Data-free Out-of-distribution Generalization via Extrapolation

要約

分布外 (OOD) 一般化は、ディープ ニューラル ネットワークにとって有利ではありますが、困難な特性です。
中心的な課題は、モデルが偽の特徴から不変表現を学習するのに役立つソース ドメインの可用性が限られていることです。
さまざまなドメイン拡張が提案されていますが、その多くは既存のドメインの補間に依存しており、真に「新しい」ドメインを作成する際にしばしば困難に直面します。
一方、人間は新しいドメインを簡単に外挿できるため、興味深い疑問が生じます。ニューラル ネットワークはどのようにして人間のように外挿し、OOD の一般化を達成できるのでしょうか?
私たちは、推論能力と大規模言語モデル (LLM) 内にカプセル化された広範な知識を活用して、まったく新しいドメインを合成する、ドメイン外挿への新しいアプローチを導入します。
関心のあるクラスから始めて、LLM にクエリを実行して、これらの新しいドメインに関連する知識を抽出します。
次に、テキストから画像への生成技術を使用して、LLM から得られるテキスト中心の知識とモデルのピクセル入力空間の間のギャップを埋めます。
これらの新しいドメインの高忠実度でフォトリアリスティックな画像を使用してドメイン汎化データセットのトレーニング セットを強化することにより、さまざまなベンチマークにわたる単一ドメインおよびマルチドメインの汎化で実証されているように、既存のすべての手法に比べて大幅な改善が達成されます。
あらゆるクラスのあらゆるドメインを推定できる機能により、私たちのメソッドは、データなしであらゆるタスクの一般化モデルを学習できる可能性があります。
説明のために、収集されたデータがない状態で一般化されたモデルを学習することを目的とした、データフリー ドメイン一般化と呼ばれる、より困難な設定を提案しました。
私たちの経験的発見は上記の議論を裏付けており、私たちの方法はこの設定で賞賛に値するパフォーマンスを示し、VLCS などのデータセットでは教師あり設定を約 1 ～ 2\% 上回っています。

要約(オリジナル)

Out-of-distribution (OOD) generalization is a favorable yet challenging property for deep neural networks. The core challenges lie in the limited availability of source domains that help models learn an invariant representation from the spurious features. Various domain augmentation have been proposed but largely rely on interpolating existing domains and frequently face difficulties in creating truly ‘novel’ domains. Humans, on the other hand, can easily extrapolate novel domains, thus, an intriguing question arises: How can neural networks extrapolate like humans and achieve OOD generalization? We introduce a novel approach to domain extrapolation that leverages reasoning ability and the extensive knowledge encapsulated within large language models (LLMs) to synthesize entirely new domains. Starting with the class of interest, we query the LLMs to extract relevant knowledge for these novel domains. We then bridge the gap between the text-centric knowledge derived from LLMs and the pixel input space of the model using text-to-image generation techniques. By augmenting the training set of domain generalization datasets with high-fidelity, photo-realistic images of these new domains, we achieve significant improvements over all existing methods, as demonstrated in both single and multi-domain generalization across various benchmarks. With the ability to extrapolate any domains for any class, our method has the potential to learn a generalized model for any task without any data. To illustrate, we put forth a much more difficult setting termed, data-free domain generalization, that aims to learn a generalized model in the absence of any collected data. Our empirical findings support the above argument and our methods exhibit commendable performance in this setting, even surpassing the supervised setting by approximately 1-2\% on datasets such as VLCS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google