Open-Set Heterogeneous Domain Adaptation: Theoretical Analysis and Algorithm

要約

ドメイン アダプテーション (DA) は、ターゲット ドメインに一般化するソース ドメインからモデルを学習することで、分布シフトの問題に取り組みます。
ただし、既存の DA 手法のほとんどは、ソース ドメイン データとターゲット ドメイン データが同じ特徴空間内に存在するシナリオ向けに設計されているため、現実の状況での適用性が制限されます。
最近、ソース ドメインとターゲット ドメイン間の異種特徴空間によってもたらされる課題に対処するために、異種 DA (HeDA) メソッドが導入されました。
成功にもかかわらず、現在の HeDA 技術は、機能空間とラベル空間の両方に不一致がある場合には不十分です。
これに対処するために、このホワイト ペーパーでは、オープンセット HeDA (OSHeDA) と呼ばれる新しい DA シナリオを検討します。
OSHeDA では、モデルは特徴空間内の異質性を処理するだけでなく、新しいクラスに属するサンプルを識別する必要もあります。
この課題に取り組むために、私たちはまず、ターゲット領域での予測誤差の学習限界を構築する新しい理論的フレームワークを開発します。
このフレームワークに基づいて、OSHeDA のための表現学習 (RL-OSHeDA) と呼ばれる新しい DA 手法を提案します。
この方法は、異種データ ソース間で知識を同時に転送し、新しいクラスを識別するように設計されています。
テキスト、画像、臨床データにわたる実験により、アルゴリズムの有効性が実証されています。
モデルの実装は \url{https://github.com/pth1993/OSHeDA} で入手できます。

要約(オリジナル)

Domain adaptation (DA) tackles the issue of distribution shift by learning a model from a source domain that generalizes to a target domain. However, most existing DA methods are designed for scenarios where the source and target domain data lie within the same feature space, which limits their applicability in real-world situations. Recently, heterogeneous DA (HeDA) methods have been introduced to address the challenges posed by heterogeneous feature space between source and target domains. Despite their successes, current HeDA techniques fall short when there is a mismatch in both feature and label spaces. To address this, this paper explores a new DA scenario called open-set HeDA (OSHeDA). In OSHeDA, the model must not only handle heterogeneity in feature space but also identify samples belonging to novel classes. To tackle this challenge, we first develop a novel theoretical framework that constructs learning bounds for prediction error on target domain. Guided by this framework, we propose a new DA method called Representation Learning for OSHeDA (RL-OSHeDA). This method is designed to simultaneously transfer knowledge between heterogeneous data sources and identify novel classes. Experiments across text, image, and clinical data demonstrate the effectiveness of our algorithm. Model implementation is available at \url{https://github.com/pth1993/OSHeDA}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google