Multi-Domain Learning From Insufficient Annotations

要約

タイトル：不十分な注釈からのマルチドメイン学習

要約：
– マルチドメイン学習とは、異なるドメインから収集されたデータセット上で同時にモデルまたは一連のモデルを構築することを指す。
– 従来のアプローチは、ドメイン共有情報の抽出とドメインプライベート情報の保存に焦点を当てることで、単一ドメイン学習よりも大きな利点を提供する共有-プライベートモデル（SPモデル）を採用している。
– しかしながら、各ドメインでの注釈付けデータの限られた可用性は、現実世界のアプリケーションにおいて従来の教師ありMDLアプローチの有効性を著しく妨げる。
– 本論文では、マルチドメインコントラスティブラーニング（MDCL）と呼ばれる新しい手法を紹介し、注釈付きおよび未注釈データから意味的および構造的情報の両方を収集することにより、不十分な注釈の影響を軽減する。
– 具体的には、MDCLは2つのモジュールで構成され、一つは異なるドメインから同じ意味のカテゴリに属する注釈付きインスタンスを共有隠れ空間内で整列することを目的とし、もう一つは各ドメインの非注釈インスタンスのプライベート隠れ空間内でクラスタ構造を学習することに焦点を当てる。
– MDCLは、多くのSPモデルに互換性があり、追加のモデルパラメータは必要なく、エンドツーエンドトレーニングが可能である。
– 5つのテキストおよび画像マルチドメインデータセットを用いた実験の結果、MDCLは様々なSPモデルよりも著しい改善をもたらすことが示された。
– さらに、MDCLはマルチドメインアクティブラーニング（MDAL）でも使用でき、優れた初期化を実現し、最終的にはより良い全体的なパフォーマンスを実現できる。

要約(オリジナル)

Multi-domain learning (MDL) refers to simultaneously constructing a model or a set of models on datasets collected from different domains. Conventional approaches emphasize domain-shared information extraction and domain-private information preservation, following the shared-private framework (SP models), which offers significant advantages over single-domain learning. However, the limited availability of annotated data in each domain considerably hinders the effectiveness of conventional supervised MDL approaches in real-world applications. In this paper, we introduce a novel method called multi-domain contrastive learning (MDCL) to alleviate the impact of insufficient annotations by capturing both semantic and structural information from both labeled and unlabeled data.Specifically, MDCL comprises two modules: inter-domain semantic alignment and intra-domain contrast. The former aims to align annotated instances of the same semantic category from distinct domains within a shared hidden space, while the latter focuses on learning a cluster structure of unlabeled instances in a private hidden space for each domain. MDCL is readily compatible with many SP models, requiring no additional model parameters and allowing for end-to-end training. Experimental results across five textual and image multi-domain datasets demonstrate that MDCL brings noticeable improvement over various SP models.Furthermore, MDCL can further be employed in multi-domain active learning (MDAL) to achieve a superior initialization, eventually leading to better overall performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI