A Survey on Heterogeneous Transfer Learning

要約

ソース ドメインの知識を利用してターゲット ドメインのモデルのパフォーマンスを向上させるアプローチである転移学習のアプリケーションは、近年大幅に増加しており、多くの現実世界のシナリオを支えています。
その成功の鍵は、ドメイン間の共有された共通知識にあり、これはほとんどの転移学習方法論の前提条件です。
これらの方法は通常、均質転移学習として知られる、両方のドメインで同一の特徴空間とラベル空間を前提としていますが、これは常に実用的な前提ではありません。
多くの場合、ソース ドメインとターゲット ドメインの特徴空間、データ分布、ラベル空間は異なるため、ターゲット ドメインと同じ特徴空間およびラベル空間を使用してソース ドメイン データを保護することが困難またはコストがかかります。
これらの違いを恣意的に排除することは、常に実現可能または最適であるとは限りません。
したがって、そのような差異を認識し、それに対処する異種転移学習が、さまざまなタスクに対する有望なアプローチとして浮上しています。
2017 年にこのテーマに関する調査が存在しましたが、2017 年以降の急速な進歩により、最新の詳細なレビューが必要です。
したがって、私たちは異種転移学習法の最近の開発に関する包括的な調査を提示し、将来の研究のための体系的なガイドを提供します。
私たちの論文では、理解を深めて将来の研究を促進するために、多様な学習シナリオの方法論をレビューし、現在の研究の限界について議論し、自然言語処理、コンピュータービジョン、マルチモダリティ、生物医学などのさまざまな応用コンテキストを取り上げています。

要約(オリジナル)

The application of transfer learning, an approach utilizing knowledge from a source domain to enhance model performance in a target domain, has seen a tremendous rise in recent years, underpinning many real-world scenarios. The key to its success lies in the shared common knowledge between the domains, a prerequisite in most transfer learning methodologies. These methods typically presuppose identical feature spaces and label spaces in both domains, known as homogeneous transfer learning, which, however, is not always a practical assumption. Oftentimes, the source and target domains vary in feature spaces, data distributions, and label spaces, making it challenging or costly to secure source domain data with identical feature and label spaces as the target domain. Arbitrary elimination of these differences is not always feasible or optimal. Thus, heterogeneous transfer learning, acknowledging and dealing with such disparities, has emerged as a promising approach for a variety of tasks. Despite the existence of a survey in 2017 on this topic, the fast-paced advances post-2017 necessitate an updated, in-depth review. We therefore present a comprehensive survey of recent developments in heterogeneous transfer learning methods, offering a systematic guide for future research. Our paper reviews methodologies for diverse learning scenarios, discusses the limitations of current studies, and covers various application contexts, including Natural Language Processing, Computer Vision, Multimodality, and Biomedicine, to foster a deeper understanding and spur future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google