Domain Generalization through Meta-Learning: A Survey

要約

ディープ ニューラル ネットワーク (DNN) は人工知能に革命をもたらしましたが、配布外 (OOD) データに直面するとパフォーマンスが低下することがよくあります。これは、現実世界のアプリケーションでは避けられないドメインのシフトによる一般的なシナリオです。
この制限は、トレーニング データとテスト データが同じ分布を共有するという共通の仮定に起因します。この仮定は、実際には頻繁に違反されます。
DNN は、大量のデータと計算能力を有効に活用できるにもかかわらず、分布の変化と限られたラベル付きデータに苦戦しており、さまざまなタスクやドメインにわたって過剰適合や汎化の不全につながります。
メタ学習は、迅速な適応のためにさまざまなタスクにわたって移転可能な知識を取得するアルゴリズムを採用することで、各タスクを最初から学習する必要性を排除する有望なアプローチを提供します。
この調査論文は、領域の一般化への貢献に焦点を当てて、メタ学習の領域を掘り下げています。
まず、ドメイン一般化のためのメタ学習の概念を明確にし、特徴抽出戦略と分類器学習方法論に基づいた新しい分類法を導入して、方法論の詳細なビューを提供します。
さらに、読者がデータの可用性とドメインのシフトに基づいて分類をナビゲートするのを支援するデシジョン グラフを提示し、特定の問題要件に合わせた適切なモデルを選択して開発できるようにします。
既存の手法と基礎となる理論を徹底的にレビューすることで、この分野の基礎を描きます。
私たちの調査は、有望な研究の方向性についての実用的な洞察と情報に基づいた議論を提供します。

要約(オリジナル)

Deep neural networks (DNNs) have revolutionized artificial intelligence but often lack performance when faced with out-of-distribution (OOD) data, a common scenario due to the inevitable domain shifts in real-world applications. This limitation stems from the common assumption that training and testing data share the same distribution–an assumption frequently violated in practice. Despite their effectiveness with large amounts of data and computational power, DNNs struggle with distributional shifts and limited labeled data, leading to overfitting and poor generalization across various tasks and domains. Meta-learning presents a promising approach by employing algorithms that acquire transferable knowledge across various tasks for fast adaptation, eliminating the need to learn each task from scratch. This survey paper delves into the realm of meta-learning with a focus on its contribution to domain generalization. We first clarify the concept of meta-learning for domain generalization and introduce a novel taxonomy based on the feature extraction strategy and the classifier learning methodology, offering a granular view of methodologies. Additionally, we present a decision graph to assist readers in navigating the taxonomy based on data availability and domain shifts, enabling them to select and develop a proper model tailored to their specific problem requirements. Through an exhaustive review of existing methods and underlying theories, we map out the fundamentals of the field. Our survey provides practical insights and an informed discussion on promising research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google