Domain Generalization through Meta-Learning: A Survey

要約

ディープニューラルネットワーク（DNN）は人工知能に革命をもたらしたが、実世界のアプリケーションで避けられないドメインシフトのためによくあるシナリオである分布外（OOD）データに直面すると、しばしば性能が不足する。この限界は、訓練データとテストデータが同じ分布を共有しているという一般的な仮定に起因しており、この仮定は実際には頻繁に破られる。DNNは大量のデータと計算能力で有効であるにもかかわらず、分布のシフトと限られたラベル付きデータで苦戦し、様々なタスクとドメインにわたってオーバーフィットと不十分な汎化につながる。メタ学習は、各タスクをゼロから学習する必要性を排除し、迅速な適応のために、様々なタスク間で伝達可能な知識を獲得するアルゴリズムを採用することで、有望なアプローチを提示する。本サーベイ・ペーパーでは、ドメイン汎化への貢献に焦点を当て、メタ学習の領域を掘り下げていく。我々はまず、ドメイン汎化のためのメタ学習の概念を明確にし、特徴抽出戦略と分類器学習手法に基づく新しい分類法を導入することで、手法の粒度の細かい見方を提供する。既存の手法とその基礎となる理論を網羅的にレビューすることで、この分野の基礎を明らかにする。我々の調査は、実用的な洞察と有望な研究の方向性に関する情報に基づいた議論を提供し、ドメイン汎化のためのメタ学習における将来の革新への道を開く。

要約(オリジナル)

Deep neural networks (DNNs) have revolutionized artificial intelligence but often lack performance when faced with out-of-distribution (OOD) data, a common scenario due to the inevitable domain shifts in real-world applications. This limitation stems from the common assumption that training and testing data share the same distribution-an assumption frequently violated in practice. Despite their effectiveness with large amounts of data and computational power, DNNs struggle with distributional shifts and limited labeled data, leading to overfitting and poor generalization across various tasks and domains. Meta-learning presents a promising approach by employing algorithms that acquire transferable knowledge across various tasks for fast adaptation, eliminating the need to learn each task from scratch. This survey paper delves into the realm of meta-learning with a focus on its contribution to domain generalization. We first clarify the concept of meta-learning for domain generalization and introduce a novel taxonomy based on the feature extraction strategy and the classifier learning methodology, offering a granular view of methodologies. Through an exhaustive review of existing methods and underlying theories, we map out the fundamentals of the field. Our survey provides practical insights and an informed discussion on promising research directions, paving the way for future innovation in meta-learning for domain generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL