Generalization in Neural Networks: A Broad Survey

要約

このペーパーでは、(1) サンプル、(2) ディストリビューション、(3) ドメイン、(4) タスク、(5) モダリティにわたる一般化を含むニューラル ネットワーク モデルのさまざまな抽象化レベルに沿って、概念、モデリング アプローチ、および最近の発見をレビューします。
、および (6) スコープ。
(1) トレーニング データからテスト データへのサンプルの一般化に関する戦略について説明し、少なくとも ImageNet データセットについては、一般的な分類モデルが大幅な過剰適合を示すという示唆に富む証拠を示します。
実証例と統計からの視点は、モデルの (2) 分布一般化が因果関係と反事実シナリオの考慮からどのように恩恵を受けるかを強調しています。
(3) ドメイン汎化に関する転移学習のアプローチと結果が要約されており、利用可能な豊富なドメイン汎化ベンチマーク データセットもまとめられています。
(4) タスクの一般化で調査した最近のブレークスルーには、少数ショットのメタ学習アプローチや、言語処理に使用されるようなトランスフォーマーベースの基礎モデルの出現が含まれます。
(5) モダリティの一般化を実行する研究がレビューされます。これには、画像データとテキストデータを統合する研究や、嗅覚、視覚、聴覚のモダリティ全体に生物学にインスピレーションを得たネットワークを適用する研究が含まれます。
ネットワーク内の記号知識を表現するためのグラフベースのアプローチや、ネットワークの説明可能性を向上させるための帰属戦略など、より高いレベル (6) のスコープ一般化の結果が調査されます。
さらに、脳のモジュール構造と、ドーパミン主導の条件付けが抽象的思考につながるステップについて、神経科学の概念が議論されています。

要約(オリジナル)

This paper reviews concepts, modeling approaches, and recent findings along a spectrum of different levels of abstraction of neural network models including generalization across (1) Samples, (2) Distributions, (3) Domains, (4) Tasks, (5) Modalities, and (6) Scopes. Strategies for (1) sample generalization from training to test data are discussed, with suggestive evidence presented that, at least for the ImageNet dataset, popular classification models show substantial overfitting. An empirical example and perspectives from statistics highlight how models’ (2) distribution generalization can benefit from consideration of causal relationships and counterfactual scenarios. Transfer learning approaches and results for (3) domain generalization are summarized, as is the wealth of domain generalization benchmark datasets available. Recent breakthroughs surveyed in (4) task generalization include few-shot meta-learning approaches and the emergence of transformer-based foundation models such as those used for language processing. Studies performing (5) modality generalization are reviewed, including those that integrate image and text data and that apply a biologically-inspired network across olfactory, visual, and auditory modalities. Higher-level (6) scope generalization results are surveyed, including graph-based approaches to represent symbolic knowledge in networks and attribution strategies for improving networks’ explainability. Additionally, concepts from neuroscience are discussed on the modular architecture of brains and the steps by which dopamine-driven conditioning leads to abstract thinking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google