Position Paper: Bayesian Deep Learning in the Age of Large-Scale AI

要約

現在の深層学習研究の状況では、大規模な画像と言語のデータセットを含む教師ありタスクで高い予測精度を達成することが主に重視されています。
しかし、より広い視点で見ると、不確実性、能動的かつ継続的な学習、科学データなど、注意が必要な多数の見落とされている指標、タスク、データの種類が明らかになります。
ベイジアン ディープ ラーニング (BDL) は、これらの多様な環境全体で利点を提供する有望な手段を構成します。
この論文では、BDL が深層学習の機能を向上させることができると主張しています。
BDL の強みを再検討し、既存の課題を認識し、これらの障害に対処することを目的としたいくつかの興味深い研究手段に焦点を当てます。
今後を見据えて、大規模基礎モデルと BDL を組み合わせてその可能性を最大限に引き出す方法に焦点を当てて議論します。

要約(オリジナル)

In the current landscape of deep learning research, there is a predominant emphasis on achieving high predictive accuracy in supervised tasks involving large image and language datasets. However, a broader perspective reveals a multitude of overlooked metrics, tasks, and data types, such as uncertainty, active and continual learning, and scientific data, that demand attention. Bayesian deep learning (BDL) constitutes a promising avenue, offering advantages across these diverse settings. This paper posits that BDL can elevate the capabilities of deep learning. It revisits the strengths of BDL, acknowledges existing challenges, and highlights some exciting research avenues aimed at addressing these obstacles. Looking ahead, the discussion focuses on possible ways to combine large-scale foundation models with BDL to unlock their full potential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google