Shortcut Learning in Deep Neural Networks

要約

ディープラーニングは現在の人工知能の台頭のきっかけとなり、今日の機械知能の主力となっています。
数多くの成功事例が科学、産業、社会全体に急速に広まりましたが、その限界が注目されるようになったのはつい最近のことです。
この観点から、深層学習の問題のうちどれだけが、同じ根本的な問題、つまりショートカット学習のさまざまな症状として見なされるかを抽出しようとします。
ショートカットは、標準ベンチマークでは良好に機能しますが、現実世界のシナリオなど、より困難なテスト条件に移行できない決定ルールです。
関連する問題は比較心理学、教育、言語学で知られており、ショートカット学習が生物学的および人工的な学習システムの共通の特徴である可能性があることを示唆しています。
これらの観察に基づいて、私たちはモデルの解釈とベンチマークに関する一連の推奨事項を作成し、堅牢性とラボから現実世界のアプリケーションへの移行可能性を向上させるための機械学習の最近の進歩に焦点を当てます。

要約(オリジナル)

Deep learning has triggered the current rise of artificial intelligence and is the workhorse of today’s machine intelligence. Numerous success stories have rapidly spread all over science, industry and society, but its limitations have only recently come into focus. In this perspective we seek to distill how many of deep learning’s problems can be seen as different symptoms of the same underlying problem: shortcut learning. Shortcuts are decision rules that perform well on standard benchmarks but fail to transfer to more challenging testing conditions, such as real-world scenarios. Related issues are known in Comparative Psychology, Education and Linguistics, suggesting that shortcut learning may be a common characteristic of learning systems, biological and artificial alike. Based on these observations, we develop a set of recommendations for model interpretation and benchmarking, highlighting recent advances in machine learning to improve robustness and transferability from the lab to real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google