Shortcut Learning in In-Context Learning: A Survey

要約

ショートカット学習とは、モデルが実際のタスクで単純でロバストではない決定ルールを採用し、その一般化とロバスト性が妨げられる現象を指します。
近年の大規模言語モデル (LLM) の急速な発展に伴い、LLM に対するショートカット学習の影響を示す研究が増えています。
この論文は、インコンテキスト学習 (ICL) におけるショートカット学習に関する関連研究をレビューするための新しい視点を提供します。
ICL タスクのショートカットの種類、その原因、利用可能なベンチマーク、およびショートカットを軽減するための戦略を詳細に調査します。
対応する観察に基づいて、既存の研究における未解決の問題を要約し、ショートカット学習の将来の研究展望を概説することを試みます。

要約(オリジナル)

Shortcut learning refers to the phenomenon where models employ simple, non-robust decision rules in practical tasks, which hinders their generalization and robustness. With the rapid development of large language models (LLMs) in recent years, an increasing number of studies have shown the impact of shortcut learning on LLMs. This paper provides a novel perspective to review relevant research on shortcut learning in In-Context Learning (ICL). It conducts a detailed exploration of the types of shortcuts in ICL tasks, their causes, available benchmarks, and strategies for mitigating shortcuts. Based on corresponding observations, it summarizes the unresolved issues in existing research and attempts to outline the future research landscape of shortcut learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google