Context is Environment

要約

AI 研究では 2 つの分野の仕事が中心的な役割を果たしています。
一方で、コミュニティは、偽の相関を排除し、新しいテスト環境でより適切に一般化するモデルを構築する取り組みを強化しています。
残念ながら、これまでの苦い教訓は、単純な経験に基づいたリスク最小化のベースラインを説得力を持って上回る提案は存在しないということです。
一方、大規模言語モデル (LLM) は、コンテキスト内で学習できるアルゴリズムとして登場し、ユーザーがプロンプトによって強制する折衷的なコンテキスト状況をオンザフライで一般化します。
この論文では、コンテキストは環境であると主張し、コンテキスト内学習がより優れた領域一般化の鍵を握ると仮定します。
広範な理論と実験を通じて、コンテキスト$\unicode{x2013}\unicode{x2013}$到着時にラベルのない例に注意を払うことで、私たちが提案するコンテキスト内リスクの最小化が可能になることを示します$\unicode{x2013}\unicode{x2013}$
(ICRM) アルゴリズムを使用してテスト環境のリスク最小化を拡大し、配布外のパフォーマンスの大幅な向上につながります。
以上のことから、持ち帰りに値するメッセージが 2 つあります。
ドメイン一般化の研究者は、環境をコンテキストとして考慮し、コンテキスト内学習の適応力を活用する必要があります。
LLM の研究者は、一般化に向けてデータをより適切に構造化するために、コンテキストを環境として考慮する必要があります。

要約(オリジナル)

Two lines of work are taking the central stage in AI research. On the one hand, the community is making increasing efforts to build models that discard spurious correlations and generalize better in novel test environments. Unfortunately, the bitter lesson so far is that no proposal convincingly outperforms a simple empirical risk minimization baseline. On the other hand, large language models (LLMs) have erupted as algorithms able to learn in-context, generalizing on-the-fly to eclectic contextual circumstances that users enforce by means of prompting. In this paper, we argue that context is environment, and posit that in-context learning holds the key to better domain generalization. Via extensive theory and experiments, we show that paying attention to context$\unicode{x2013}\unicode{x2013}$unlabeled examples as they arrive$\unicode{x2013}\unicode{x2013}$allows our proposed In-Context Risk Minimization (ICRM) algorithm to zoom-in on the test environment risk minimizer, leading to significant out-of-distribution performance improvements. From all of this, two messages are worth taking home. Researchers in domain generalization should consider environment as context, and harness the adaptive power of in-context learning. Researchers in LLMs should consider context as environment, to better structure data towards generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google