Passive learning of active causal strategies in agents and language models

要約

受動的なデータから因果関係と実験について何を学ぶことができるでしょうか?
ツールの使用などの対話型領域における受動的にトレーニングされた言語モデルの最近の成功を考えると、この疑問は顕著です。
受動的な学習には本質的に限界があります。
しかし、我々は、エージェントがテスト時に介入できる限り、純粋に受動的な学習によって、エージェントが実際に因果構造を決定して使用するための一般化可能な戦略を学習できることを示します。
最初に実験してから目標を探す戦略を学習すると、原理的には受動的学習からの一般化が可能になることを正式に示します。
次に、専門家データを模倣して訓練されたエージェントが、実際にテスト時に一般化して、訓練データには決して存在しない因果関係を推論して使用できることを経験的に示します。
これらのエージェントは、トレーニングでは決して観察されなかった新しい変数セットに実験戦略を一般化することもできます。
次に、自然言語説明のサポートにより、高次元の観察を伴うより複雑な環境であっても、因果関係の介入と活用のための戦略が受動的なデータから一般化できることを示します。
説明により、受動的学習者は完全に混同されたトレーニング データから分布外の一般化を行うこともできます。
最後に、受動的な次の単語の予測のみで訓練された言語モデルが、実験例を含む数ショットのプロンプトと説明と推論から因果的介入戦略を一般化できることを示します。
これらの結果は、能動的因果戦略の受動的学習の驚くべき力を強調しており、言語モデルの動作と機能を理解するのに役立つ可能性があります。

要約(オリジナル)

What can be learned about causality and experimentation from passive data? This question is salient given recent successes of passively-trained language models in interactive domains such as tool use. Passive learning is inherently limited. However, we show that purely passive learning can in fact allow an agent to learn generalizable strategies for determining and using causal structures, as long as the agent can intervene at test time. We formally illustrate that learning a strategy of first experimenting, then seeking goals, can allow generalization from passive learning in principle. We then show empirically that agents trained via imitation on expert data can indeed generalize at test time to infer and use causal links which are never present in the training data; these agents can also generalize experimentation strategies to novel variable sets never observed in training. We then show that strategies for causal intervention and exploitation can be generalized from passive data even in a more complex environment with high-dimensional observations, with the support of natural language explanations. Explanations can even allow passive learners to generalize out-of-distribution from perfectly-confounded training data. Finally, we show that language models, trained only on passive next-word prediction, can generalize causal intervention strategies from a few-shot prompt containing examples of experimentation, together with explanations and reasoning. These results highlight the surprising power of passive learning of active causal strategies, and may help to understand the behaviors and capabilities of language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google