Out-of-Variable Generalization

要約

タイトル：変数外の汎化
要約：

– 知能の重要な側面の1つである新しい環境での良好なパフォーマンスを発揮するエージェントの能力は、機械学習では強力な汎化または分布外汎化と呼ばれています。
– ただし、データ分布の違いを考慮するだけでは、環境の違いを完全に捉えるには不十分です。
– 本論文では、変数外の汎化に着目し、これは、今までに共同観察されたことのない変数が含まれる新しい状況を処理するエージェントの能力を指します。
– このような能力は、AIによる科学的発見においても重要であると考えられます。
– 数学的には、過去の周辺知識、すなわち変数のサブセットに関する知識の効率的な再利用が必要です。
– 私たちは、因果関係の異なる、重なり合うが異なる親のセットを観察する予測タスクに焦点を当てて、この問題を研究しています。
– 私たちは、1つの環境の残差分布が、未観測の因果的親に関する真の生成関数の偏微分をエンコードすることを示しました。
– したがって、残差から学習することにより、他の環境で結果変数を観察しなくてもゼロショット予測が可能になります。

要約(オリジナル)

The ability of an agent to perform well in new and unseen environments is a crucial aspect of intelligence. In machine learning, this ability is referred to as strong or out-of-distribution generalization. However, simply considering differences in data distributions is not sufficient to fully capture differences in environments. In the present paper, we assay out-of-variable generalization, which refers to an agent’s ability to handle new situations that involve variables never jointly observed before. We expect that such ability is important also for AI-driven scientific discovery: humans, too, explore ‘Nature’ by probing, observing and measuring subsets of variables at one time. Mathematically, it requires efficient re-use of past marginal knowledge, i.e., knowledge over subsets of variables. We study this problem, focusing on prediction tasks that involve observing overlapping, yet distinct, sets of causal parents. We show that the residual distribution of one environment encodes the partial derivative of the true generating function with respect to the unobserved causal parent. Hence, learning from the residual allows zero-shot prediction even when we never observe the outcome variable in the other environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI