Out-of-Variable Generalization for Discriminative Models

要約

新しい環境でうまく機能するエージェントの能力は、インテリジェンスの重要な側面です。
機械学習では、この機能は $\textit{strong}$ または $\textit{配布外}$ 一般化として知られています。
ただし、学習環境間の違いを完全に把握するには、データ分布の違いを考慮するだけでは不十分です。
本論文では、$\textit{out-of-variable}$ 一般化を調査します。これは、これまで共同で観察されたことのない変数を持つ環境に関するエージェントの一般化能力に関係します。
このスキルは、生物の学習プロセスを厳密に反映しています。私たちも、常に変数の $\textit{subsets}$ を調べ、観察し、測定することで自然を探索しています。
数学的には、 $\textit{out-of-variable}$ 一般化には、過去の限界情報、つまり、以前に観察された変数のサブセットにわたる情報を効率的に再利用する必要があります。
私たちは、重複しているものの個別の原因セットを含む環境全体にわたる予測タスクに焦点を当てて、この問題を研究しています。
分類器を当てはめた後、ある環境における残差分布は、その環境における観測されていない因果関係の親に関する真の母関数の偏導関数を明らかにすることを示します。
我々はこの情報を活用し、重複しているが別個の因果予測子のセットに直面したときに、自明ではない変数外の一般化パフォーマンスを示す方法を提案します。

要約(オリジナル)

The ability of an agent to do well in new environments is a critical aspect of intelligence. In machine learning, this ability is known as $\textit{strong}$ or $\textit{out-of-distribution}$ generalization. However, merely considering differences in data distributions is inadequate for fully capturing differences between learning environments. In the present paper, we investigate $\textit{out-of-variable}$ generalization, which pertains to an agent’s generalization capabilities concerning environments with variables that were never jointly observed before. This skill closely reflects the process of animate learning: we, too, explore Nature by probing, observing, and measuring $\textit{subsets}$ of variables at any given time. Mathematically, $\textit{out-of-variable}$ generalization requires the efficient re-use of past marginal information, i.e., information over subsets of previously observed variables. We study this problem, focusing on prediction tasks across environments that contain overlapping, yet distinct, sets of causes. We show that after fitting a classifier, the residual distribution in one environment reveals the partial derivative of the true generating function with respect to the unobserved causal parent in that environment. We leverage this information and propose a method that exhibits non-trivial out-of-variable generalization performance when facing an overlapping, yet distinct, set of causal predictors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google