Out-of-distribution generalisation is hard: evidence from ARC-like tasks

要約

分散排出（OOD）一般化は、人間と動物の知性の特徴と見なされます。
構成を通じてOODを実現するには、システムは経験豊富な入出力マッピングの環境不変の特性を発見し、それらを新しい入力に転送する必要があります。
これは、インテリジェントシステムが適切な、タスク不変、および構成可能な入力機能と構成方法を識別できる場合に実現することができ、したがって、学習したデータポイント間の補間ではなく、それらの機能のタスク不変の構成に基づいて行動することができます。
アルゴリズムが実際にデータから構成構造を学習することを確認するために、OODセットアップでテストするだけでは十分ではないが、識別された機能が実際に組成的であることを確認する必要があることを提案します。
これを紹介します。これは、一般的に使用される3つのニューラルネットワークではOODメトリックではない明確に定義されたOODメトリックを調査して、多層ペルセプトロン（MLP）、畳み込みニューラルネットワーク（CNN）、および変圧器です。
さらに、OODシナリオで成功できるバイアスが染み込んだ2つの新しいネットワークアーキテクチャを開発します。
正しいバイアスとほぼ完全なoodパフォーマンスがあっても、アルゴリズムがまだ構成一般化のための正しい機能を学習できないことを示します。

要約(オリジナル)

Out-of-distribution (OOD) generalisation is considered a hallmark of human and animal intelligence. To achieve OOD through composition, a system must discover the environment-invariant properties of experienced input-output mappings and transfer them to novel inputs. This can be realised if an intelligent system can identify appropriate, task-invariant, and composable input features, as well as the composition methods, thus allowing it to act based not on the interpolation between learnt data points but on the task-invariant composition of those features. We propose that in order to confirm that an algorithm does indeed learn compositional structures from data, it is not enough to just test on an OOD setup, but one also needs to confirm that the features identified are indeed compositional. We showcase this by exploring two tasks with clearly defined OOD metrics that are not OOD solvable by three commonly used neural networks: a Multi-Layer Perceptron (MLP), a Convolutional Neural Network (CNN), and a Transformer. In addition, we develop two novel network architectures imbued with biases that allow them to be successful in OOD scenarios. We show that even with correct biases and almost perfect OOD performance, an algorithm can still fail to learn the correct features for compositional generalisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google