A Relational Inductive Bias for Dimensional Abstraction in Neural Networks

要約

人間の認知システムは、環境の低次元の構成表現を形成する能力のおかげで、顕著な柔軟性と一般化能力を示します。
対照的に、標準的なニューラル ネットワーク アーキテクチャは、多くの場合、抽象的な推論タスク、過剰適合、およびトレーニングに大量のデータの必要性に苦労します。
この論文では、構成コーディングとそれに伴う処理の柔軟性に役立つ因数分解表現の学習に対する、リレーショナル ボトルネック (入力間の関係に処理を集中させるメカニズム) の影響を調査します。
私たちは、このようなボトルネックが汎化と学習効率を向上させるだけでなく、ネットワークのパフォーマンスを人間のような行動のバイアスに合わせて調整することを実証します。
リレーショナル ボトルネックでトレーニングされたネットワークは、人間の認知の柔軟性の根底にあると考えられる因数分解された構造を反映して、データセットに潜在する特徴次元の直交表現を開発しました。
さらに、リレーショナル ネットワークは、事前に指定された記号プリミティブなしで規則性に対する人間の偏見を模倣しており、ボトルネックが記号に似た柔軟性を与える抽象表現の出現を促進していることを示唆しています。

要約(オリジナル)

The human cognitive system exhibits remarkable flexibility and generalization capabilities, partly due to its ability to form low-dimensional, compositional representations of the environment. In contrast, standard neural network architectures often struggle with abstract reasoning tasks, overfitting, and requiring extensive data for training. This paper investigates the impact of the relational bottleneck — a mechanism that focuses processing on relations among inputs — on the learning of factorized representations conducive to compositional coding and the attendant flexibility of processing. We demonstrate that such a bottleneck not only improves generalization and learning efficiency, but also aligns network performance with human-like behavioral biases. Networks trained with the relational bottleneck developed orthogonal representations of feature dimensions latent in the dataset, reflecting the factorized structure thought to underlie human cognitive flexibility. Moreover, the relational network mimics human biases towards regularity without pre-specified symbolic primitives, suggesting that the bottleneck fosters the emergence of abstract representations that confer flexibility akin to symbols.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google