Binding Dynamics in Rotating Features

要約

人間の認知における結合問題は、脳がさまざまな情報をどのように柔軟に統合して、一貫したオブジェクト表現を作成するかという未解決の問題を表します。
同様に、機械学習でも、オブジェクト中心の表現を教師なしで学習することにより、強力な一般化と推論が可能なモデルが追求されています。
神経科学理論に基づいた回転フィーチャは、オブジェクトの特性をその大きさで、オブジェクトの所属を方向でカプセル化するベクトル値のフィーチャを導入することで、そのような表現を学習します。
アーキテクチャのすべての層に埋め込まれている「$\chi$-binding」メカニズムは重要であることが示されていますが、依然として十分に理解されていません。
この論文では、特徴間の位置合わせを明示的に計算し、それに応じて重みを調整する代替の「コサイン バインディング」メカニズムを提案し、それが同等のパフォーマンスを達成することを示します。
これにより、自己注意と生物学的神経プロセスとの直接的なつながりを導き出し、回転フィーチャで現れるオブジェクト中心の表現の基本的な力学に光を当てることができます。

要約(オリジナル)

In human cognition, the binding problem describes the open question of how the brain flexibly integrates diverse information into cohesive object representations. Analogously, in machine learning, there is a pursuit for models capable of strong generalization and reasoning by learning object-centric representations in an unsupervised manner. Drawing from neuroscientific theories, Rotating Features learn such representations by introducing vector-valued features that encapsulate object characteristics in their magnitudes and object affiliation in their orientations. The ‘$\chi$-binding’ mechanism, embedded in every layer of the architecture, has been shown to be crucial, but remains poorly understood. In this paper, we propose an alternative ‘cosine binding’ mechanism, which explicitly computes the alignment between features and adjusts weights accordingly, and we show that it achieves equivalent performance. This allows us to draw direct connections to self-attention and biological neural processes, and to shed light on the fundamental dynamics for object-centric representations to emerge in Rotating Features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google