Neuromorphic Visual Scene Understanding with Resonator Networks

要約

オブジェクトの位置とその厳密な変換を推測することは、視覚的なシーンの理解においてまだ未解決の問題です。
ここでは、次の 3 つの重要な概念に基づく効率的な因数分解ネットワークを利用するニューロモーフィック ソリューションを提案します。
(2) 両方を組み合わせて使用​​する場合に、ビジュアル シーンでの平行移動と回転の非可換性に対処するための階層型共鳴ネットワーク (HRN) の設計。
(3) ニューロモルフィック ハードウェアに複素数値ベクトル バインドを実装するためのマルチコンパートメント スパイキング フェーザー ニューロン モデルの設計。
VSA フレームワークは、ベクトル バインド操作を使用して、バインドが幾何学的変換の等変操作として機能する生成イメージ モデルを生成します。
したがって、シーンはベクトル積の合計として記述でき、オブジェクトとそのポーズを推測するために共振器ネットワークによって効率的に因数分解できます。
HRN を使用すると、1 つのパーティション内での水平方向と垂直方向の変換、および別のパーティション内での回転とスケーリングに対してベクトル バインドが等変である、パーティション化されたアーキテクチャの定義が可能になります。
スパイキング ニューロン モデルにより、共振器ネットワークを効率的で低電力のニューロモルフィック ハードウェアにマッピングできます。
この作業では、単純な 2D 形状で構成される合成シーンを使用して、厳密な幾何学的変換と色の変化を行うアプローチを示します。
付属の論文では、マシン ビジョンとロボティクスの実際のアプリケーション シナリオでこのアプローチを示しています。

要約(オリジナル)

Inferring the position of objects and their rigid transformations is still an open problem in visual scene understanding. Here we propose a neuromorphic solution that utilizes an efficient factorization network based on three key concepts: (1) a computational framework based on Vector Symbolic Architectures (VSA) with complex-valued vectors; (2) the design of Hierarchical Resonator Networks (HRN) to deal with the non-commutative nature of translation and rotation in visual scenes, when both are used in combination; (3) the design of a multi-compartment spiking phasor neuron model for implementing complex-valued vector binding on neuromorphic hardware. The VSA framework uses vector binding operations to produce generative image models in which binding acts as the equivariant operation for geometric transformations. A scene can therefore be described as a sum of vector products, which in turn can be efficiently factorized by a resonator network to infer objects and their poses. The HRN enables the definition of a partitioned architecture in which vector binding is equivariant for horizontal and vertical translation within one partition and for rotation and scaling within the other partition. The spiking neuron model allows mapping the resonator network onto efficient and low-power neuromorphic hardware. In this work, we demonstrate our approach using synthetic scenes composed of simple 2D shapes undergoing rigid geometric transformations and color changes. A companion paper demonstrates this approach in real-world application scenarios for machine vision and robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google