Energy-Efficient Visual Search by Eye Movement and Low-Latency Spiking Neural Network

要約

人間の視覚には、不均一な解像度の網膜、効率的な眼球運動戦略、およびスパイキング ニューラル ネットワーク (SNN) が組み込まれており、視野サイズ、視覚解像度、エネルギー コスト、推論遅延の要件のバランスがとれています。
これらの特性は、人間のようなコンピューター ビジョンの開発への関心を引き起こしました。
しかし、既存のモデルは人間の視覚の 3 つの特徴を完全に組み込んでおらず、学習された眼球運動戦略が人間の戦略と比較されていないため、モデルの動作の解釈が困難になっています。
ここでは、人間の視覚検索行動を調査する実験を実行し、最初の SNN ベースの視覚検索モデルを確立します。
このモデルは、人工網膜とスパイク特徴抽出、メモリ、およびサッカード決定モジュールを組み合わせており、高速かつ効率的なサッカード決定のために母集団コーディングを採用しています。
このモデルは、人間のような固定戦略または最適に近い固定戦略を学習し、検索速度と精度で人間を上回り、短いサッカード決定待ち時間とまばらな活性化を通じて高いエネルギー効率を達成できます。
また、人間の検索戦略は検​​索速度の点で最適ではないことも示唆されています。
私たちの研究は、神経科学におけるビジョンのモデリングと機械学習を結び付け、よりエネルギー効率の高いコンピューター ビジョン アルゴリズムの開発に光を当てています。

要約(オリジナル)

Human vision incorporates non-uniform resolution retina, efficient eye movement strategy, and spiking neural network (SNN) to balance the requirements in visual field size, visual resolution, energy cost, and inference latency. These properties have inspired interest in developing human-like computer vision. However, existing models haven’t fully incorporated the three features of human vision, and their learned eye movement strategies haven’t been compared with human’s strategy, making the models’ behavior difficult to interpret. Here, we carry out experiments to examine human visual search behaviors and establish the first SNN-based visual search model. The model combines an artificial retina with spiking feature extraction, memory, and saccade decision modules, and it employs population coding for fast and efficient saccade decisions. The model can learn either a human-like or a near-optimal fixation strategy, outperform humans in search speed and accuracy, and achieve high energy efficiency through short saccade decision latency and sparse activation. It also suggests that the human search strategy is suboptimal in terms of search speed. Our work connects modeling of vision in neuroscience and machine learning and sheds light on developing more energy-efficient computer vision algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google