Saccade Mechanisms for Image Classification, Object Detection and Tracking

要約

生物学的視覚からのサッカードメカニズムを使用して、分類およびオブジェクト検出の問題に対してディープニューラルネットワークをより効率的にする方法を検討します。
私たちが提案するアプローチは、注意駆動型の視覚処理とサッカード、注意の影響を受けるミニチュア眼球運動のアイデアに基づいています。
実験は、i）画像分類とオブジェクト検出のための部分的に検出された画像に対するさまざまなディープニューラルネットワーク（DNN）特徴抽出器の堅牢性、およびii）画像分類とオブジェクト追跡のための画像パッチのマスキングにおけるサッカードの有用性を分析することによって行います。
畳み込みネット（ResNet-18）とトランスベースモデル（ViT、DETR、TransTrack）を使用した実験は、いくつかのデータセット（CIFAR-10、DAVSOD、MSCOCO、およびMOT17）で実行されます。
私たちの実験は、分類、検出、追跡タスクのために最先端のDNNと組み合わせて使用​​すると、人間のサッカードを模倣する学習によるインテリジェントなデータ削減を示しています。
元のセンサーデータの約30\％のみを使用しながら、分類および検出タスクのパフォーマンスの低下を最小限に抑えました。
サッケードメカニズムが「ピクセル内」処理を介してハードウェア設計にどのように情報を提供できるかについて説明します。

要約(オリジナル)

We examine how the saccade mechanism from biological vision can be used to make deep neural networks more efficient for classification and object detection problems. Our proposed approach is based on the ideas of attention-driven visual processing and saccades, miniature eye movements influenced by attention. We conduct experiments by analyzing: i) the robustness of different deep neural network (DNN) feature extractors to partially-sensed images for image classification and object detection, and ii) the utility of saccades in masking image patches for image classification and object tracking. Experiments with convolutional nets (ResNet-18) and transformer-based models (ViT, DETR, TransTrack) are conducted on several datasets (CIFAR-10, DAVSOD, MSCOCO, and MOT17). Our experiments show intelligent data reduction via learning to mimic human saccades when used in conjunction with state-of-the-art DNNs for classification, detection, and tracking tasks. We observed minimal drop in performance for the classification and detection tasks while only using about 30\% of the original sensor data. We discuss how the saccade mechanism can inform hardware design via “in-pixel” processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google