Active Gaze Control for Foveal Scene Exploration

要約

能動的知覚と中心視は、人間の視覚系の基礎です。
中心視は注視固定中に処理する情報量を減らしますが、能動的知覚は注視方向を視野の最も有望な部分に変更します。
中心窩カメラを搭載した人間とロボットがシーンを探索し、周囲に存在するオブジェクトを最小限の視線移動で特定する方法をエミュレートする方法を提案します。
私たちのアプローチは、3 つの主要な方法に基づいています。
まず、通常の画像の大規模なデータセットで事前トレーニングされた既製の深層物体検出器を使用し、中心窩画像の場合に分類出力を調整します。
第二に、オブジェクトの分類と対応する不確実性をエンコードする身体中心の意味マップは、いくつかのデータ融合技術を考慮して、較正された検出で順次更新されます。
第 3 に、セマンティック マップの全体的な予想される不確実性を最小限に抑えることを目的とした情報理論的測定基準に基づいて、次善の注視点が決定されます。
次の注視シフトのランダム選択と比較すると、提案された方法は、同じ数の注視シフトに対して 2 ～ 3 パーセント ポイントの検出 F1 スコアの増加を達成し、同様のパフォーマンスを達成するために必要な注視シフトの数を 3 分の 1 に減らします。
.

要約(オリジナル)

Active perception and foveal vision are the foundations of the human visual system. While foveal vision reduces the amount of information to process during a gaze fixation, active perception will change the gaze direction to the most promising parts of the visual field. We propose a methodology to emulate how humans and robots with foveal cameras would explore a scene, identifying the objects present in their surroundings with in least number of gaze shifts. Our approach is based on three key methods. First, we take an off-the-shelf deep object detector, pre-trained on a large dataset of regular images, and calibrate the classification outputs to the case of foveated images. Second, a body-centered semantic map, encoding the objects classifications and corresponding uncertainties, is sequentially updated with the calibrated detections, considering several data fusion techniques. Third, the next best gaze fixation point is determined based on information-theoretic metrics that aim at minimizing the overall expected uncertainty of the semantic map. When compared to the random selection of next gaze shifts, the proposed method achieves an increase in detection F1-score of 2-3 percentage points for the same number of gaze shifts and reduces to one third the number of required gaze shifts to attain similar performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google