Instance-aware Exploration-Verification-Exploitation for Instance ImageGoal Navigation

要約

新しい具体化されたビジョン タスクとして、インスタンス イメージゴール ナビゲーション (IIN) は、未探索の環境でゴール イメージによって描かれた指定されたオブジェクトにナビゲートすることを目的としています。
このタスクの主な課題は、同様の気を散らすものを排除しながら、さまざまな視点からターゲット オブジェクトを識別することにあります。
既存の ImageGoal ナビゲーション メソッドは、通常、単純な探索/活用フレームワークを採用しており、ナビゲーション中に特定のインスタンスの識別を無視します。
本研究では、遠くから物体を区別する際に「近づいて確認する」という人間の行動を模倣することを提案します。
具体的には、インスタンスレベルの画像目標ナビゲーション用に、Instance-aware Exploration-Verification-Exploitation (IEVE) という名前の新しいモジュラー ナビゲーション フレームワークを設計します。
私たちの方法では、探索、検証、悪用のアクションをアクティブに切り替えることができるため、エージェントがさまざまな状況下で合理的な決定を下すことが容易になります。
困難な HabitatMatterport 3D セマンティック (HM3D-SEM) データセットにおいて、私たちの手法は、古典的なセグメンテーション モデル (成功率 0.684 対 0.561) またはロバスト モデル (成功率 0.702 対 0.561) を使用して、以前の最先端の研究を上回っています。

要約(オリジナル)

As a new embodied vision task, Instance ImageGoal Navigation (IIN) aims to navigate to a specified object depicted by a goal image in an unexplored environment. The main challenge of this task lies in identifying the target object from different viewpoints while rejecting similar distractors. Existing ImageGoal Navigation methods usually adopt the simple Exploration-Exploitation framework and ignore the identification of specific instance during navigation. In this work, we propose to imitate the human behaviour of “getting closer to confirm’ when distinguishing objects from a distance. Specifically, we design a new modular navigation framework named Instance-aware Exploration-Verification-Exploitation (IEVE) for instance-level image goal navigation. Our method allows for active switching among the exploration, verification, and exploitation actions, thereby facilitating the agent in making reasonable decisions under different situations. On the challenging HabitatMatterport 3D semantic (HM3D-SEM) dataset, our method surpasses previous state-of-the-art work, with a classical segmentation model (0.684 vs. 0.561 success) or a robust model (0.702 vs. 0.561 success)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google