Right Place, Right Time! Generalizing ObjectNav to Dynamic Environments with Portable Targets

要約

ObjectNav は、エージェントが目に見えない環境にあるターゲット オブジェクトに移動する、Embedded AI の一般的なタスクです。
従来の文献では、静止した物体を含む静的な環境が想定されており、現実性に欠けています。
これに対処するために、我々は、ObjectNav を非静止オブジェクトを含む動的環境に一般化する新しい定式化を提示し、それを Portable ObjectNav または P-ObjectNav と呼びます。
私たちの定式化では、まず、シーン内のポータブル オブジェクトに複数の遷移動作を導入する新しい方法を開発することで、既存のトポロジカル シーン グラフの動的化に関するいくつかの困難な問題に対処します。
私たちはこの手法を使用して、具体化されたタスクを評価するための人気のあるシミュレーターである Matterport3D を動的にします。
次に、動的環境上でヒューリスティック、強化学習、大規模言語モデル (LLM) ベースのナビゲーション アプローチを組み合わせた P-ObjectNav のベンチマークを提示し、同時にタスクに合わせた新しい評価指標を導入します。
私たちの研究は、以前の ObjectNav の研究の「静的環境」の概念に根本的に挑戦しています。
P-ObjectNav のコードとデータセットは、動的シーンにおける具体的なナビゲーションの研究を促進するために一般公開されます。
コードとデータセット用に匿名化されたリポジトリを提供しています: https://anonymous.4open.science/r/PObjectNav-1C6D。

要約(オリジナル)

ObjectNav is a popular task in Embodied AI, where an agent navigates to a target object in an unseen environment. Prior literature makes the assumption of a static environment with stationary objects, which lacks realism. To address this, we present a novel formulation to generalize ObjectNav to dynamic environments with non-stationary objects, and refer to it as Portable ObjectNav or P-ObjectNav. In our formulation, we first address several challenging issues with dynamizing existing topological scene graphs by developing a novel method that introduces multiple transition behaviors to portable objects in the scene. We use this technique to dynamize Matterport3D, a popular simulator for evaluating embodied tasks. We then present a benchmark for P-ObjectNav using a combination of heuristic, reinforcement learning, and Large Language Model (LLM)-based navigation approaches on the dynamized environment, while introducing novel evaluation metrics tailored for our task. Our work fundamentally challenges the ‘static-environment’ notion of prior ObjectNav work; the code and dataset for P-ObjectNav will be made publicly available to foster research on embodied navigation in dynamic scenes. We provide an anonymized repository for our code and dataset: https://anonymous.4open.science/r/PObjectNav-1C6D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google