CoWs on Pasture: Baselines and Benchmarks for Language-Driven Zero-Shot Object Navigation

要約

ロボットが一般的に有用であるためには、ドメイン内データに対する高価なナビゲーション トレーニング (つまり、ゼロ ショット推論の実行) がなくても、ロボットが人によって記述された任意のオブジェクトを見つけることができる (つまり、言語駆動型である) 必要があります。
これらの機能を統一された設定で探究します: 言語主導のゼロ ショット オブジェクト ナビゲーション (L-ZSON)。
画像分類のためのオープン語彙モデルの最近の成功に触発されて、微調整なしでオープン語彙モデルをこのタスクに適応させるための単純なフレームワークである CLIP on Wheels (CoW) を調査します。
L-ZSON をより適切に評価するために、Pasture ベンチマークを導入します。これは、珍しいオブジェクト、空間属性と外観属性によって記述されたオブジェクト、および可視オブジェクトに関連して記述された隠しオブジェクトを見つけることを考慮しています。
Habitat、RoboTHOR、Pasture に 21 の CoW ベースラインを直接展開することで、詳細な実証研究を実施しています。
合計で 90,000 を超えるナビゲーション エピソードを評価した結果、(1) CoW ベースラインは言語の説明を活用するのに苦労することが多いが、珍しいオブジェクトを見つけるのは得意であることがわかりました。
(2) CLIP ベースのオブジェクト ローカリゼーションと従来の探索を備えた単純な CoW (追加のトレーニングなし) は、Habitat MP3D データで 5 億ステップのトレーニングを受けた最先端の ZSON メソッドのナビゲーション効率に匹敵します。
この同じ CoW は、最先端の RoboTHOR ZSON モデルよりも成功率が 15.6 ポイント向上しています。

要約(オリジナル)

For robots to be generally useful, they must be able to find arbitrary objects described by people (i.e., be language-driven) even without expensive navigation training on in-domain data (i.e., perform zero-shot inference). We explore these capabilities in a unified setting: language-driven zero-shot object navigation (L-ZSON). Inspired by the recent success of open-vocabulary models for image classification, we investigate a straightforward framework, CLIP on Wheels (CoW), to adapt open-vocabulary models to this task without fine-tuning. To better evaluate L-ZSON, we introduce the Pasture benchmark, which considers finding uncommon objects, objects described by spatial and appearance attributes, and hidden objects described relative to visible objects. We conduct an in-depth empirical study by directly deploying 21 CoW baselines across Habitat, RoboTHOR, and Pasture. In total, we evaluate over 90k navigation episodes and find that (1) CoW baselines often struggle to leverage language descriptions, but are proficient at finding uncommon objects. (2) A simple CoW, with CLIP-based object localization and classical exploration — and no additional training — matches the navigation efficiency of a state-of-the-art ZSON method trained for 500M steps on Habitat MP3D data. This same CoW provides a 15.6 percentage point improvement in success over a state-of-the-art RoboTHOR ZSON model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google