TTA-Nav: Test-time Adaptive Reconstruction for Point-Goal Navigation under Visual Corruptions

要約

視覚的に破損した状態でのロボットのナビゲーションは、大きな課題となります。
これに対処するために、視覚的な破損の下でのポイント-ゴールナビゲーションのための、TTA-Nav と呼ばれるテスト時間適応 (TTA) 方法を提案します。
私たちの「プラグアンドプレイ」手法では、事前トレーニングされたナビゲーション モデルにトップダウン デコーダが組み込まれています。
まず、事前トレーニングされたナビゲーション モデルは破損した画像を取得し、特徴を抽出します。
次に、トップダウン デコーダは、事前トレーニングされたモデルによって抽出された高レベルの特徴を考慮して再構成を生成します。
次に、破損した画像の再構築を事前トレーニングされたモデルにフィードバックします。
最後に、事前トレーニングされたモデルは再びフォワードパスを実行してアクションを出力します。
クリーンな画像のみでトレーニングされているにもかかわらず、トップダウン デコーダは、勾配ベースの適応を必要とせずに、破損した画像からクリーンな画像を再構築できます。
トップダウン デコーダを使用した事前トレーニング済みナビゲーション モデルにより、ベンチマークのほぼすべての視覚的破損にわたってナビゲーション パフォーマンスが大幅に向上しました。
私たちの方法では、ポイントゴールナビゲーションの成功率が、最も深刻な破損の場合の最先端の結果である 46% から 94% に向上します。
これは、ロボットによる視覚ナビゲーションにおける幅広い応用の可能性を示唆しています。
プロジェクトページ: https://sites.google.com/view/tta-nav

要約(オリジナル)

Robot navigation under visual corruption presents a formidable challenge. To address this, we propose a Test-time Adaptation (TTA) method, named as TTA-Nav, for point-goal navigation under visual corruptions. Our ‘plug-and-play’ method incorporates a top-down decoder to a pre-trained navigation model. Firstly, the pre-trained navigation model gets a corrupted image and extracts features. Secondly, the top-down decoder produces the reconstruction given the high-level features extracted by the pre-trained model. Then, it feeds the reconstruction of a corrupted image back to the pre-trained model. Finally, the pre-trained model does forward pass again to output action. Despite being trained solely on clean images, the top-down decoder can reconstruct cleaner images from corrupted ones without the need for gradient-based adaptation. The pre-trained navigation model with our top-down decoder significantly enhances navigation performance across almost all visual corruptions in our benchmarks. Our method improves the success rate of point-goal navigation from the state-of-the-art result of 46% to 94% on the most severe corruption. This suggests its potential for broader application in robotic visual navigation. Project page: https://sites.google.com/view/tta-nav

arxiv情報

提供元, 利用サービス

arxiv.jp, Google