OVRL-V2: A simple state-of-art baseline for ImageNav and ObjectNav

要約

タスクに依存しないコンポーネント (ViT、畳み込み、および LSTM) で構成される単一のニューラル ネットワーク アーキテクチャを提示します。
オブジェクト検出、セグメンテーション、マッピング、または計画モジュールなどのタスク固有のモジュールを使用しないタスク。
このような汎用メソッドには、設計の簡素化、利用可能なコンピューティングによる正のスケーリング、および複数のタスクへの多目的な適用性という利点があります。
私たちの仕事は、ビジョン トランスフォーマー (ViT) の事前トレーニングのための自己教師あり学習 (SSL) の最近の成功に基づいています。
ただし、畳み込みネットワークのトレーニング レシピは成熟しており堅牢ですが、ViT のレシピは偶発的で脆く、ビジュアル ナビゲーションの ViT の場合はまだ完全には発見されていません。
具体的には、バニラの ViT はビジュアル ナビゲーションで ResNet より優れていないことがわかりました。
ポリシートレーニングの改善とともに空間情報を保持するために、ViTパッチ表現で動作する圧縮レイヤーの使用を提案します。
これらの改善により、ビジュアル ナビゲーション タスクで初めて正のスケーリングの法則を示すことができます。
その結果、私たちのモデルは、ImageNav での最先端のパフォーマンスを 54.2% から 82.0% の成功率に向上させ、ObjectNav で同時に行われている最先端のパフォーマンスに対して 64.0% 対 65.0% の成功率で競争力を発揮します。
全体として、この作業は根本的に新しいアプローチを提示するものではなく、現在最先端のパフォーマンスを達成し、将来の方法の強力なベースラインとして役立つ可能性がある汎用アーキテクチャをトレーニングするための推奨事項です。

要約(オリジナル)

We present a single neural network architecture composed of task-agnostic components (ViTs, convolutions, and LSTMs) that achieves state-of-art results on both the ImageNav (‘go to location in ‘) and ObjectNav (‘find a chair’) tasks without any task-specific modules like object detection, segmentation, mapping, or planning modules. Such general-purpose methods offer advantages of simplicity in design, positive scaling with available compute, and versatile applicability to multiple tasks. Our work builds upon the recent success of self-supervised learning (SSL) for pre-training vision transformers (ViT). However, while the training recipes for convolutional networks are mature and robust, the recipes for ViTs are contingent and brittle, and in the case of ViTs for visual navigation, yet to be fully discovered. Specifically, we find that vanilla ViTs do not outperform ResNets on visual navigation. We propose the use of a compression layer operating over ViT patch representations to preserve spatial information along with policy training improvements. These improvements allow us to demonstrate positive scaling laws for the first time in visual navigation tasks. Consequently, our model advances state-of-the-art performance on ImageNav from 54.2% to 82.0% success and performs competitively against concurrent state-of-art on ObjectNav with success rate of 64.0% vs. 65.0%. Overall, this work does not present a fundamentally new approach, but rather recommendations for training a general-purpose architecture that achieves state-of-art performance today and could serve as a strong baseline for future methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google