Invariance is Key to Generalization: Examining the Role of Representation in Sim-to-Real Transfer for Visual Navigation

要約

ロボット制御へのデータ駆動型アプローチは急速に進展しているが、未知のタスク領域への汎化は依然として重要な課題である。我々は、汎化の鍵は、(i)タスクに関連する全ての情報を捉えるのに十分豊かであり、(ii)訓練領域とテスト領域の間の余計な変動に対して不変である表現であると主張する。我々は、このような表現（奥行き情報と意味情報の両方を含む）を視覚ナビゲーションのために実験的に研究し、屋内の模擬シーンで完全に訓練された制御方針が、屋内と屋外の両方の多様な実環境に汎化できることを示す。さらに、我々の表現が訓練領域とテスト領域の間のA-distanceを減少させ、結果として汎化誤差の境界を改善することを示す。我々の提案するアプローチはスケーラブルであり、学習されたポリシーは、それが利用する基礎モデルが事前学習中に、より多様なデータを吸収するにつれて、継続的に改善される。

要約(オリジナル)

The data-driven approach to robot control has been gathering pace rapidly, yet generalization to unseen task domains remains a critical challenge. We argue that the key to generalization is representations that are (i) rich enough to capture all task-relevant information and (ii) invariant to superfluous variability between the training and the test domains. We experimentally study such a representation — containing both depth and semantic information — for visual navigation and show that it enables a control policy trained entirely in simulated indoor scenes to generalize to diverse real-world environments, both indoors and outdoors. Further, we show that our representation reduces the A-distance between the training and test domains, improving the generalization error bound as a result. Our proposed approach is scalable: the learned policy improves continuously, as the foundation models that it exploits absorb more diverse data during pre-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL