Contrastive Learning for Enhancing Robust Scene Transfer in Vision-based Agile Flight

要約

ビジョンベースのモバイル ロボティクス アプリケーションのシーン転送は、非常に関連性が高く、困難な問題です。
ロボットの有用性は、適切に制御された実験室環境以外の現実世界でタスクを実行できる能力に大きく依存します。
既存のシーン転送のエンドツーエンドのポリシー学習アプローチは、サンプル効率が悪い、または汎化機能が限られていることが多く、モバイル ロボット アプリケーションには適していません。
この研究では、ゼロショット シーンの転送と現実世界への展開を可能にする、視覚表現学習のための適応型マルチペア対比学習戦略を提案します。
埋め込みに依存する制御ポリシーは、展開環境での微調整を必要とせずに、目に見えない環境で動作できます。
私たちは、機敏でビジョンベースのクアッドローター飛行というタスクに対するアプローチのパフォーマンスを実証します。
広範なシミュレーションと現実世界の実験により、私たちのアプローチがトレーニング領域を超えて一般化することに成功し、すべてのベースラインを上回るパフォーマンスが得られることが実証されました。

要約(オリジナル)

Scene transfer for vision-based mobile robotics applications is a highly relevant and challenging problem. The utility of a robot greatly depends on its ability to perform a task in the real world, outside of a well-controlled lab environment. Existing scene transfer end-to-end policy learning approaches often suffer from poor sample efficiency or limited generalization capabilities, making them unsuitable for mobile robotics applications. This work proposes an adaptive multi-pair contrastive learning strategy for visual representation learning that enables zero-shot scene transfer and real-world deployment. Control policies relying on the embedding are able to operate in unseen environments without the need for finetuning in the deployment environment. We demonstrate the performance of our approach on the task of agile, vision-based quadrotor flight. Extensive simulation and real-world experiments demonstrate that our approach successfully generalizes beyond the training domain and outperforms all baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google