Object Instance Retrieval in Assistive Robotics: Leveraging Fine-Tuned SimSiam with Multi-View Images Based on 3D Semantic Map

要約

人間の日常生活を支援するロボットは、ユーザーが望むオブジェクトに一致する環境内でオブジェクトの特定のインスタンスを見つけられる必要があります。
このタスクはインスタンス固有のイメージ ゴール ナビゲーション (InstanceImageNav) として知られており、同じクラス内のオブジェクトの異なるインスタンスを区別できるモデルが必要です。
ロボット工学における大きな課題は、ロボットが同じオブジェクトをさまざまな 3D 視点から観察すると、その外観が大幅に異なる可能性があり、正確に認識して位置を特定することが困難になることです。
この論文では、環境の 3D セマンティック マップに基づくマルチビュー画像と、SimSiam を使用した自己教師あり学習を利用して、インスタンス識別モデルをオンサイトでトレーニングする SimView と呼ばれる手法を紹介します。
私たちのアプローチの有効性は、実際の家庭環境をスキャンして作成された写真のようにリアルなシミュレーター、Habitat Matterport 3D を使用して検証されました。
私たちの結果は、オブジェクト検索用の事前トレーニング済みマルチモーダル対比学習法である対照言語画像事前トレーニング (CLIP) と比較して、タスクの精度が 1.7 倍向上していることを示しています。
この改善は、InstanceImageNav タスクにおける支援ロボットのパフォーマンスを向上させる上で、私たちが提案する微調整方法の利点を強調しています。
プロジェクトの Web サイトは https://emergentsystemlabstudent.github.io/MultiViewRetrieve/ です。

要約(オリジナル)

Robots that assist humans in their daily lives should be able to locate specific instances of objects in an environment that match a user’s desired objects. This task is known as instance-specific image goal navigation (InstanceImageNav), which requires a model that can distinguish different instances of an object within the same class. A significant challenge in robotics is that when a robot observes the same object from various 3D viewpoints, its appearance may differ significantly, making it difficult to recognize and locate accurately. In this paper, we introduce a method called SimView, which leverages multi-view images based on a 3D semantic map of an environment and self-supervised learning using SimSiam to train an instance-identification model on-site. The effectiveness of our approach was validated using a photorealistic simulator, Habitat Matterport 3D, created by scanning actual home environments. Our results demonstrate a 1.7-fold improvement in task accuracy compared with contrastive language-image pre-training (CLIP), a pre-trained multimodal contrastive learning method for object searching. This improvement highlights the benefits of our proposed fine-tuning method in enhancing the performance of assistive robots in InstanceImageNav tasks. The project website is https://emergentsystemlabstudent.github.io/MultiViewRetrieve/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google