Object Instance Retrieval in Assistive Robotics: Leveraging Fine-Tuned SimSiam with Multi-View Images Based on 3D Semantic Map

要約

日常生活を支援するロボットは、環境内でユーザーの希望するオブジェクトに一致するオブジェクトの特定のインスタンスを見つける必要があります。
このタスクはインスタンス固有のイメージ ゴール ナビゲーション (InstanceImageNav) として知られており、同じクラス内の異なるインスタンスを区別できるモデルが必要です。
ロボット工学における大きな課題の 1 つは、ロボットが同じオブジェクトをさまざまな 3D 視点から観察すると、その外観が大きく異なる可能性があり、オブジェクトを正確に認識して位置を特定することが困難になることです。
この研究では、環境の 3D セマンティック マップに基づくマルチビュー画像と SimSiam による自己教師あり学習を活用して、現場でインスタンス識別モデルをトレーニングする手法 SimView を紹介します。
私たちのアプローチの有効性は、実際の家庭環境をスキャンして作成された写真のようにリアルなシミュレーター、Habitat Matterport 3D を使用して検証されます。
私たちの結果は、オブジェクト検索用に事前にトレーニングされたマルチモーダル対比学習である CLIP と比較して、タスクの精度が 1.7 倍向上していることを示しています。
この改善は、InstanceImageNav タスクにおける支援ロボットのパフォーマンスを向上させる上で、私たちが提案する微調整方法の利点を強調しています。
プロジェクトの Web サイトは https://emergentsystemlabstudent.github.io/MultiViewRetrieve/ です。

要約(オリジナル)

Robots that assist in daily life are required to locate specific instances of objects that match the user’s desired object in the environment. This task is known as Instance-Specific Image Goal Navigation (InstanceImageNav), which requires a model capable of distinguishing between different instances within the same class. One significant challenge in robotics is that when a robot observes the same object from various 3D viewpoints, its appearance may differ greatly, making it difficult to recognize and locate the object accurately. In this study, we introduce a method, SimView, that leverages multi-view images based on a 3D semantic map of the environment and self-supervised learning by SimSiam to train an instance identification model on-site. The effectiveness of our approach is validated using a photorealistic simulator, Habitat Matterport 3D, created by scanning real home environments. Our results demonstrate a 1.7-fold improvement in task accuracy compared to CLIP, which is pre-trained multimodal contrastive learning for object search. This improvement highlights the benefits of our proposed fine-tuning method in enhancing the performance of assistive robots in InstanceImageNav tasks. The project website is https://emergentsystemlabstudent.github.io/MultiViewRetrieve/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google