Octopi: Object Property Reasoning with Large Tactile-Language Models

要約

ロボットを効果的に操作するには、物理​​的推論が重要です。
最近の研究では、身体的推論のための視覚と言語の両方のモダリティが研究されています。
視覚は環境内のオブジェクトに関する情報を明らかにすることができ、言語は追加のコンテキストの抽象化および伝達媒体として機能します。
これらの研究はさまざまな物理的推論タスクで成功を示していますが、視覚または言語入力から推測できる物理的特性に限定されています。
この研究では、触覚と言語の組み合わせを研究します。これにより、身体化されたシステムが相互作用を通じて物理的特性を取得し、常識的な推論を適用できるようになります。
私たちは、物理/特性推論タスクと、GelSight 触覚センサーを使用して取得された注釈付き触覚ビデオの両方で構成される新しいデータセット PhysiCLeAR を提供します。
次に、触覚表現の学習と大規模な視覚言語モデルの両方を活用して、最小限の言語微調整で触覚入力を予測および推論するシステムである Octopi を紹介します。
PhysiCLeAR に関する私たちの評価では、Octopi が中間物理特性予測を効果的に使用して、さまざまな触覚関連タスクのパフォーマンスを向上できることが示されています。
PhysiCLeAR と Octopi は https://github.com/clear-nus/octopi で入手できます。

要約(オリジナル)

Physical reasoning is important for effective robot manipulation. Recent work has investigated both vision and language modalities for physical reasoning; vision can reveal information about objects in the environment and language serves as an abstraction and communication medium for additional context. Although these works have demonstrated success on a variety of physical reasoning tasks, they are limited to physical properties that can be inferred from visual or language inputs. In this work, we investigate combining tactile perception with language, which enables embodied systems to obtain physical properties through interaction and apply commonsense reasoning. We contribute a new dataset PhysiCLeAR, which comprises both physical/property reasoning tasks and annotated tactile videos obtained using a GelSight tactile sensor. We then introduce Octopi, a system that leverages both tactile representation learning and large vision-language models to predict and reason about tactile inputs with minimal language fine-tuning. Our evaluations on PhysiCLeAR show that Octopi is able to effectively use intermediate physical property predictions to improve its performance on various tactile-related tasks. PhysiCLeAR and Octopi are available at https://github.com/clear-nus/octopi.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google