Touch100k: A Large-Scale Touch-Language-Vision Dataset for Touch-Centric Multimodal Representation

要約

タッチは、人間とロボットの両方の知覚能力とインタラクティブ能力を高める上で極めて重要な位置を占めています。
その重要性にもかかわらず、現在の触覚研究は主に視覚と触覚のモダリティに焦点を当てており、言語領域は無視されています。
これに触発されて、我々は、100k スケールのタッチ-言語-視覚のペアデータセットである Touch100k を構築します。これは、複数の粒度での触覚の説明 (つまり、文脈や動的な関係、フレーズなどの豊かなセマンティクスを備えた文レベルの自然な表現) を特徴としています。
触覚の主要な特徴を捉えたレベルの説明）。
データセットに基づいて、カリキュラム学習の概念に触発された、カリキュラムリンクによるタッチ言語視覚表現学習 (略して TLV-Link) という事前トレーニング手法を提案します。
TLV-Link は、GelSight センサーの触覚表現を学習し、触覚、言語、視覚モダリティ間の関係を捉えることを目的としています。
私たちは、触覚表現とゼロショットタッチ理解に焦点を当てて、2 つのタスク カテゴリ (つまり、材料特性の特定とロボットの把握予測) にわたって表現のパフォーマンスを評価します。
実験による評価は、私たちの表現の有効性を示しています。
TLV-Link が大幅な改善を達成し、タッチ中心のマルチモーダル表現学習における新しい最先端技術を確立できるようにすることで、Touch100k は研究のための貴重なリソースとしての価値を実証します。
プロジェクトページ：https://cocacola-lab.github.io/Touch100k/。

要約(オリジナル)

Touch holds a pivotal position in enhancing the perceptual and interactive capabilities of both humans and robots. Despite its significance, current tactile research mainly focuses on visual and tactile modalities, overlooking the language domain. Inspired by this, we construct Touch100k, a paired touch-language-vision dataset at the scale of 100k, featuring tactile sensation descriptions in multiple granularities (i.e., sentence-level natural expressions with rich semantics, including contextual and dynamic relationships, and phrase-level descriptions capturing the key features of tactile sensations). Based on the dataset, we propose a pre-training method, Touch-Language-Vision Representation Learning through Curriculum Linking (TLV-Link, for short), inspired by the concept of curriculum learning. TLV-Link aims to learn a tactile representation for the GelSight sensor and capture the relationship between tactile, language, and visual modalities. We evaluate our representation’s performance across two task categories (namely, material property identification and robot grasping prediction), focusing on tactile representation and zero-shot touch understanding. The experimental evaluation showcases the effectiveness of our representation. By enabling TLV-Link to achieve substantial improvements and establish a new state-of-the-art in touch-centric multimodal representation learning, Touch100k demonstrates its value as a valuable resource for research. Project page: https://cocacola-lab.github.io/Touch100k/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google