Touch and Go: Learning from Human-Collected Vision and Touch

要約

タッチと視覚を関連付ける機能は、世界のオブジェクトと物理的にやり取りする必要があるタスクに不可欠です。
Touch and Go と呼ばれる視覚と触覚のペア データを含むデータセットを提案します。このデータセットでは、人間のデータ収集者が触覚センサーを使用して自然環境のオブジェクトをプローブし、同時に自己中心的なビデオを記録します。
ラボの設定やシミュレートされた環境に大きく限定されていた以前の取り組みとは対照的に、私たちのデータセットは多数の「野生の」オブジェクトとシーンにまたがっています。
データセットの有効性を実証するために、さまざまなタスクに適用することに成功しました。
信号、および 3) 視覚触覚入力から触覚信号の将来のフレームを予測します。

要約(オリジナル)

The ability to associate touch with sight is essential for tasks that require physically interacting with objects in the world. We propose a dataset with paired visual and tactile data called Touch and Go, in which human data collectors probe objects in natural environments using tactile sensors, while simultaneously recording egocentric video. In contrast to previous efforts, which have largely been confined to lab settings or simulated environments, our dataset spans a large number of ‘in the wild’ objects and scenes. To demonstrate our dataset’s effectiveness, we successfully apply it to a variety of tasks: 1) self-supervised visuo-tactile feature learning, 2) tactile-driven image stylization, i.e., making the visual appearance of an object more consistent with a given tactile signal, and 3) predicting future frames of a tactile signal from visuo-tactile inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google