Tactile-Augmented Radiance Fields

要約

私たちは、視覚と触覚を共有 3D 空間にもたらす、触覚拡張放射フィールド (TaRF) と呼ぶシーン表現を提示します。
この表現を使用して、シーン内の特定の 3D 位置の視覚信号と触覚信号を推定できます。
写真のコレクションとまばらにサンプリングされたタッチ プローブからシーンの TaRF をキャプチャします。
私たちのアプローチは 2 つの洞察を利用しています。(i) 一般的なビジョンベースのタッチ センサーは通常のカメラ上に構築されているため、マルチビュー ジオメトリの方法を使用して画像に登録できます。(ii) シーン共有の視覚的および構造的に類似した領域
同じ触覚機能。
これらの洞察を使用して、キャプチャされたビジュアルシーンにタッチ信号を登録し、神経放射フィールドからレンダリングされた RGB-D 画像を提供して、対応する触覚信号を生成する条件付き拡散モデルをトレーニングします。
私たちのアプローチを評価するために、TaRF のデータセットを収集します。
このデータセットには、以前の実世界のデータセットよりも多くのタッチ サンプルが含まれており、キャプチャされたタッチ信号ごとに空間的に位置合わせされた視覚信号が提供されます。
私たちは、クロスモーダル生成モデルの精度と、いくつかの下流タスクにおけるキャプチャされた視覚触覚データの有用性を実証します。
プロジェクトページ：https://dou-yiming.github.io/TaRF

要約(オリジナル)

We present a scene representation, which we call a tactile-augmented radiance field (TaRF), that brings vision and touch into a shared 3D space. This representation can be used to estimate the visual and tactile signals for a given 3D position within a scene. We capture a scene’s TaRF from a collection of photos and sparsely sampled touch probes. Our approach makes use of two insights: (i) common vision-based touch sensors are built on ordinary cameras and thus can be registered to images using methods from multi-view geometry, and (ii) visually and structurally similar regions of a scene share the same tactile features. We use these insights to register touch signals to a captured visual scene, and to train a conditional diffusion model that, provided with an RGB-D image rendered from a neural radiance field, generates its corresponding tactile signal. To evaluate our approach, we collect a dataset of TaRFs. This dataset contains more touch samples than previous real-world datasets, and it provides spatially aligned visual signals for each captured touch signal. We demonstrate the accuracy of our cross-modal generative model and the utility of the captured visual-tactile data on several downstream tasks. Project page: https://dou-yiming.github.io/TaRF

arxiv情報

提供元, 利用サービス

arxiv.jp, Google