ControlTac: Force- and Position-Controlled Tactile Data Augmentation with a Single Reference Image

要約

視覚ベースの触覚センシングは、知覚、再構築、ロボット操作に広く使用されてきました。
ただし、センサーとオブジェクトの相互作用とセンサーインスタンス全体の矛盾の局所的な性質により、大規模な触覚データの収集はコストのままです。
シミュレーションや自由形式の触覚生成などの触覚データをスケーリングするための既存のアプローチは、非現実的な出力と下流タスクへの移転性が低いことがよくあります。
これに対処するために、単一の参照触覚画像、接触力、および接触位置に条件付けられた現実的な触覚画像を生成する2段階制御可能なフレームワークであるControlTACを提案します。
これらの物理的事前はコントロール入力として、ControlTacは、効果的なデータ増強に使用できる物理的にもっともらしい触覚画像を生成します。
3つのダウンストリームタスクの実験を通じて、ControlTACが触覚データセットを効果的に増強し、一貫した利益につながることを実証します。
私たちの3つの現実世界の実験は、私たちのアプローチの実用的な有用性をさらに検証します。
プロジェクトページ：https：//dongyuluo.github.io/controltac。

要約(オリジナル)

Vision-based tactile sensing has been widely used in perception, reconstruction, and robotic manipulation. However, collecting large-scale tactile data remains costly due to the localized nature of sensor-object interactions and inconsistencies across sensor instances. Existing approaches to scaling tactile data, such as simulation and free-form tactile generation, often suffer from unrealistic output and poor transferability to downstream tasks. To address this, we propose ControlTac, a two-stage controllable framework that generates realistic tactile images conditioned on a single reference tactile image, contact force, and contact position. With those physical priors as control input, ControlTac generates physically plausible and varied tactile images that can be used for effective data augmentation. Through experiments on three downstream tasks, we demonstrate that ControlTac can effectively augment tactile datasets and lead to consistent gains. Our three real-world experiments further validate the practical utility of our approach. Project page: https://dongyuluo.github.io/controltac.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google