See to Touch: Learning Tactile Dexterity through Visual Incentives

要約

多指ロボットに触覚センシングを装備することは、人間が得意とする正確で、接触が多く、器用な操作を実現するために不可欠です。
しかし、触覚センシングのみに依存すると、物体の空間構成を推論するための適切な手がかりが得られず、エラーを修正したり状況の変化に適応したりする能力が制限されます。
この論文では、視覚ベースの報酬を使用して器用なポリシーを最適化することで触覚ベースの器用さを強化する新しいフレームワークである、視覚インセンティブからの触覚適応（TAVI）を紹介します。
まず、視覚的な表現を学習するために、対比ベースの目標を使用します。
次に、1 人の人間によるデモンストレーションでの最適輸送ベースのマッチングを通じて、これらの視覚的表現を使用して報酬関数を構築します。
最後に、ロボットでオンライン強化学習を使用して、視覚的報酬を最大化する触覚ベースのポリシーを最適化します。
TAVI は、ペグのピックアンドプレイス、ボウルの積み重ね、細長い物体の裏返しなど、6 つの難しいタスクで、4 本指の Allegro ロボット ハンドを使用して 73% の成功率を達成しています。
パフォーマンスの向上は、触覚および視覚ベースの報酬を使用するポリシーよりも 108% 高く、触覚観察入力を使用しないポリシーよりも 135% 高くなります。
ロボットのビデオは、プロジェクト Web サイト (https://see-to-touch.github.io/) でご覧いただくのが最適です。

要約(オリジナル)

Equipping multi-fingered robots with tactile sensing is crucial for achieving the precise, contact-rich, and dexterous manipulation that humans excel at. However, relying solely on tactile sensing fails to provide adequate cues for reasoning about objects’ spatial configurations, limiting the ability to correct errors and adapt to changing situations. In this paper, we present Tactile Adaptation from Visual Incentives (TAVI), a new framework that enhances tactile-based dexterity by optimizing dexterous policies using vision-based rewards. First, we use a contrastive-based objective to learn visual representations. Next, we construct a reward function using these visual representations through optimal-transport based matching on one human demonstration. Finally, we use online reinforcement learning on our robot to optimize tactile-based policies that maximize the visual reward. On six challenging tasks, such as peg pick-and-place, unstacking bowls, and flipping slender objects, TAVI achieves a success rate of 73% using our four-fingered Allegro robot hand. The increase in performance is 108% higher than policies using tactile and vision-based rewards and 135% higher than policies without tactile observational input. Robot videos are best viewed on our project website: https://see-to-touch.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google