CLAMP: Crowdsourcing a LArge-scale in-the-wild haptic dataset with an open-source device for Multimodal robot Perception

要約

構造化されていない環境での堅牢なロボット操作には、多くの場合、ビジョンのみを使用するのが困難な材料やコンプライアンスプロパティなど、ジオメトリを超えたオブジェクトプロパティを理解する必要があります。
マルチモーダルの触覚センシングは、そのような特性を推測するための有望な手段を提供しますが、進歩は、大規模で多様で現実的な触覚データセットの欠如によって制約されています。
この作業では、クランプデバイスを紹介します。クランプデバイスは、日常の設定で非専門家からの大規模でワイルドのマルチモーダルの触覚データを収集するために設計された低コスト（<\ $ 200）のセンサーライチャーグラバーを紹介します。 16のクランプデバイスを41人の参加者に展開し、これまでに最大のオープンソースマルチモーダルハプティックデータセットであるクランプデータセットを実現しました。 このデータセットを使用して、マルチモーダルの触覚データから材料およびコンプライアンスオブジェクトのプロパティを推測できる触覚エンコーダーをトレーニングします。 このエンコーダーを活用して、クランプモデル、視覚標準モデルである視覚標準モデルを作成します。これは、最小限の微調整を伴う新しいオブジェクトと3つのロボット実施形態に一般化する材料認識のためです。 また、3つの実際のロボット操作タスクでモデルの有効性を実証します。リサイクル可能でリサイクルできない廃棄物のソート、雑然としたバッグからオブジェクトの取得、熟したバナナから熟しすぎることを示しています。 私たちの結果は、大規模で野生の触覚データ収集が一般化可能なロボット操作の新しい機能のロックを解除できることを示しています。 ウェブサイト：https：//emprise.cs.cornell.edu/clamp/

要約(オリジナル)

Robust robot manipulation in unstructured environments often requires understanding object properties that extend beyond geometry, such as material or compliance-properties that can be challenging to infer using vision alone. Multimodal haptic sensing provides a promising avenue for inferring such properties, yet progress has been constrained by the lack of large, diverse, and realistic haptic datasets. In this work, we introduce the CLAMP device, a low-cost (<\$200) sensorized reacher-grabber designed to collect large-scale, in-the-wild multimodal haptic data from non-expert users in everyday settings. We deployed 16 CLAMP devices to 41 participants, resulting in the CLAMP dataset, the largest open-source multimodal haptic dataset to date, comprising 12.3 million datapoints across 5357 household objects. Using this dataset, we train a haptic encoder that can infer material and compliance object properties from multimodal haptic data. We leverage this encoder to create the CLAMP model, a visuo-haptic perception model for material recognition that generalizes to novel objects and three robot embodiments with minimal finetuning. We also demonstrate the effectiveness of our model in three real-world robot manipulation tasks: sorting recyclable and non-recyclable waste, retrieving objects from a cluttered bag, and distinguishing overripe from ripe bananas. Our results show that large-scale, in-the-wild haptic data collection can unlock new capabilities for generalizable robot manipulation. Website: https://emprise.cs.cornell.edu/clamp/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google