DualAfford: Learning Collaborative Visual Affordance for Dual-gripper Manipulation

要約

将来のホーム アシスタント ロボットにとって、人間の日常環境で多様な 3D オブジェクトを理解し、操作することは不可欠ですが、挑戦的です。
さまざまな 3D 形状に対して多様な操作タスクを実行できるスケーラブルなシステムの構築に向けて、最近の研究では、視覚的に実行可能なアフォーダンスを学習する有望な結果が提唱され、実証されています。
またはピックアップ）。
ただし、これらの作品は単一のグリッパー操作タスクのみを研究していますが、多くの現実世界のタスクでは、共同で達成するために両手が必要です。
この作業では、デュアル グリッパー操作タスクの共同アフォーダンスを学習するための新しい学習フレームワーク、DualAfford を提案します。
このアプローチの中心的な設計は、効率的な学習のために、2 つのグリッパーの 2 次問題を、絡み合っていない相互接続された 2 つのサブタスクに削減することです。
大規模な PartNet-Mobility および ShapeNet データセットを使用して、デュアル グリッパー操作用の 4 つのベンチマーク タスクを設定しました。
実験は、3 つのベースラインに対する私たちの方法の有効性と優位性を証明しています。

要約(オリジナル)

It is essential yet challenging for future home-assistant robots to understand and manipulate diverse 3D objects in daily human environments. Towards building scalable systems that can perform diverse manipulation tasks over various 3D shapes, recent works have advocated and demonstrated promising results learning visual actionable affordance, which labels every point over the input 3D geometry with an action likelihood of accomplishing the downstream task (e.g., pushing or picking-up). However, these works only studied single-gripper manipulation tasks, yet many real-world tasks require two hands to achieve collaboratively. In this work, we propose a novel learning framework, DualAfford, to learn collaborative affordance for dual-gripper manipulation tasks. The core design of the approach is to reduce the quadratic problem for two grippers into two disentangled yet interconnected subtasks for efficient learning. Using the large-scale PartNet-Mobility and ShapeNet datasets, we set up four benchmark tasks for dual-gripper manipulation. Experiments prove the effectiveness and superiority of our method over three baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google