PointPatchRL — Masked Reconstruction Improves Reinforcement Learning on Point Clouds

要約

カメラを介して環境を認識することは、ロボット工学における強化学習 (RL) にとって重要です。
画像は便利な表現形式ですが、特にさまざまな形状や変形可能なオブジェクトの場合、重要な幾何学的詳細の抽出が複雑になることがよくあります。
対照的に、点群はこのジオメトリを自然に表現し、複数のカメラ ビューからの色と位置データを簡単に統合します。
ただし、点群での深層学習は最近多くの成功を収めていますが、点群での RL は研究が不足しており、文献では最も単純なエンコーダ アーキテクチャのみが検討されています。
PointPatchRL (PPRL) を紹介します。これは、点群を重複するパッチに分割し、それらをトークン化し、トランスフォーマーでトークンを処理するという共通のパラダイムに基づいて構築された点群の RL メソッドです。
PPRL は、以前に RL に使用されていた他の点群処理アーキテクチャと比較して、大幅な改善をもたらします。
次に、表現学習のためのマスクされた再構成で PPRL を補完し、変形可能なオブジェクトとターゲット オブジェクトの幾何学的形状の変化を含む複雑な操作タスクにおける画像観察において、私たちの方法が強力なモデルフリーおよびモデルベースのベースラインよりも優れていることを示します。
ビデオとコードは https://alrhub.github.io/pprl-website で入手できます。

要約(オリジナル)

Perceiving the environment via cameras is crucial for Reinforcement Learning (RL) in robotics. While images are a convenient form of representation, they often complicate extracting important geometric details, especially with varying geometries or deformable objects. In contrast, point clouds naturally represent this geometry and easily integrate color and positional data from multiple camera views. However, while deep learning on point clouds has seen many recent successes, RL on point clouds is under-researched, with only the simplest encoder architecture considered in the literature. We introduce PointPatchRL (PPRL), a method for RL on point clouds that builds on the common paradigm of dividing point clouds into overlapping patches, tokenizing them, and processing the tokens with transformers. PPRL provides significant improvements compared with other point-cloud processing architectures previously used for RL. We then complement PPRL with masked reconstruction for representation learning and show that our method outperforms strong model-free and model-based baselines on image observations in complex manipulation tasks containing deformable objects and variations in target object geometry. Videos and code are available at https://alrhub.github.io/pprl-website

arxiv情報

提供元, 利用サービス

arxiv.jp, Google