Hierarchical and Modular Network on Non-prehensile Manipulation in General Environments

要約

ロボットが世帯のような一般的な環境で動作するためには、脱律不可能なオブジェクトを操作するために転倒やローリングなどの非充実した操作アクションを実行できる必要があります。
ただし、非充実した操作に関する以前の作業は、多様な幾何学を持つ環境全体でまだ一般化することはできません。
主な課題は、さまざまな環境制約に適応することにあります。キャビネット内では、ロボットは壁や天井を避けなければなりません。
オブジェクトをステップの一番上に持ち上げるには、ロボットはステップのポーズと範囲を説明する必要があります。
Deep Rehnection Learning（RL）は非摂食操作における印象的な成功を実証していますが、そのような変動を考慮すると、制約の新しい組み合わせごとに多様な戦略を学ばなければならないため、ジェネラリスト政策の課題があります。
これに対処するために、タスク要件に基づいてネットワークモジュールを適応的に再構成するモジュール式および再構成可能なアーキテクチャを提案します。
環境の幾何学的変動性をキャプチャするために、接触ベースのオブジェクト表現（トウモロコシ）を環境形状に拡張し、エージェントを訓練するための多様な環境を生成するための手続き的アルゴリズムを提案します。
まとめると、結果のポリシーは、シミュレーター内で完全にトレーニングしているにもかかわらず、新しい実世界の環境とオブジェクトへのゼロショット転送を可能にします。
さらに、353のオブジェクトを備えた9つのデジタルツインの実世界のシーンを特徴とするシミュレーションベースのベンチマークをリリースして、現実的なドメインでの非充実した操作研究を促進します。

要約(オリジナル)

For robots to operate in general environments like households, they must be able to perform non-prehensile manipulation actions such as toppling and rolling to manipulate ungraspable objects. However, prior works on non-prehensile manipulation cannot yet generalize across environments with diverse geometries. The main challenge lies in adapting to varying environmental constraints: within a cabinet, the robot must avoid walls and ceilings; to lift objects to the top of a step, the robot must account for the step’s pose and extent. While deep reinforcement learning (RL) has demonstrated impressive success in non-prehensile manipulation, accounting for such variability presents a challenge for the generalist policy, as it must learn diverse strategies for each new combination of constraints. To address this, we propose a modular and reconfigurable architecture that adaptively reconfigures network modules based on task requirements. To capture the geometric variability in environments, we extend the contact-based object representation (CORN) to environment geometries, and propose a procedural algorithm for generating diverse environments to train our agent. Taken together, the resulting policy can zero-shot transfer to novel real-world environments and objects despite training entirely within a simulator. We additionally release a simulation-based benchmark featuring nine digital twins of real-world scenes with 353 objects to facilitate non-prehensile manipulation research in realistic domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google