Reinforcement Learning with Neural Radiance Fields

要約

強化学習（RL）エージェントをトレーニングするための効果的な表現を見つけることは長年の問題です。
このホワイトペーパーでは、ニューラルラディアンスフィールド（NeRF）からの監視による状態表現の学習により、他の学習表現や低次元の手作業による状態情報と比較して、RLのパフォーマンスを向上できることを示しています。
具体的には、複数の画像観測をシーン内のオブジェクトを表す潜在空間にマッピングするエンコーダをトレーニングすることを提案します。
潜在的に調整されたNeRFから構築されたデコーダーは、潜在空間を学習するための監視信号として機能します。
次に、RLアルゴリズムは、学習した潜在空間をその状態表現として操作します。
これをNeRF-RLと呼びます。
私たちの実験は、監視としてのNeRFが、マグカップをフックにぶら下げたり、オブジェクトを押したり、ドアを開けたりするなどのロボットオブジェクト操作を含むダウンストリームRLタスクにより適した潜在スペースにつながることを示しています。
ビデオ：https：//dannydriess.github.io/nerf-rl

要約(オリジナル)

It is a long-standing problem to find effective representations for training reinforcement learning (RL) agents. This paper demonstrates that learning state representations with supervision from Neural Radiance Fields (NeRFs) can improve the performance of RL compared to other learned representations or even low-dimensional, hand-engineered state information. Specifically, we propose to train an encoder that maps multiple image observations to a latent space describing the objects in the scene. The decoder built from a latent-conditioned NeRF serves as the supervision signal to learn the latent space. An RL algorithm then operates on the learned latent space as its state representation. We call this NeRF-RL. Our experiments indicate that NeRF as supervision leads to a latent space better suited for the downstream RL tasks involving robotic object manipulations like hanging mugs on hooks, pushing objects, or opening doors. Video: https://dannydriess.github.io/nerf-rl

arxiv情報

提供元, 利用サービス

arxiv.jp, Google