SNeRL: Semantic-aware Neural Radiance Fields for Reinforcement Learning

要約

強化学習の以前の表現は、3D 環境に対する人間の直観的な理解を効果的に組み込むことができないため、通常、次善のパフォーマンスに悩まされます。
この論文では、強化学習のためのセマンティック認識ニューラル放射フィールド (SNeRL) を紹介します。これは、マルチビュー画像から 3D を認識したニューラル暗黙的表現を学習するために、畳み込みエンコーダーとセマンティック認識ニューラル放射フィールド (NeRF) を共同最適化します。
強化学習のための意味論的およびオブジェクト中心の表現を学習するために、NeRF の RGB 放射輝度フィールドと並行して 3D 意味論的および抽出された特徴フィールドを導入します。
SNeRL は、モデルフリーおよびモデルベースの強化学習の両方において、以前のピクセルベースの表現だけでなく、最近の 3D 認識表現よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

As previous representations for reinforcement learning cannot effectively incorporate a human-intuitive understanding of the 3D environment, they usually suffer from sub-optimal performances. In this paper, we present Semantic-aware Neural Radiance Fields for Reinforcement Learning (SNeRL), which jointly optimizes semantic-aware neural radiance fields (NeRF) with a convolutional encoder to learn 3D-aware neural implicit representation from multi-view images. We introduce 3D semantic and distilled feature fields in parallel to the RGB radiance fields in NeRF to learn semantic and object-centric representation for reinforcement learning. SNeRL outperforms not only previous pixel-based representations but also recent 3D-aware representations both in model-free and model-based reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google