The Radiance of Neural Fields: Democratizing Photorealistic and Dynamic Robotic Simulation

要約

ロボットが人間と共存するようになるにつれ、ロボットは視覚情報が豊富で、いつ群衆の中を道を譲ったり移動したりするかといった暗黙の社会力学が豊富な複雑で動的な環境をナビゲートする必要があります。
これらの課題に対処するには、視覚ベースのセンシングの大幅な進歩と、特にナビゲーションなどのタスクにおける社会力学的要因のより深い理解が必要です。
これを促進するために、ロボット研究者は、リアルなアクターを備えたダイナミックでフォトリアリスティックな環境を提供する高度なシミュレーション プラットフォームを必要としています。
残念なことに、既存のシミュレータのほとんどは、視覚的な忠実度よりも幾何学的精度を優先し、固定軌道と低品質のビジュアルを持つ非現実的なエージェントを採用しているため、不十分です。
これらの制限を克服するために、私たちは 3 つの重要な要素を組み込んだシミュレーターを開発しました。(1) 環境のフォトリアリスティックなニューラル レンダリング、(2) 行動管理を備えたニューラル アニメートされた人間エンティティ、および (3) マルチセンサー出力を提供する自己中心的なロボット エージェント
。
デュアル NeRF シミュレーターで高度なニューラル レンダリング技術を利用することにより、当社のシステムは、環境と人間エンティティの両方の忠実度の高いフォトリアリスティックなレンダリングを生成します。
さらに、最先端のソーシャル フォース モデルを統合して、人間と人間、および人間とロボットの動的な相互作用をモデル化し、ニューラル レンダリングを利用した初のフォトリアリスティックでアクセス可能な人間とロボットのシミュレーション システムを作成します。

要約(オリジナル)

As robots increasingly coexist with humans, they must navigate complex, dynamic environments rich in visual information and implicit social dynamics, like when to yield or move through crowds. Addressing these challenges requires significant advances in vision-based sensing and a deeper understanding of socio-dynamic factors, particularly in tasks like navigation. To facilitate this, robotics researchers need advanced simulation platforms offering dynamic, photorealistic environments with realistic actors. Unfortunately, most existing simulators fall short, prioritizing geometric accuracy over visual fidelity, and employing unrealistic agents with fixed trajectories and low-quality visuals. To overcome these limitations, we developed a simulator that incorporates three essential elements: (1) photorealistic neural rendering of environments, (2) neurally animated human entities with behavior management, and (3) an ego-centric robotic agent providing multi-sensor output. By utilizing advanced neural rendering techniques in a dual-NeRF simulator, our system produces high-fidelity, photorealistic renderings of both environments and human entities. Additionally, it integrates a state-of-the-art Social Force Model to model dynamic human-human and human-robot interactions, creating the first photorealistic and accessible human-robot simulation system powered by neural rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google