NeRF-Aug: Data Augmentation for Robotics with Neural Radiance Fields

要約

未知のオブジェクトに一般化できるポリシーをトレーニングすることは、ロボット工学の分野における長年の課題です。
トレーニング中にシーン内のオブジェクトが表示されなかった状況では、ポリシーのパフォーマンスが大幅に低下することがよくあります。
この問題を解決するために、データセット内に存在しないオブジェクトと対話するようにポリシーを教えることができる新しい方法である NeRF-Aug を紹介します。
このアプローチは、拡張に神経放射フィールドの速度とフォトリアリズムを活用するという点で既存のアプローチとは異なります。
NeRF-Aug は、より写真のようにリアルなデータを作成し、既存の方法より 3.83 倍高速に実行します。
専門家による実証データのない 11 個の新規オブジェクトを使用した 4 つのタスクで、この方法の有効性を実証します。
既存の方法と比較して、平均 69.1% の成功率の向上を達成します。
https://nerf-aug.github.io でビデオ結果をご覧ください。

要約(オリジナル)

Training a policy that can generalize to unknown objects is a long standing challenge within the field of robotics. The performance of a policy often drops significantly in situations where an object in the scene was not seen during training. To solve this problem, we present NeRF-Aug, a novel method that is capable of teaching a policy to interact with objects that are not present in the dataset. This approach differs from existing approaches by leveraging the speed and photorealism of a neural radiance field for augmentation. NeRF- Aug both creates more photorealistic data and runs 3.83 times faster than existing methods. We demonstrate the effectiveness of our method on 4 tasks with 11 novel objects that have no expert demonstration data. We achieve an average 69.1% success rate increase over existing methods. See video results at https://nerf-aug.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google