NeRF-Aug: Data Augmentation for Robotics with Neural Radiance Fields

要約

不明なオブジェクトに一般化できるポリシーをトレーニングすることは、ロボット工学の分野で長年の課題です。
ポリシーのパフォーマンスは、トレーニング中にシーン内のオブジェクトが見られなかった状況で大幅に低下することがよくあります。
この問題を解決するために、データセットに存在しないオブジェクトと対話するためのポリシーを教えることができる新しい方法であるnerf-augを提示します。
このアプローチは、増強のための神経放射輝度フィールドの速度、フォトリアリズム、および3D一貫性を活用することにより、既存のアプローチとは異なります。
NERF-AUGはどちらもより多くのフォトリアリスティックデータを作成し、既存の方法よりも63％速く実行されます。
専門家のデモに存在しない9つの新しいオブジェクトを備えた5つのタスクでの方法の有効性を実証します。
メソッドを次の最良の方法と比較すると、平均パフォーマンスが55.6％を達成します。
https://nerf-aug.github.ioでビデオの結果を見ることができます。

要約(オリジナル)

Training a policy that can generalize to unknown objects is a long standing challenge within the field of robotics. The performance of a policy often drops significantly in situations where an object in the scene was not seen during training. To solve this problem, we present NeRF-Aug, a novel method that is capable of teaching a policy to interact with objects that are not present in the dataset. This approach differs from existing approaches by leveraging the speed, photorealism, and 3D consistency of a neural radiance field for augmentation. NeRF-Aug both creates more photorealistic data and runs 63% faster than existing methods. We demonstrate the effectiveness of our method on 5 tasks with 9 novel objects that are not present in the expert demonstrations. We achieve an average performance boost of 55.6% when comparing our method to the next best method. You can see video results at https://nerf-aug.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google