Residual-NeRF: Learning Residual NeRFs for Transparent Object Manipulation

要約

透明な物体は、産業、製薬、家庭のいたるところに存在します。
これらの物体を把握して操作することは、ロボットにとって大きな課題です。
既存の方法では、困難な透明オブジェクトの完全な深度マップを再構築することが困難であり、深度再構築に穴が残ります。
最近の研究では、神経放射フィールド (NeRF) が透明なオブジェクトのあるシーンでの奥行き知覚にうまく機能し、これらの奥行きマップを使用して透明なオブジェクトを高精度に把握できることが示されています。
NeRF ベースの深度再構築は、特に困難な透明オブジェクトや照明条件では依然として困難を伴う可能性があります。
この研究では、透明オブジェクトの奥行き知覚とトレーニング速度を向上させる方法である Residual-NeRF を提案します。
ロボットはキッチンなどの同じエリアで動作することがよくあります。
操作される透明なオブジェクトのないシーンの背景 NeRF を最初に学習することで、新しいオブジェクトの変化を学習する際に直面する曖昧さを軽減します。
私たちは、2 つの追加ネットワークをトレーニングすることを提案します。残差 NeRF は残差 RGB 値と濃度を推論することを学習し、ミックスネットは背景と残差 NeRF を組み合わせる方法を学習します。
私たちは、Residual-NeRF が透明なオブジェクトの奥行き知覚を改善することを示唆する合成実験と実際の実験に貢献します。
合成データの結果は、Residual-NeRF がベースラインを上回り、RMSE が 46.1% 低く、MAE が 29.5% 低いことを示唆しています。
現実世界の定性実験では、Residual-NeRF がノイズとホールの少ない、より堅牢な深度マップにつながることを示唆しています。
ウェブサイト: https://residual-nerf.github.io

要約(オリジナル)

Transparent objects are ubiquitous in industry, pharmaceuticals, and households. Grasping and manipulating these objects is a significant challenge for robots. Existing methods have difficulty reconstructing complete depth maps for challenging transparent objects, leaving holes in the depth reconstruction. Recent work has shown neural radiance fields (NeRFs) work well for depth perception in scenes with transparent objects, and these depth maps can be used to grasp transparent objects with high accuracy. NeRF-based depth reconstruction can still struggle with especially challenging transparent objects and lighting conditions. In this work, we propose Residual-NeRF, a method to improve depth perception and training speed for transparent objects. Robots often operate in the same area, such as a kitchen. By first learning a background NeRF of the scene without transparent objects to be manipulated, we reduce the ambiguity faced by learning the changes with the new object. We propose training two additional networks: a residual NeRF learns to infer residual RGB values and densities, and a Mixnet learns how to combine background and residual NeRFs. We contribute synthetic and real experiments that suggest Residual-NeRF improves depth perception of transparent objects. The results on synthetic data suggest Residual-NeRF outperforms the baselines with a 46.1% lower RMSE and a 29.5% lower MAE. Real-world qualitative experiments suggest Residual-NeRF leads to more robust depth maps with less noise and fewer holes. Website: https://residual-nerf.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google