Neural radiance fields in the industrial and robotics domain: applications, research opportunities and use cases

要約

拡張現実 (XR) などのテクノロジーの普及により、高品質の 3 次元 (3D) グラフィック表現に対する需要が高まっています。
産業用 3D アプリケーションには、コンピューター支援設計 (CAD)、有限要素解析 (FEA)、スキャン、ロボット工学が含まれます。
しかし、工業用 3D 表現に採用されている現在の方法は、実装コストが高く、正確な 3D モデリングを人間の手動入力に依存しているという問題があります。
これらの課題に対処するために、提供されたトレーニング 2D 画像に基づいて 3D シーン表現を学習するための有望なアプローチとして、Neural Radiance Field (NeRF) が登場しました。
NeRF への関心が高まっているにもかかわらず、さまざまな産業サブドメインにおける NeRF の潜在的な応用はまだ解明されていません。
このペーパーでは、NeRF の産業応用について包括的に検討するとともに、将来の研究努力の方向性も示します。
また、産業分野における NeRF の可能性を実証する一連の概念実証実験も紹介します。
これらの実験には、NeRF ベースのビデオ圧縮技術と、衝突回避のコンテキストでの 3D 動き推定のための NeRF の使用が含まれます。
ビデオ圧縮実験では、解像度 1920×1080 と 300×168 でそれぞれ最大 48\% と 74\% の圧縮削減効果が得られたことがわかりました。
動き推定実験では、ロボット アームの 3D アニメーションを使用して Dynamic-NeRF (D-NeRF) をトレーニングし、平均視差マップ PSNR 23 dB と SSIM 0.97 を達成しました。
私たちの実験のコードは https://github.com/Maftej/iisnerf で公開されています。

要約(オリジナル)

The proliferation of technologies, such as extended reality (XR), has increased the demand for high-quality three-dimensional (3D) graphical representations. Industrial 3D applications encompass computer-aided design (CAD), finite element analysis (FEA), scanning, and robotics. However, current methods employed for industrial 3D representations suffer from high implementation costs and reliance on manual human input for accurate 3D modeling. To address these challenges, neural radiance fields (NeRFs) have emerged as a promising approach for learning 3D scene representations based on provided training 2D images. Despite a growing interest in NeRFs, their potential applications in various industrial subdomains are still unexplored. In this paper, we deliver a comprehensive examination of NeRF industrial applications while also providing direction for future research endeavors. We also present a series of proof-of-concept experiments that demonstrate the potential of NeRFs in the industrial domain. These experiments include NeRF-based video compression techniques and using NeRFs for 3D motion estimation in the context of collision avoidance. In the video compression experiment, our results show compression savings up to 48\% and 74\% for resolutions of 1920×1080 and 300×168, respectively. The motion estimation experiment used a 3D animation of a robotic arm to train Dynamic-NeRF (D-NeRF) and achieved an average disparity map PSNR of 23 dB and an SSIM of 0.97. The code for our experiments is publicly available at https://github.com/Maftej/iisnerf .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google