SC-NeRF: NeRF-based Point Cloud Reconstruction using a Stationary Camera for Agricultural Applications

要約

このホワイトペーパーでは、屋内ハイスループットプラントの表現型施設向けに特別に設計されたPoint Cloud（PCD）再構築のためのNERFベースのフレームワークを紹介します。
従来のNERFベースの再構築方法では、カメラが固定オブジェクトを移動する必要がありますが、このアプローチは、コンベアまたは回転した台座で移動しながらオブジェクトが急速に画像化される高スループット環境では非現実的です。
この制限に対処するために、オブジェクトが台座で回転するときに画像をキャプチャする単一の固定カメラを使用するNERFベースのPCD再構成のバリアントを開発します。
私たちのワークフローは、COLMAPベースのポーズ推定、カメラの動きをシミュレートするための簡単なポーズ変換、およびその後の標準NERFトレーニングで構成されています。
対象の定義領域（ROI）は、無関係なシーンデータを除外し、高解像度ポイントクラウドの生成（10mポイント）を可能にします。
実験結果は、優れた再構成の忠実度を示しており、精密リコール分析により、評価されたすべての植物オブジェクトで100.00に近いFスコアが得られます。
ポーズの推定は、固定カメラのセットアップでは計算的に集中的なままですが、全体的なトレーニングと再構築時間は競争力があり、実用的なハイスループットの屋内表現型アプリケーションの方法の実現可能性を検証します。
私たちの調査結果は、高品質のNERFベースの3D再構成が固定カメラを使用して達成できることを示しており、複雑なカメラの動きや高価なイメージング機器の必要性を排除します。
このアプローチは、3D植物の表現型療法にハイパースペクトルカメラなどの高価で繊細な機器を採用する場合に特に有益です。
将来の作業は、ポーズ推定技術の最適化に焦点を当て、方法論をさらに合理化して、自動化されたハイスループット3D表現型パイプラインへのシームレスな統合を促進します。

要約(オリジナル)

This paper presents a NeRF-based framework for point cloud (PCD) reconstruction, specifically designed for indoor high-throughput plant phenotyping facilities. Traditional NeRF-based reconstruction methods require cameras to move around stationary objects, but this approach is impractical for high-throughput environments where objects are rapidly imaged while moving on conveyors or rotating pedestals. To address this limitation, we develop a variant of NeRF-based PCD reconstruction that uses a single stationary camera to capture images as the object rotates on a pedestal. Our workflow comprises COLMAP-based pose estimation, a straightforward pose transformation to simulate camera movement, and subsequent standard NeRF training. A defined Region of Interest (ROI) excludes irrelevant scene data, enabling the generation of high-resolution point clouds (10M points). Experimental results demonstrate excellent reconstruction fidelity, with precision-recall analyses yielding an F-score close to 100.00 across all evaluated plant objects. Although pose estimation remains computationally intensive with a stationary camera setup, overall training and reconstruction times are competitive, validating the method’s feasibility for practical high-throughput indoor phenotyping applications. Our findings indicate that high-quality NeRF-based 3D reconstructions are achievable using a stationary camera, eliminating the need for complex camera motion or costly imaging equipment. This approach is especially beneficial when employing expensive and delicate instruments, such as hyperspectral cameras, for 3D plant phenotyping. Future work will focus on optimizing pose estimation techniques and further streamlining the methodology to facilitate seamless integration into automated, high-throughput 3D phenotyping pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google