GrowSplat: Constructing Temporal Digital Twins of Plants with Gaussian Splats

要約

植物の成長の正確な時間的再構成は、植物の表現型と繁殖には不可欠ですが、植物の複雑な幾何学、閉塞、非剛性の変形のために困難なままです。
3Dガウスのスプラッティングと堅牢なサンプルアライメントパイプラインを組み合わせることにより、植物の一時的なデジタルツインを構築するための新しいフレームワークを提示します。
私たちの方法は、マルチビューカメラデータからガウススプラットを再構築し、2段階の登録アプローチを活用することから始まります。機能ベースのマッチングと高速グローバル登録を介した粗いアラインメント、続いて反復的な最近のポイントとの微細なアライメントです。
このパイプラインは、個別のタイムステップで植物開発の一貫した4Dモデルを生成します。
オランダプラントエコ表現型センターのデータに関するアプローチを評価し、セコイア種とキノア種の詳細な時間的再構成を実証します。
ビデオと画像はhttps://berkeleyautomation.github.io/growsplat/で見ることができます

要約(オリジナル)

Accurate temporal reconstructions of plant growth are essential for plant phenotyping and breeding, yet remain challenging due to complex geometries, occlusions, and non-rigid deformations of plants. We present a novel framework for building temporal digital twins of plants by combining 3D Gaussian Splatting with a robust sample alignment pipeline. Our method begins by reconstructing Gaussian Splats from multi-view camera data, then leverages a two-stage registration approach: coarse alignment through feature-based matching and Fast Global Registration, followed by fine alignment with Iterative Closest Point. This pipeline yields a consistent 4D model of plant development in discrete time steps. We evaluate the approach on data from the Netherlands Plant Eco-phenotyping Center, demonstrating detailed temporal reconstructions of Sequoia and Quinoa species. Videos and Images can be seen at https://berkeleyautomation.github.io/GrowSplat/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google