AutoRecon: Automated 3D Object Discovery and Reconstruction

要約

デジタルコンテンツの制作には、完全に自動化されたオブジェクト再構成パイプラインが欠かせません。3D再構成の分野は大きな発展を遂げているが、背景を除去してきれいなオブジェクトモデルを得るには、境界線のラベリング、マスクの注釈、メッシュの操作など、さまざまな形態の手作業に依然として頼っているのが現状である。本論文では、マルチビュー画像からオブジェクトを自動的に発見し再構成するためのAutoReconという新しいフレームワークを提案する。自己教師付き2次元視覚変換器の特徴を活用することで、SfM点群から前景オブジェクトを頑健に位置付け、セグメント化できることを実証する。そして、分解された点群によって提供される高密度な監視によって、分解されたニューラルシーン表現を再構成し、正確なオブジェクトの再構成とセグメンテーションを実現することができる。DTU、BlendedMVS、CO3D-V2データセットでの実験により、AutoReconの有効性と頑健性が実証された。

要約(オリジナル)

A fully automated object reconstruction pipeline is crucial for digital content creation. While the area of 3D reconstruction has witnessed profound developments, the removal of background to obtain a clean object model still relies on different forms of manual labor, such as bounding box labeling, mask annotations, and mesh manipulations. In this paper, we propose a novel framework named AutoRecon for the automated discovery and reconstruction of an object from multi-view images. We demonstrate that foreground objects can be robustly located and segmented from SfM point clouds by leveraging self-supervised 2D vision transformer features. Then, we reconstruct decomposed neural scene representations with dense supervision provided by the decomposed point clouds, resulting in accurate object reconstruction and segmentation. Experiments on the DTU, BlendedMVS and CO3D-V2 datasets demonstrate the effectiveness and robustness of AutoRecon.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL