AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos

要約

AlphaTablets は、連続的な 3D 表面と正確な境界描写を特徴とする、3D 平面の新規かつ汎用的な表現です。
AlphaTablets は、3D 平面をアルファ チャネル付きの長方形として表現することにより、現在の 2D 平面表現と 3D 平面表現の利点を組み合わせて、3D 平面の正確で一貫性のある柔軟なモデリングを可能にします。
私たちは、AlphaTablets 上で微分可能なラスタライゼーションを導き出し、3D 平面を画像に効率的にレンダリングし、単眼ビデオから 3D 平面を再構成するための新しいボトムアップ パイプラインを提案します。
事前トレーニングされたモデルからの 2D スーパーピクセルと幾何学キューから始めて、3D プレーンを AlphaTablet として初期化し、微分可能なレンダリングによって最適化します。
AlphaTablet の成長と改良を促進するために、効果的な結合スキームが導入されています。
最適化と結合を繰り返すことで、固体表面と明確な境界を備えた完全かつ正確な 3D 平面を再構築します。
ScanNet データセットに関する広範な実験により、3D 平面再構築における最先端のパフォーマンスが実証され、さまざまなアプリケーションの汎用 3D 平面表現としての AlphaTablets の大きな可能性が強調されています。
プロジェクト ページは https://hyzcluster.github.io/alphatablets から入手できます。

要約(オリジナル)

We introduce AlphaTablets, a novel and generic representation of 3D planes that features continuous 3D surface and precise boundary delineation. By representing 3D planes as rectangles with alpha channels, AlphaTablets combine the advantages of current 2D and 3D plane representations, enabling accurate, consistent and flexible modeling of 3D planes. We derive differentiable rasterization on top of AlphaTablets to efficiently render 3D planes into images, and propose a novel bottom-up pipeline for 3D planar reconstruction from monocular videos. Starting with 2D superpixels and geometric cues from pre-trained models, we initialize 3D planes as AlphaTablets and optimize them via differentiable rendering. An effective merging scheme is introduced to facilitate the growth and refinement of AlphaTablets. Through iterative optimization and merging, we reconstruct complete and accurate 3D planes with solid surfaces and clear boundaries. Extensive experiments on the ScanNet dataset demonstrate state-of-the-art performance in 3D planar reconstruction, underscoring the great potential of AlphaTablets as a generic 3D plane representation for various applications. Project page is available at: https://hyzcluster.github.io/alphatablets

arxiv情報

提供元, 利用サービス

arxiv.jp, Google