3D Former: Monocular Scene Reconstruction with 3D SDF Transformers

要約

ポーズをとった画像からの単眼シーンの再構成は、大規模な環境の複雑さのために困難です。
最近の体積測定法は、TSDF 体積を直接予測することを学習し、このタスクで有望な結果を示しています。
ただし、ほとんどの方法は、2D フィーチャを抽出して 3D フィーチャ ボリュームに融合する方法に焦点を当てていますが、3D ボリュームを集約する方法を改善する方法はありません。
この作業では、SDF トランスフォーマー ネットワークを提案します。これは、3D CNN の役割を置き換えて、3D 特徴集約を改善します。
3D マルチヘッド アテンションの爆発的な計算の複雑さを軽減するために、ローカル ウィンドウ内の空でないボクセル間でのみアテンションが計算されるスパース ウィンドウ アテンション モジュールを提案します。
次に、3D 特徴集約用にトップダウン ボトムアップ 3D アテンション ネットワークが構築されます。ここでは、ジオメトリの劣化を防ぐために拡張アテンション構造が提案され、グローバル受容野を装備するために 2 つのグローバル モジュールが採用されます。
複数のデータセットでの実験は、この 3D トランスフォーマー ネットワークがより正確で完全な再構成を生成し、以前の方法よりも大幅に優れていることを示しています。
驚くべきことに、ScanNet データセットでは、メッシュの精度が 41.8% 向上し、メッシュの完全性が 25.3% 向上しています。
プロジェクトページ: https://weihaosky.github.io/sdfformer.

要約(オリジナル)

Monocular scene reconstruction from posed images is challenging due to the complexity of a large environment. Recent volumetric methods learn to directly predict the TSDF volume and have demonstrated promising results in this task. However, most methods focus on how to extract and fuse the 2D features to a 3D feature volume, but none of them improve the way how the 3D volume is aggregated. In this work, we propose an SDF transformer network, which replaces the role of 3D CNN for better 3D feature aggregation. To reduce the explosive computation complexity of the 3D multi-head attention, we propose a sparse window attention module, where the attention is only calculated between the non-empty voxels within a local window. Then a top-down-bottom-up 3D attention network is built for 3D feature aggregation, where a dilate-attention structure is proposed to prevent geometry degeneration, and two global modules are employed to equip with global receptive fields. The experiments on multiple datasets show that this 3D transformer network generates a more accurate and complete reconstruction, which outperforms previous methods by a large margin. Remarkably, the mesh accuracy is improved by 41.8%, and the mesh completeness is improved by 25.3% on the ScanNet dataset. Project page: https://weihaosky.github.io/sdfformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google