3D-C2FT: Coarse-to-fine Transformer for Multi-view 3D Reconstruction

要約

最近、変圧器モデルが多視点 3D 再構成問題にうまく採用されました。
ただし、マルチビュー機能を探索し、それらの関係を利用してエンコード/デコード モジュールを強化するための注意メカニズムの設計には、課題が残っています。
この論文では、マルチビュー機能をエンコードし、欠陥のある3Dオブジェクトを修正するための新しい粗微調整（C2F）アテンションメカニズムを導入することにより、新しいモデル、つまり3D粗微変換（3D-C2FT）を提案します。
C2Fアテンションメカニズムにより、モデルはマルチビュー情報フローを学習し、粗い方法から細かい方法で3Dサーフェス補正を合成できます。
提案されたモデルは、ShapeNet およびマルチビュー リアルライフ データセットによって評価されます。
実験結果は、3D-C2FT が注目すべき結果を達成し、これらのデータセットでいくつかの競合モデルよりも優れていることを示しています。

要約(オリジナル)

Recently, the transformer model has been successfully employed for the multi-view 3D reconstruction problem. However, challenges remain on designing an attention mechanism to explore the multiview features and exploit their relations for reinforcing the encoding-decoding modules. This paper proposes a new model, namely 3D coarse-to-fine transformer (3D-C2FT), by introducing a novel coarse-to-fine(C2F) attention mechanism for encoding multi-view features and rectifying defective 3D objects. C2F attention mechanism enables the model to learn multi-view information flow and synthesize 3D surface correction in a coarse to fine-grained manner. The proposed model is evaluated by ShapeNet and Multi-view Real-life datasets. Experimental results show that 3D-C2FT achieves notable results and outperforms several competing models on these datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google