Efficient 3D Object Reconstruction using Visual Transformers

要約

2D 画像から 3D オブジェクトを再構築することは、多くの種類の深層学習手法が試されてきた、よく研究された視覚の問題です。
最も一般的には、3D 畳み込みアプローチが使用されますが、以前の研究では、2D 畳み込みを使用した最先端の方法が示されていますが、これもトレーニングが大幅に効率的です。
ビジョン タスク用のトランスフォーマーの最近の台頭により、多くの場合、畳み込み法よりも優れています。3D オブジェクトの再構成にトランスフォーマーを使用する以前の試みとともに、3D オブジェクト用の既存の効率的で高性能な手法の畳み込みの代わりにビジュアル トランスフォーマーを使用することに着手しました。
タスクで優れた結果を達成するための再建。
トランスフォーマーベースのエンコーダーとデコーダーを使用して 2D 画像から 3D 構造を予測することで、ベースライン アプローチと同等またはそれ以上の精度を実現します。
この研究は、3D オブジェクト再構成のタスクにおけるビジュアル トランスフォーマーの可能性の証拠として役立ちます。

要約(オリジナル)

Reconstructing a 3D object from a 2D image is a well-researched vision problem, with many kinds of deep learning techniques having been tried. Most commonly, 3D convolutional approaches are used, though previous work has shown state-of-the-art methods using 2D convolutions that are also significantly more efficient to train. With the recent rise of transformers for vision tasks, often outperforming convolutional methods, along with some earlier attempts to use transformers for 3D object reconstruction, we set out to use visual transformers in place of convolutions in existing efficient, high-performing techniques for 3D object reconstruction in order to achieve superior results on the task. Using a transformer-based encoder and decoder to predict 3D structure from 2D images, we achieve accuracy similar or superior to the baseline approach. This study serves as evidence for the potential of visual transformers in the task of 3D object reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google