ZeroShape: Regression-based Zero-shot Shape Reconstruction

要約

単一画像のゼロショット 3D 形状再構成の問題を研究します。
最近の研究では、3D アセットの生成モデリングを通じてゼロショット形状の再構成を学習していますが、これらのモデルはトレーニング時と推論時に計算コストが高くなります。
対照的に、この問題に対する従来のアプローチは回帰ベースであり、決定論的モデルがオブジェクトの形状を直接回帰するようにトレーニングされます。
このような回帰手法は、生成手法よりもはるかに高い計算効率を備えています。
これにより、当然の疑問が生じます。生成モデリングは高いパフォーマンスを実現するために必要なのでしょうか、それとも逆に、回帰ベースのアプローチはまだ競争力があるのでしょうか?
これに答えるために、この分野の収束した発見と新しい洞察に基づいて、ZeroShape と呼ばれる強力な回帰ベースのモデルを設計します。
また、3 つの異なる実世界の 3D データセットからのオブジェクトを使用した、大規模な実世界の評価ベンチマークも厳選しています。
この評価ベンチマークは、私たちの分野での評価のばらつきを減らすことを目的として、モデルを定量的に評価するために以前の研究で使用されていたものよりも多様性があり、一桁大きいものです。
ZeroShape が最先端の方法よりも優れたパフォーマンスを達成するだけでなく、大幅に高い計算効率とデータ効率も実証することを示します。

要約(オリジナル)

We study the problem of single-image zero-shot 3D shape reconstruction. Recent works learn zero-shot shape reconstruction through generative modeling of 3D assets, but these models are computationally expensive at train and inference time. In contrast, the traditional approach to this problem is regression-based, where deterministic models are trained to directly regress the object shape. Such regression methods possess much higher computational efficiency than generative methods. This raises a natural question: is generative modeling necessary for high performance, or conversely, are regression-based approaches still competitive? To answer this, we design a strong regression-based model, called ZeroShape, based on the converging findings in this field and a novel insight. We also curate a large real-world evaluation benchmark, with objects from three different real-world 3D datasets. This evaluation benchmark is more diverse and an order of magnitude larger than what prior works use to quantitatively evaluate their models, aiming at reducing the evaluation variance in our field. We show that ZeroShape not only achieves superior performance over state-of-the-art methods, but also demonstrates significantly higher computational and data efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google