Semi-Supervised Single-View 3D Reconstruction via Prototype Shape Priors

要約

既存のシングル ビュー 3D 再構成方法のパフォーマンスは、大規模な 3D 注釈に大きく依存しています。
ただし、このような注釈は収集するのが面倒で費用がかかります。
半教師あり学習は、手動ラベルの必要性を軽減する代替方法として機能しますが、3D 再構成では未踏のままです。
最近の半教師付き画像分類タスクの成功に触発されて、3D 再構成のための半教師付きフレームワークである SSP3D を提案します。
特に、現実的なオブジェクトの再構成をガイドするための注意ガイド付きプロトタイプ形状事前モジュールを紹介します。
さらに、より良い形状生成を奨励するためのディスクリミネーター ガイド付きモジュールと、ノイズの多いトレーニング サンプルを許容するための正則化機能を導入します。
ShapeNet ベンチマークでは、提案されたアプローチは、さまざまなラベリング比率 (つまり、1%、5%、10%、20%) の下で明確なマージンにより、以前の教師ありメソッドよりも優れています。
さらに、私たちのアプローチは、10% のラベリング率で現実世界の Pix3D データセットに転送するときにもうまく機能します。
また、私たちの方法が、新しい教師付きデータがほとんどない新しいカテゴリに移行できることも示しています。
一般的な ShapeNet データセットでの実験では、私たちの方法がゼロ ショット ベースラインよりも 12% 以上優れていることが示されています。

要約(オリジナル)

The performance of existing single-view 3D reconstruction methods heavily relies on large-scale 3D annotations. However, such annotations are tedious and expensive to collect. Semi-supervised learning serves as an alternative way to mitigate the need for manual labels, but remains unexplored in 3D reconstruction. Inspired by the recent success of semi-supervised image classification tasks, we propose SSP3D, a semi-supervised framework for 3D reconstruction. In particular, we introduce an attention-guided prototype shape prior module for guiding realistic object reconstruction. We further introduce a discriminator-guided module to incentivize better shape generation, as well as a regularizer to tolerate noisy training samples. On the ShapeNet benchmark, the proposed approach outperforms previous supervised methods by clear margins under various labeling ratios, (i.e., 1%, 5% , 10% and 20%). Moreover, our approach also performs well when transferring to real-world Pix3D datasets under labeling ratios of 10%. We also demonstrate our method could transfer to novel categories with few novel supervised data. Experiments on the popular ShapeNet dataset show that our method outperforms the zero-shot baseline by over 12% and we also perform rigorous ablations and analysis to validate our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google