3D Shape Completion on Unseen Categories:A Weakly-supervised Approach

要約

スキャン デバイスでキャプチャされた 3D 形状は、オクルージョンが原因で不完全になることがよくあります。
この制限に対処するために、3D 形状の完成方法が検討されてきました。
ただし、これらのメソッドのほとんどはカテゴリのサブセットに対してのみトレーニングおよびテストされているため、目に見えないカテゴリへの一般化は不十分です。
この論文では、目に見えないカテゴリから完全な形状を再構成するための新しい弱教師フレームワークを紹介します。
まず、目に見えるカテゴリからのデータを活用して大まかな形状を推測する、エンドツーエンドの事前支援型形状学習ネットワークを提案します。
具体的には、目に見えるカテゴリーからの代表的な形状からなる事前バンクを構築します。
次に、入力内の局所的なパターンとさまざまなスケールでの事前分布との間の相関を分析することで、入力の完全な形状を学習するためのマルチスケール パターン相関モジュールを設計します。
さらに、粗い形状をさらに改良するための自己教師型形状改良モデルを提案します。
カテゴリ間の 3D オブジェクトの形状のばらつきを考慮して、形状の改良を容易にするためにカテゴリ固有の事前バンクを構築します。
次に、ボクセルベースの部分マッチング損失を考案し、部分スキャンを利用してリファインメント プロセスを推進します。
広範な実験結果は、私たちのアプローチが最先端の方法よりも大幅に優れていることを示しています。

要約(オリジナル)

3D shapes captured by scanning devices are often incomplete due to occlusion. 3D shape completion methods have been explored to tackle this limitation. However, most of these methods are only trained and tested on a subset of categories, resulting in poor generalization to unseen categories. In this paper, we introduce a novel weakly-supervised framework to reconstruct the complete shapes from unseen categories. We first propose an end-to-end prior-assisted shape learning network that leverages data from the seen categories to infer a coarse shape. Specifically, we construct a prior bank consisting of representative shapes from the seen categories. Then, we design a multi-scale pattern correlation module for learning the complete shape of the input by analyzing the correlation between local patterns within the input and the priors at various scales. In addition, we propose a self-supervised shape refinement model to further refine the coarse shape. Considering the shape variability of 3D objects across categories, we construct a category-specific prior bank to facilitate shape refinement. Then, we devise a voxel-based partial matching loss and leverage the partial scans to drive the refinement process. Extensive experimental results show that our approach is superior to state-of-the-art methods by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google