PatchComplete: Learning Multi-Resolution Patch Priors for 3D Shape Completion on Unseen Categories

要約

3D形状表現は、多くの視覚および知覚アプリケーションで強力な推論を可能にしますが、3D形状の事前学習は、トレーニングされた特定のカテゴリに制限される傾向があり、特に目に見えないカテゴリを持つ一般的なアプリケーションでは、非効率的な学習プロセスにつながります。
したがって、PatchCompleteを提案します。これは、マルチ解像度のローカルパッチに基づいて効果的な形状の事前分布を学習します。これは、多くの場合、完全な形状よりも一般的であり（たとえば、椅子とテーブルの両方が脚を共有することが多い）、見えないクラスカテゴリに関する幾何学的推論を可能にします。
これらの共有部分構造を学習するために、すべての列車カテゴリにわたるマルチ解像度パッチ事前分布を学習します。これは、パッチ事前分布全体の注意によって入力部分形状観測に関連付けられ、最終的に完全な形状再構成にデコードされます。
このようなパッチベースの事前設定は、特定の列車カテゴリへの過剰適合を回避し、テスト時に完全に見えないカテゴリでの再構築を可能にします。
合成ShapeNetデータに対するアプローチの有効性と、ScanNetから実際にスキャンされたオブジェクトに挑戦することの有効性を示します。これには、ノイズやクラッターが含まれ、ShapeNetの面取り距離が19.3％向上し、新しいカテゴリの形状完成の最先端が向上します。
ScanNetの場合は9.0％。

要約(オリジナル)

While 3D shape representations enable powerful reasoning in many visual and perception applications, learning 3D shape priors tends to be constrained to the specific categories trained on, leading to an inefficient learning process, particularly for general applications with unseen categories. Thus, we propose PatchComplete, which learns effective shape priors based on multi-resolution local patches, which are often more general than full shapes (e.g., chairs and tables often both share legs) and thus enable geometric reasoning about unseen class categories. To learn these shared substructures, we learn multi-resolution patch priors across all train categories, which are then associated to input partial shape observations by attention across the patch priors, and finally decoded into a complete shape reconstruction. Such patch-based priors avoid overfitting to specific train categories and enable reconstruction on entirely unseen categories at test time. We demonstrate the effectiveness of our approach on synthetic ShapeNet data as well as challenging real-scanned objects from ScanNet, which include noise and clutter, improving over state of the art in novel-category shape completion by 19.3% in chamfer distance on ShapeNet, and 9.0% for ScanNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google