Imagine with the Teacher: Complete Shape in a Multi-View Distillation Way

要約

ポイントクラウドの完了は、オクルージョン、センサーの制限、ノイズなどによって引き起こされる部分的な観測からオブジェクトの完成した3D形状を回復することを目的としています。
入力情報に基づいています。
直感的に、この種の問題を解決するために自動エンコーダーアーキテクチャを適用します。これは、不完全なポイントクラウドを入力として取り、グラウンドトゥルースによって監督されます。
モデルの想像力を不完全な形状から完全な形状に発達させるこのプロセスは、潜在空間で自動的に行われます。
しかし、不完全から完全なものへのマッピングに関する知識は、まだ暗いままであり、さらに調査することができます。
Knowledge Distillationの教師と学生の学習戦略に動機付けられ、3D形状を完成させるための知識移転方法を設計します。
この作業では、マルチビュー蒸留方法で完了問題を解決する新しいビュー蒸留点完了ネットワーク（VD-PCN）を提案します。
設計方法論は、2Dピクセルの秩序性、2D処理の柔軟性、2Dネットワークの電力を完全に活用しています。
PCN、Shapenet55/34、およびMVPデータセットの広範な評価は、定量的および定性的に設計および知識移転戦略の有効性を確認します。
進行中の研究を促進することを約束して、コードを公開します。

要約(オリジナル)

Point cloud completion aims to recover the completed 3D shape of an object from its partial observation caused by occlusion, sensor’s limitation, noise, etc. When some key semantic information is lost in the incomplete point cloud, the neural network needs to infer the missing part based on the input information. Intuitively we would apply an autoencoder architecture to solve this kind of problem, which take the incomplete point cloud as input and is supervised by the ground truth. This process that develops model’s imagination from incomplete shape to complete shape is done automatically in the latent space. But the knowledge for mapping from incomplete to complete still remains dark and could be further explored. Motivated by the knowledge distillation’s teacher-student learning strategy, we design a knowledge transfer way for completing 3d shape. In this work, we propose a novel View Distillation Point Completion Network (VD-PCN), which solve the completion problem by a multi-view distillation way. The design methodology fully leverages the orderliness of 2d pixels, flexibleness of 2d processing and powerfulness of 2d network. Extensive evaluations on PCN, ShapeNet55/34, and MVP datasets confirm the effectiveness of our design and knowledge transfer strategy, both quantitatively and qualitatively. Committed to facilitate ongoing research, we will make our code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google