Representation Learning of Point Cloud Upsampling in Global and Local Inputs

要約

近年、Point Cloud Upsamplingは、3D再構成などのフィールドに広く適用されています。
私たちの研究では、表現学習を通じてグローバルレベルとローカルレベルの両方でポイントクラウドアップサンプリングに影響を与える要因を調査しています。
具体的には、ペーパーは、同じポイントクラウドモデルオブジェクトのグローバル情報とローカル情報を2つのエンコーダーに入力して、これらの機能を抽出し、融合させ、組み合わせた機能をアップサンプリングデコーダーにフィードします。
目標は、グローバルとローカルの両方の入力からの事前知識を活用することにより、ポイントクラウドのスパースとノイズの問題に対処することです。
提案されたフレームワークは、最先端のポイントクラウドアップサンプリングニューラルネットワークに適用できます。
実験は、深い学習を利用し、グローバルとローカルの両方の入力の解釈可能性をもたらす一連の自動エンコーダーベースのモデルで実施され、提案されたフレームワークが以前のSOTA作業のアップサンプリング効果をさらに改善できることが結果で証明されています。
同時に、顕著性マップは、グローバルな機能入力とローカル機能の入力の違いと、両方の入力を並行してトレーニングの有効性を反映しています。

要約(オリジナル)

In recent years, point cloud upsampling has been widely applied in fields such as 3D reconstruction. Our study investigates the factors influencing point cloud upsampling on both global and local levels through representation learning. Specifically, the paper inputs global and local information of the same point cloud model object into two encoders to extract these features, fuses them, and then feeds the combined features into an upsampling decoder. The goal is to address issues of sparsity and noise in point clouds by leveraging prior knowledge from both global and local inputs. And the proposed framework can be applied to any state-of-the-art point cloud upsampling neural network. Experiments were conducted on a series of autoencoder-based models utilizing deep learning, yielding interpretability for both global and local inputs, and it has been proven in the results that our proposed framework can further improve the upsampling effect in previous SOTA works. At the same time, the Saliency Map reflects the differences between global and local feature inputs, as well as the effectiveness of training with both inputs in parallel.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google