CSDN: Cross-modal Shape-transfer Dual-refinement Network for Point Cloud Completion

要約

いくつか欠けている物をどのように修復しますか?
以前にキャプチャした画像から元の形状を想像し、最初に全体的 (グローバル) で粗い形状を復元してから、局所的な詳細を調整することができます。
点群の完成に対処するために、物理的な修復手順を模倣することに意欲的です。
この目的のために、高品質の点群を完成させるために、クロスモーダル形状転送デュアルリファインメントネットワーク (CSDN と呼ばれる)、フルサイクル参加のイメージを備えた粗から細かいパラダイムを提案します。
CSDN は主に、クロスモーダルの課題に取り組むための「シェイプ フュージョン」モジュールと「デュアル リファインメント」モジュールで構成されています。
最初のモジュールは、単一の画像から固有の形状特性を転送して、点群の欠落領域のジオメトリ生成をガイドします。このモジュールでは、IPAdaIN を提案して、画像と部分的な点群の両方のグローバルな特徴を完全に埋め込みます。
2 番目のモジュールは、生成されたポイントの位置を調整することによって粗い出力を調整します。ローカル調整ユニットは、グラフ畳み込みによってノベルと入力ポイントの間の幾何学的関係を利用し、グローバル制約ユニットは入力画像を利用して、
生成されたオフセット。
ほとんどの既存のアプローチとは異なり、CSDN は画像から補完的な情報を探索するだけでなく、粗いものから細かいものへの完了手順全体でクロスモーダル データを効果的に活用します。
実験結果は、CSDN がクロスモーダル ベンチマークで 10 の競合他社に対して有利に機能することを示しています。

要約(オリジナル)

How will you repair a physical object with some missings? You may imagine its original shape from previously captured images, recover its overall (global) but coarse shape first, and then refine its local details. We are motivated to imitate the physical repair procedure to address point cloud completion. To this end, we propose a cross-modal shape-transfer dual-refinement network (termed CSDN), a coarse-to-fine paradigm with images of full-cycle participation, for quality point cloud completion. CSDN mainly consists of ‘shape fusion’ and ‘dual-refinement’ modules to tackle the cross-modal challenge. The first module transfers the intrinsic shape characteristics from single images to guide the geometry generation of the missing regions of point clouds, in which we propose IPAdaIN to embed the global features of both the image and the partial point cloud into completion. The second module refines the coarse output by adjusting the positions of the generated points, where the local refinement unit exploits the geometric relation between the novel and the input points by graph convolution, and the global constraint unit utilizes the input image to fine-tune the generated offset. Different from most existing approaches, CSDN not only explores the complementary information from images but also effectively exploits cross-modal data in the whole coarse-to-fine completion procedure. Experimental results indicate that CSDN performs favorably against ten competitors on the cross-modal benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google