SCoDA: Domain Adaptive Shape Completion for Real Scans

要約

タイトル：実スキャンのためのドメイン適応形状補完のためのSCoDA
要約：実世界の物体のスキャンからの3D形状補完は、特に困難な課題です。 実世界のスキャンに対する3D形状のグラウンドトゥルースの不足を考慮すると、既存の作品は主に合成データ、例えば3D CADモデルでこのタスクのベンチマークを行うことに重点を置いています。しかし、合成と実際のデータ間のドメインギャップがこれらの方法の汎化能力を制限しています。そこで、私たちはドメイン適応のための新しいタスク、SCoDAを提案します。技能あるアーティストによってスキャンに従って作成された多くの緻密な3Dモデルを備えた新しいデータセット、ScanSalonを共同で貢献します。この新しいタスクに対処するために、知識転送のための新しいクロスドメイン特徴融合法と、実データからの堅牢な学習のためのボリューム一致の自己トレーニングフレームワークを提案します。広範な実験は、私たちの方法が6％〜7％mIoUの改善をもたらすことを証明しています。

– 3D形状補完は実世界のスキャンからの場合に困難である
– 既存の方法は主に合成データを使用することが多いが、実際のデータにも応用したい
– ScanSalonデータセットが新たに提供された
– 新しいクロスドメイン特徴融合法を提案する
– ボリューム一致の自己トレーニングフレームワークを提案する
– 方法は6％〜7％mIoUの改善をもたらすことが実験で証明されている。

要約(オリジナル)

3D shape completion from point clouds is a challenging task, especially from scans of real-world objects. Considering the paucity of 3D shape ground truths for real scans, existing works mainly focus on benchmarking this task on synthetic data, e.g. 3D computer-aided design models. However, the domain gap between synthetic and real data limits the generalizability of these methods. Thus, we propose a new task, SCoDA, for the domain adaptation of real scan shape completion from synthetic data. A new dataset, ScanSalon, is contributed with a bunch of elaborate 3D models created by skillful artists according to scans. To address this new task, we propose a novel cross-domain feature fusion method for knowledge transfer and a novel volume-consistent self-training framework for robust learning from real data. Extensive experiments prove our method is effective to bring an improvement of 6%~7% mIoU.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI