Self-Annotated 3D Geometric Learning for Smeared Points Removal

要約

消費者レベルの高密度深度センサーの精度と品質の向上には大きな進歩がありました。
それにもかかわらず、スミア ポイントと呼ばれる共通の深度ピクセル アーティファクトが残ります。
これらは 3D サーフェス上にない点であり、通常、前景オブジェクトと背景オブジェクトの間の補間として発生します。
これらのポイントは架空のサーフェスを引き起こすため、深度マップに依存するアプリケーションに悪影響を与える可能性があります。
統計的外れ値除去方法は、実際の表面点も除去する傾向があるため、これらの点の除去にはあまり効果がありません。
トレーニングされたネットワークベースのポイント除去は、十分な注釈付きデータを取得することが困難に直面しています。
これに対処するために、スミア点除去分類子をトレーニングする完全に自己アノテーション付きの方法を提案します。
私たちのアプローチは、複数の視点から 3D 幾何学的な証拠を収集し、汚れた点と有効な点を自動的に検出して注釈を付けることに依存しています。
私たちの方法の有効性を検証するために、新しいベンチマーク データセットである Real Azure-Kinect データセットを紹介します。
実験結果とアブレーション研究は、私たちの方法が従来のフィルターや他の自己アノテーション付き方法よりも優れていることを示しています。
私たちの成果は https://github.com/wangmiaowei/wacv2024_smearedremover.git で公開されています。

要約(オリジナル)

There has been significant progress in improving the accuracy and quality of consumer-level dense depth sensors. Nevertheless, there remains a common depth pixel artifact which we call smeared points. These are points not on any 3D surface and typically occur as interpolations between foreground and background objects. As they cause fictitious surfaces, these points have the potential to harm applications dependent on the depth maps. Statistical outlier removal methods fare poorly in removing these points as they tend also to remove actual surface points. Trained network-based point removal faces difficulty in obtaining sufficient annotated data. To address this, we propose a fully self-annotated method to train a smeared point removal classifier. Our approach relies on gathering 3D geometric evidence from multiple perspectives to automatically detect and annotate smeared points and valid points. To validate the effectiveness of our method, we present a new benchmark dataset: the Real Azure-Kinect dataset. Experimental results and ablation studies show that our method outperforms traditional filters and other self-annotated methods. Our work is publicly available at https://github.com/wangmiaowei/wacv2024_smearedremover.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google