Ponder: Point Cloud Pre-training via Neural Rendering

要約

微分可能なニューラルレンダリングによる点群表現の自己教師あり学習への新しいアプローチを提案します。
有益な点群の特徴が豊富なジオメトリと外観の手がかりをエンコードし、リアルな画像をレンダリングできるはずであるという事実に動機付けられ、レンダリングされた画像を大規模な RGB 上の実際の画像と比較することによって、考案されたポイントベースのニューラル レンダラー内で点群エンコーダをトレーニングします。
-Dデータ。
学習された点群エンコーダーは、3D 検出やセグメンテーションなどの高レベルのタスクだけでなく、3D 再構成や画像合成などの低レベルのタスクを含む、さまざまな下流タスクに簡単に統合できます。
さまざまなタスクに関する広範な実験により、既存の事前トレーニング方法と比較して、私たちのアプローチの優位性が実証されています。

要約(オリジナル)

We propose a novel approach to self-supervised learning of point cloud representations by differentiable neural rendering. Motivated by the fact that informative point cloud features should be able to encode rich geometry and appearance cues and render realistic images, we train a point-cloud encoder within a devised point-based neural renderer by comparing the rendered images with real images on massive RGB-D data. The learned point-cloud encoder can be easily integrated into various downstream tasks, including not only high-level tasks like 3D detection and segmentation, but low-level tasks like 3D reconstruction and image synthesis. Extensive experiments on various tasks demonstrate the superiority of our approach compared to existing pre-training methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google