Test-Time Adaptation for Point Cloud Upsampling Using Meta-Learning

要約

手頃な価格の 3D スキャナは、ロボット システムの下流アプリケーションに悪影響を及ぼす、まばらで不均一な点群を生成することがよくあります。
既存の点群アップサンプリング アーキテクチャは、標準ベンチマークで有望な結果を示していますが、テスト データの分布がトレーニング データと異なる場合、パフォーマンスが大幅に低下する傾向があります。
この問題に対処するために、この論文では、点群アップサンプリングのモデルの汎用性を高めるためのテスト時適応アプローチを提案します。
提案されたアプローチは、メタ学習を活用して、テスト時の適応のためのネットワーク パラメーターを明示的に学習します。
私たちの方法では、テストデータに関する事前情報は必要ありません。
メタトレーニング中に、モデル パラメーターはインスタンス レベルのタスクのコレクションから学習されます。各タスクは、トレーニング データからの点群の疎密ペアで構成されます。
メタテスト中に、トレーニングされたモデルはいくつかの勾配更新で微調整され、テスト インスタンスごとに一意のネットワーク パラメーターのセットが生成されます。
更新されたモデルは最終的な予測に使用されます。
私たちのフレームワークは汎用であり、点群アップサンプリングで既存のバックボーン ネットワークを使用してプラグ アンド プレイ方式で適用できます。
広範な実験により、私たちのアプローチが最先端のモデルのパフォーマンスを向上させることが実証されました。

要約(オリジナル)

Affordable 3D scanners often produce sparse and non-uniform point clouds that negatively impact downstream applications in robotic systems. While existing point cloud upsampling architectures have demonstrated promising results on standard benchmarks, they tend to experience significant performance drops when the test data have different distributions from the training data. To address this issue, this paper proposes a test-time adaption approach to enhance model generality of point cloud upsampling. The proposed approach leverages meta-learning to explicitly learn network parameters for test-time adaption. Our method does not require any prior information about the test data. During meta-training, the model parameters are learned from a collection of instance-level tasks, each of which consists of a sparse-dense pair of point clouds from the training data. During meta-testing, the trained model is fine-tuned with a few gradient updates to produce a unique set of network parameters for each test instance. The updated model is then used for the final prediction. Our framework is generic and can be applied in a plug-and-play manner with existing backbone networks in point cloud upsampling. Extensive experiments demonstrate that our approach improves the performance of state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google