APSNet: Attention Based Point Cloud Sampling

要約

大きな点群の処理は困難な作業です。
そのため、パフォーマンスを大幅に低下させることなく、より効率的にデータを保存、送信、処理できるように、データはより小さなサイズにダウンサンプリングされることがよくあります。
最も遠いポイント サンプリング (FPS) などの従来のタスクに依存しないサンプリング方法は、ポイント クラウドをサンプリングするときに下流のタスクを考慮しないため、タスクにとって有益でないポイントがサンプリングされることがよくあります。
このホワイト ペーパーでは、3D 点群のタスク指向のサンプリングについて説明し、目的のダウンストリーム タスクに合わせて特別に調整された点のサブセットをサンプリングすることを目的としています。
FPS と同様に、次にサンプリングされるポイントは、既にサンプリングされたポイントに大きく依存する必要があると想定しています。
そこで、点群サンプリングを逐次生成プロセスとして定式化し、この問題に取り組むために注意ベースの点群サンプリング ネットワーク (APSNet) を開発します。
各時間ステップで、APSNet は以前にサンプリングされたポイントの履歴を利用してクラウド内のすべてのポイントに注意を払い、最も有益なポイントをサンプリングします。
APSNetの教師あり学習と知識蒸留ベースの自己教師あり学習の両方が提案されています。
さらに、複数のサンプル サイズにわたる APSNet の共同トレーニングが調査され、優れたパフォーマンスで任意の長さのサンプルを生成できる単一の APSNet につながります。
広範な実験により、3D 点群の分類、再構成、および登録を含むさまざまなダウンストリーム タスクにおける最先端技術に対する APSNet の優れたパフォーマンスが実証されています。

要約(オリジナル)

Processing large point clouds is a challenging task. Therefore, the data is often downsampled to a smaller size such that it can be stored, transmitted and processed more efficiently without incurring significant performance degradation. Traditional task-agnostic sampling methods, such as farthest point sampling (FPS), do not consider downstream tasks when sampling point clouds, and thus non-informative points to the tasks are often sampled. This paper explores a task-oriented sampling for 3D point clouds, and aims to sample a subset of points that are tailored specifically to a downstream task of interest. Similar to FPS, we assume that point to be sampled next should depend heavily on the points that have already been sampled. We thus formulate point cloud sampling as a sequential generation process, and develop an attention-based point cloud sampling network (APSNet) to tackle this problem. At each time step, APSNet attends to all the points in a cloud by utilizing the history of previously sampled points, and samples the most informative one. Both supervised learning and knowledge distillation-based self-supervised learning of APSNet are proposed. Moreover, joint training of APSNet over multiple sample sizes is investigated, leading to a single APSNet that can generate arbitrary length of samples with prominent performances. Extensive experiments demonstrate the superior performance of APSNet against state-of-the-arts in various downstream tasks, including 3D point cloud classification, reconstruction, and registration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google