Implicit and Efficient Point Cloud Completion for 3D Single Object Tracking

要約

点群ベースの 3D シングル オブジェクト トラッキング (3DSOT) がますます注目を集めています。
多くのブレークスルーが行われましたが、2 つの深刻な問題も明らかになりました。
広範な分析により、現在のアプローチの予測方法は堅牢ではないことがわかりました。つまり、予測スコアと実際のローカリゼーション精度との間のミスアライメントギャップが明らかになりました。
もう 1 つの問題は、まばらなポイント リターンが SOT タスクのフィーチャ マッチング手順を損なうことです。
これらの洞察に基づいて、2 つの新しいモジュール、つまり、Adaptive Refine Prediction (ARP) と Target Knowledge Transfer (TKT) を導入して、それぞれに取り組みます。
この目的のために、最初に強力なパイプラインを設計して識別機能を抽出し、アテンション メカニズムを使用してマッチング手順を実行します。
次に、予測されたすべての候補を貴重な手がかりと集約することにより、ミスアラインメントの問題に取り組むために ARP モジュールが提案されています。
最後に、TKT モジュールは、まばらでオクルージョンの問題による不完全な点群を効果的に克服するように設計されています。
全体的なフレームワークを PCET と呼びます。
KITTI と Waymo オープン データセットで大規模な実験を実施することにより、モデルは最先端のパフォーマンスを達成しながら、より低い計算消費量を維持します。

要約(オリジナル)

The point cloud based 3D single object tracking (3DSOT) has drawn increasing attention. Lots of breakthroughs have been made, but we also reveal two severe issues. By an extensive analysis, we find the prediction manner of current approaches is non-robust, i.e., exposing a misalignment gap between prediction score and actually localization accuracy. Another issue is the sparse point returns will damage the feature matching procedure of the SOT task. Based on these insights, we introduce two novel modules, i.e., Adaptive Refine Prediction (ARP) and Target Knowledge Transfer (TKT), to tackle them, respectively. To this end, we first design a strong pipeline to extract discriminative features and conduct the matching procedure with the attention mechanism. Then, ARP module is proposed to tackle the misalignment issue by aggregating all predicted candidates with valuable clues. Finally, TKT module is designed to effectively overcome incomplete point cloud due to sparse and occlusion issues. We call our overall framework PCET. By conducting extensive experiments on the KITTI and Waymo Open Dataset, our model achieves state-of-the-art performance while maintaining a lower computational consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google