Semantic SuperPoint: A Deep Semantic Descriptor

要約

いくつかの SLAM メソッドは、セマンティック情報を使用することで恩恵を受けます。
ほとんどの場合、測光法とオブジェクト検出やセマンティック セグメンテーションなどの高レベルのセマンティクスが統合されています。
共有エンコーダー アーキテクチャにセマンティック セグメンテーション デコーダーを追加すると、記述子デコーダーがセマンティック情報を学習し、特徴抽出器が改善されることを提案します。
これは、記述子で本質的に学習され、意味予測の最終的な品質に依存しないため、高レベルの意味情報のみを使用するよりも堅牢なアプローチになります。
この情報を追加するために、マルチタスク学習方法を利用して精度を向上させ、各タスクのパフォーマンスのバランスをとります。
提案されたモデルは、HPatches データセットの検出およびマッチング メトリックに従って評価されます。
結果は、Semantic SuperPoint モデルがベースライン モデルよりも優れていることを示しています。

要約(オリジナル)

Several SLAM methods benefit from the use of semantic information. Most integrate photometric methods with high-level semantics such as object detection and semantic segmentation. We propose that adding a semantic segmentation decoder in a shared encoder architecture would help the descriptor decoder learn semantic information, improving the feature extractor. This would be a more robust approach than only using high-level semantic information since it would be intrinsically learned in the descriptor and would not depend on the final quality of the semantic prediction. To add this information, we take advantage of multi-task learning methods to improve accuracy and balance the performance of each task. The proposed models are evaluated according to detection and matching metrics on the HPatches dataset. The results show that the Semantic SuperPoint model performs better than the baseline one.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google