Long-Lived Accurate Keypoints in Event Streams

要約

以前の方法よりも優れた精度とはるかに長いキーポイント トラックを提供する、イベント ストリームでのキーポイントの検出と追跡に対する新しいエンド ツー エンドのアプローチを紹介します。
これは、2 つのコントリビューションが連携することによって可能になります。
まず、安定したキーポイント ラベルを生成する簡単な手順を提案します。これを使用して、再帰型アーキテクチャをトレーニングします。
このトレーニング データにより、時間の経過とともに非常に一貫した検出が得られます。
さらに、キーポイント検出の以前の方法は、一定期間にわたってイベントを統合する表現 (時間面など) で機能することがわかります。
この統合が必要であるため、以前のアプローチで行われたように、単一の場所ではなく、期間のキーポイントの軌跡を予測する方が良いと主張します。
これらの軌跡を、統合期間の一連のヒートマップの形で予測します。
これにより、キーポイントのローカリゼーションが改善されます。
また、アーキテクチャを非常にシンプルに保つことができるため、推論時間が非常に短縮されます。
HVGA ATIS コーナー データセットと「The Event-Camera Dataset and Simulator」データセットでアプローチを実証し、以前の最良の状態よりも 3 倍長く、ほぼ 2 倍正確なキーポイント トラックが得られることを示します。
-芸術の方法。
私たちのアプローチは、他のイベントベースのカメラの問題にも一般化できると信じており、ソース コードを公開して、他の作成者が調査できるようにします。

要約(オリジナル)

We present a novel end-to-end approach to keypoint detection and tracking in an event stream that provides better precision and much longer keypoint tracks than previous methods. This is made possible by two contributions working together. First, we propose a simple procedure to generate stable keypoint labels, which we use to train a recurrent architecture. This training data results in detections that are very consistent over time. Moreover, we observe that previous methods for keypoint detection work on a representation (such as the time surface) that integrates events over a period of time. Since this integration is required, we claim it is better to predict the keypoints’ trajectories for the time period rather than single locations, as done in previous approaches. We predict these trajectories in the form of a series of heatmaps for the integration time period. This improves the keypoint localization. Our architecture can also be kept very simple, which results in very fast inference times. We demonstrate our approach on the HVGA ATIS Corner dataset as well as ‘The Event-Camera Dataset and Simulator’ dataset, and show it results in keypoint tracks that are three times longer and nearly twice as accurate as the best previous state-of-the-art methods. We believe our approach can be generalized to other event-based camera problems, and we release our source code to encourage other authors to explore it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google