ALERT-Transformer: Bridging Asynchronous and Synchronous Machine Learning for Real-Time Event-based Spatio-Temporal Data

要約

私たちは、高密度の機械学習モデルを使用して、イベントベースのセンサーによって生成された連続的な超まばらな時空間データの古典的な処理を可能にすることを目指しています。
私たちは、いくつかのアイデアを組み合わせた、非同期センシングと同期処理で構成される新しいハイブリッド パイプラインを提案します。(1) PointNet モデルに基づく埋め込み (ALERT モジュール)。これは、リーク メカニズムのおかげで新しいイベントを継続的に統合し、古いイベントを無視できます。
2) 埋め込みデータの柔軟な読み出しにより、あらゆるサンプリング レートで常に最新の機能をダウンストリーム モデルに供給できます。(3) Vision Transformer からインスピレーションを得たパッチベースのアプローチで入力のスパース性を利用して、効率を最適化します。
方法の。
これらの埋め込みは、オブジェクトとジェスチャ認識用にトレーニングされたトランスフォーマー モデルによって処理されます。
このアプローチを使用することで、競合他社よりも低いレイテンシーで最先端のパフォーマンスを実現します。
また、非同期モデルが任意のサンプリング レートで動作できることも示します。

要約(オリジナル)

We seek to enable classic processing of continuous ultra-sparse spatiotemporal data generated by event-based sensors with dense machine learning models. We propose a novel hybrid pipeline composed of asynchronous sensing and synchronous processing that combines several ideas: (1) an embedding based on PointNet models — the ALERT module — that can continuously integrate new and dismiss old events thanks to a leakage mechanism, (2) a flexible readout of the embedded data that allows to feed any downstream model with always up-to-date features at any sampling rate, (3) exploiting the input sparsity in a patch-based approach inspired by Vision Transformer to optimize the efficiency of the method. These embeddings are then processed by a transformer model trained for object and gesture recognition. Using this approach, we achieve performances at the state-of-the-art with a lower latency than competitors. We also demonstrate that our asynchronous model can operate at any desired sampling rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google