AEGNN: Asynchronous Event-based Graph Neural Networks

要約

イベント カメラ用に考案された最高のパフォーマンスの学習アルゴリズムは、最初にイベントを密な表現に変換し、次に標準の CNN を使用して処理することによって機能します。
ただし、これらの手順では、イベントのスパース性と高い時間分解能の両方が破棄されるため、計算負荷とレイテンシが高くなります。
このため、最近の研究ではグラフ ニューラル ネットワーク (GNN) が採用されています。GNN は、本質的に「まばらな」「静的な」時空間グラフとしてイベントを処理します。
この傾向をさらに一歩進めるために、非同期のイベントベースのグラフ ニューラル ネットワーク (AEGNN) を導入します。これは、標準 GNN を一般化してイベントを「進化する」時空間グラフとして処理する新しいイベント処理パラダイムです。
AEGNN は、ネットワーク アクティベーションの再計算をそれぞれの新しいイベントの影響を受けるノードのみに制限する効率的な更新ルールに従います。これにより、イベントごとの処理の計算とレイテンシの両方が大幅に削減されます。
AEGNN は同期入力で簡単にトレーニングでき、テスト時に効率的な「非同期」ネットワークに変換できます。
オブジェクトの分類と検出タスクでメソッドを徹底的に検証し、最先端の非同期メソッドと同等またはそれ以上のパフォーマンスで、計算の複雑さ (FLOP) を最大 11 分の 1 に削減することを示しています。
この計算の削減は、標準の GNN と比較した場合、計算遅延の 8 分の 1 の削減に直接変換され、低遅延のイベントベースの処理への扉が開かれます。

要約(オリジナル)

The best performing learning algorithms devised for event cameras work by first converting events into dense representations that are then processed using standard CNNs. However, these steps discard both the sparsity and high temporal resolution of events, leading to high computational burden and latency. For this reason, recent works have adopted Graph Neural Networks (GNNs), which process events as “static’ spatio-temporal graphs, which are inherently ‘sparse’. We take this trend one step further by introducing Asynchronous, Event-based Graph Neural Networks (AEGNNs), a novel event-processing paradigm that generalizes standard GNNs to process events as “evolving’ spatio-temporal graphs. AEGNNs follow efficient update rules that restrict recomputation of network activations only to the nodes affected by each new event, thereby significantly reducing both computation and latency for event-by-event processing. AEGNNs are easily trained on synchronous inputs and can be converted to efficient, ‘asynchronous’ networks at test time. We thoroughly validate our method on object classification and detection tasks, where we show an up to a 11-fold reduction in computational complexity (FLOPs), with similar or even better performance than state-of-the-art asynchronous methods. This reduction in computation directly translates to an 8-fold reduction in computational latency when compared to standard GNNs, which opens the door to low-latency event-based processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google