LongShortNet: Exploring Temporal and Semantic Features Fusion in Streaming Perception

要約

タイトル：LongShortNet：ストリーミング知覚における時間的および意味的特徴の融合の探求

要約：

– ストリーミング知覚は自動運転において重要なタスクであり、自動運転システムのレイテンシと精度のバランスが必要となる。
– 現在のストリーミング知覚の方法は、移動パターンを学習するために現在のフレームと隣接した2つのフレームにしか依存していないため、複雑なシーンをモデル化する能力が制限されており、検出結果が不十分なことが多い。
– この制限に対処するために、私たちはLongShortNetを提案しました。LongShortNetは、長期的な時間的動きを捉え、短期的な空間的意味を統合する新しい2つのパスのネットワークであり、リアルタイムな知覚に適した特徴を抽出可能とします。
– LongShortNetは、ストリーミング知覚に長期的な時間的モデリングを拡張している最初の研究であり、空間的な時間的特徴の融合を可能にしている点が注目に値します。
– 私たちはArgoverse-HDデータセットでLongShortNetを評価し、ほぼ追加の計算コストがない状態で、既存の最先端の手法を上回る性能を示しました。

要約(オリジナル)

Streaming perception is a critical task in autonomous driving that requires balancing the latency and accuracy of the autopilot system. However, current methods for streaming perception are limited as they only rely on the current and adjacent two frames to learn movement patterns. This restricts their ability to model complex scenes, often resulting in poor detection results. To address this limitation, we propose LongShortNet, a novel dual-path network that captures long-term temporal motion and integrates it with short-term spatial semantics for real-time perception. LongShortNet is notable as it is the first work to extend long-term temporal modeling to streaming perception, enabling spatiotemporal feature fusion. We evaluate LongShortNet on the challenging Argoverse-HD dataset and demonstrate that it outperforms existing state-of-the-art methods with almost no additional computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI