OccLinker: Deflickering Occupancy Networks through Lightweight Spatio-Temporal Correlation

要約

ビジョンベースの占有ネットワーク（VON）は、自律運転で3D環境を再構築するためのエンドツーエンドソリューションを提供します。
ただし、既存の方法はしばしば時間的矛盾に悩まされ、視覚的な経験を妥協し、意思決定に悪影響を与えるちらつき効果として現れます。
最近のアプローチでは、問題を軽減するために履歴データが組み込まれていますが、多くの場合、高い計算コストが発生し、オブジェクトの検出を妨げる騒々しい情報が導入されます。
Occlinkerは、パフォーマンスを向上させるために既存のボンとシームレスに統合するように設計された新しいプラグインフレームワークです。
私たちの方法では、歴史的な静的およびモーションキューを統合し、モーションスタティック統合（MSI）メカニズムを介して現在の機能と相関させ、補正の占有率を生成してベースネットワークの予測を改善する3段階のアーキテクチャを採用しています。
2つのベンチマークでの広範な実験は、最新のベースラインモデルを上回る方法の効率と有効性を示しています。
ソースコードは、補足資料で利用できます。

要約(オリジナル)

Vision-based occupancy networks (VONs) provide an end-to-end solution for reconstructing 3D environments in autonomous driving. However, existing methods often suffer from temporal inconsistencies, manifesting as flickering effects that compromise visual experience and adversely affect decision-making. While recent approaches have incorporated historical data to mitigate the issue, they often incur high computational costs and introduce noisy information that interferes with object detection. We propose OccLinker, a novel plugin framework designed to seamlessly integrate with existing VONs for boosting performance. Our method employs a three-stage architecture that consolidates historical static and motion cues, correlates them with current features through a Motion-Static Integration (MSI) mechanism, and generates correction occupancy to refine base network predictions. Extensive experiments on two benchmarks demonstrate the efficiency and effectiveness of our method, outperforming the latest baseline models. The source code are available in the supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google