LightStereo: Channel Boost Is All Your Need for Efficient 2D Cost Aggregation

要約

私たちは、マッチングプロセスを加速するために作られた最先端のステレオマッチングネットワークである LightStereo を紹介します。
LightStereo は、計算量の多い 4D コストの集約に依存する従来の方法論とは異なり、軽量な代替手段として 3D コスト ボリュームを採用しています。
同様のアプローチは以前にも検討されていますが、私たちの画期的な点は、マッチングコストの分布がカプセル化されている 3D コストボリュームのチャネル次元に特化してパフォーマンスを向上させることにあります。
私たちの徹底的な調査により、精度と効率の両方を確保し、極めて重要な次元の能力を拡大するための多くの戦略が生まれました。
さまざまなベンチマークにわたって、提案された LightStereo を既存の最先端の手法と比較し、速度、精度、リソース使用率の点で優れたパフォーマンスを示しています。
LightStereo は、わずか 17 ミリ秒の推論時間で、最小 22 GFLOP のみを要求しながら、SceneFlow データセットで競争力のある EPE メトリックを達成します。
私たちの包括的な分析により、ステレオ マッチングに対する 2D コスト集計の効果が明らかになり、効率的なステレオ システムの現実世界への応用への道が開かれます。
コードは \url{https://github.com/XiandaGuo/OpenStereo} で入手できます。

要約(オリジナル)

We present LightStereo, a cutting-edge stereo-matching network crafted to accelerate the matching process. Departing from conventional methodologies that rely on aggregating computationally intensive 4D costs, LightStereo adopts the 3D cost volume as a lightweight alternative. While similar approaches have been explored previously, our breakthrough lies in enhancing performance through a dedicated focus on the channel dimension of the 3D cost volume, where the distribution of matching costs is encapsulated. Our exhaustive exploration has yielded plenty of strategies to amplify the capacity of the pivotal dimension, ensuring both precision and efficiency. We compare the proposed LightStereo with existing state-of-the-art methods across various benchmarks, which demonstrate its superior performance in speed, accuracy, and resource utilization. LightStereo achieves a competitive EPE metric in the SceneFlow datasets while demanding a minimum of only 22 GFLOPs, with an inference time of just 17 ms. Our comprehensive analysis reveals the effect of 2D cost aggregation for stereo matching, paving the way for real-world applications of efficient stereo systems. Code will be available at \url{https://github.com/XiandaGuo/OpenStereo}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google