StereoVAE: A lightweight stereo matching system through embedded GPUs

要約

組み込み GPU を使用したステレオ マッチングのための軽量システムを紹介します。
これにより、ステレオ マッチングにおける精度と処理速度のトレードオフが解消され、組み込みシステムでリアルタイム処理を確保しながらマッチング精度をさらに向上させることが可能になります。
私たちの方法の主なアイデアは、変分自動エンコーダ (VAE) に基づいて小さなニューラル ネットワークを構築し、従来のマッチング方法によって最初に生成された小さなサイズの粗い視差マップをアップサンプリングして洗練することです。
提案されたハイブリッド構造は、計算の複雑さの点で従来の方法の利点をもたらすだけでなく、ニューラルネットワークの影響下でのマッチング精度も保証します。
KITTI 2015 ベンチマークに関する広範な実験により、この小さなシステムが、さまざまなアルゴリズムによって生成された粗い視差マップの精度を向上させる上で高い堅牢性を示し、同時に組み込み GPU 上でリアルタイムで実行されることが実証されました。

要約(オリジナル)

We present a lightweight system for stereo matching through embedded GPUs. It breaks the trade-off between accuracy and processing speed in stereo matching, enabling our embedded system to further improve the matching accuracy while ensuring real-time processing. The main idea of our method is to construct a tiny neural network based on variational auto-encoder (VAE) to upsample and refinement a small size of coarse disparity map, which is first generated by a traditional matching method. The proposed hybrid structure cannot only bring the advantage of traditional methods in terms of computational complexity, but also ensure the matching accuracy under the impact of neural network. Extensive experiments on the KITTI 2015 benchmark demonstrate that our tiny system exhibits high robustness in improving the accuracy of the coarse disparity maps generated by different algorithms, while also running in real-time on embedded GPUs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google