On Efficient Real-Time Semantic Segmentation: A Survey

要約

セマンティック セグメンテーションは、画像内のすべてのピクセルにクラス ラベルを割り当てる問題であり、シーンの理解とオブジェクトの検出を容易にする自律型車両ビジョン スタックの重要なコンポーネントです。
ただし、最高のパフォーマンスを発揮するセマンティック セグメンテーション モデルの多くは非常に複雑で扱いにくいため、計算リソースが限られており、低レイテンシの操作が不可欠な要件である自動運転車両プラットフォームへの搭載には適していません。
この調査では、リアルタイム推論の制約を満たしながら、低メモリの組み込みシステムに展開できる、よりコンパクトで効率的なモデルを使用して、この不整合に対処することを目的とした作業を徹底的に調べます。
この分野で最も著名な作品のいくつかについて議論し、主要な貢献に基づいて分類法に分類し、最後に、ハイエンドの典型的な研究環境を表す一貫したハードウェアとソフトウェアのセットアップの下で、議論されたモデルの推論速度を評価します。
GPU と、低メモリの組み込み GPU ハードウェアを使用した現実的な展開シナリオ。
私たちの実験結果は、レイテンシと精度の間の一貫したトレードオフを示しながら、多くの作品がリソースに制約のあるハードウェアでリアルタイムのパフォーマンスが可能であることを示しています。

要約(オリジナル)

Semantic segmentation is the problem of assigning a class label to every pixel in an image, and is an important component of an autonomous vehicle vision stack for facilitating scene understanding and object detection. However, many of the top performing semantic segmentation models are extremely complex and cumbersome, and as such are not suited to deployment onboard autonomous vehicle platforms where computational resources are limited and low-latency operation is a vital requirement. In this survey, we take a thorough look at the works that aim to address this misalignment with more compact and efficient models capable of deployment on low-memory embedded systems while meeting the constraint of real-time inference. We discuss several of the most prominent works in the field, placing them within a taxonomy based on their major contributions, and finally we evaluate the inference speed of the discussed models under consistent hardware and software setups that represent a typical research environment with high-end GPU and a realistic deployed scenario using low-memory embedded GPU hardware. Our experimental results demonstrate that many works are capable of real-time performance on resource-constrained hardware, while illustrating the consistent trade-off between latency and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google