Review on Panoramic Imaging and Its Applications in Scene Understanding

要約

高速通信と人工知能技術の急速な発展により、現実世界のシーンに対する人間の認識は、もはや小さな視野 (FoV) と低次元のシーン検出デバイスの使用に限定されません。
パノラマ イメージングは​​、環境認識と測定のための次世代の革新的なインテリジェント機器として登場します。
ただし、広視野の写真イメージングのニーズを満たしながら、パノラマイメージング機器は、高解像度、死角のない、小型化、および多次元インテリジェント知覚を備えていることが期待されており、次世代のインテリジェント機器に向けて人工知能手法と組み合わせることができます。
360 度の現実世界の周囲環境のより深い理解とより全体的な認識を可能にします。
幸いなことに、自由曲面、薄板光学、およびメタサーフェスの最近の進歩により、環境に対する人間の認識に対処する革新的なアプローチが提供され、従来の光学イメージングを超える有望なアイデアが提供されます。
このレビューでは、まずパノラマ イメージング システムの基本原理を紹介し、次にさまざまなパノラマ イメージング システムのアーキテクチャ、特徴、および機能について説明します。
その後、パノラマ イメージングにおけるフリーフォーム サーフェス、薄板光学系、およびメタサーフェスの幅広いアプリケーションの見通しと優れた設計の可能性について詳しく説明します。
次に、これらの手法がパノラマ イメージング システムのパフォーマンスを向上させる方法について、詳細な分析を提供します。
さらに、パノラマ セマンティック イメージ セグメンテーション、パノラマ深度推定、パノラマ ビジュアル ローカリゼーションなどにまたがる、自動運転とロボティクスのシーン理解におけるパノラマ イメージングのアプリケーションの詳細な分析を提供します。
最後に、パノラマ画像機器の将来の可能性と研究の方向性について展望を示します。

要約(オリジナル)

With the rapid development of high-speed communication and artificial intelligence technologies, human perception of real-world scenes is no longer limited to the use of small Field of View (FoV) and low-dimensional scene detection devices. Panoramic imaging emerges as the next generation of innovative intelligent instruments for environmental perception and measurement. However, while satisfying the need for large-FoV photographic imaging, panoramic imaging instruments are expected to have high resolution, no blind area, miniaturization, and multidimensional intelligent perception, and can be combined with artificial intelligence methods towards the next generation of intelligent instruments, enabling deeper understanding and more holistic perception of 360-degree real-world surrounding environments. Fortunately, recent advances in freeform surfaces, thin-plate optics, and metasurfaces provide innovative approaches to address human perception of the environment, offering promising ideas beyond conventional optical imaging. In this review, we begin with introducing the basic principles of panoramic imaging systems, and then describe the architectures, features, and functions of various panoramic imaging systems. Afterwards, we discuss in detail the broad application prospects and great design potential of freeform surfaces, thin-plate optics, and metasurfaces in panoramic imaging. We then provide a detailed analysis on how these techniques can help enhance the performance of panoramic imaging systems. We further offer a detailed analysis of applications of panoramic imaging in scene understanding for autonomous driving and robotics, spanning panoramic semantic image segmentation, panoramic depth estimation, panoramic visual localization, and so on. Finally, we cast a perspective on future potential and research directions for panoramic imaging instruments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google