TGTM: TinyML-based Global Tone Mapping for HDR Sensors

要約

複数のカメラに依存する先進運転支援システム (ADAS) は、車両テクノロジーにおいてますます普及しています。
しかし、従来のイメージングセンサーは、ダイナミックレンジが限られているため、トンネル出口などの照明のコントラストが強い状況では、鮮明な画像をキャプチャするのが困難でした。
ハイ ダイナミック レンジ (HDR) センサーの導入により、この問題は解決されます。
ただし、トーン マッピングを介して HDR コンテンツを表示可能な範囲に変換するプロセスは、ピクセル データに対して直接実行すると、非効率な計算につながることがよくあります。
この論文では、画像ヒストグラム データに適用された軽量ニューラル ネットワークを使用した HDR 画像トーン マッピングに焦点を当てます。
TGTM と呼ばれる、私たちが提案する TinyML ベースのグローバル トーン マッピング方法は、あらゆる解像度の RGB 画像あたり 9,000 FLOPS で動作します。
さらに、TGTM は、古典的なトーン マッピング方法に組み込むことができる汎用的なアプローチを提供します。
実験結果は、TGTM が、実際の HDR カメラ画像に対して、数桁少ない計算量で最大 5.85 dB 高い PSNR により、最先端の方法よりも優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

Advanced driver assistance systems (ADAS) relying on multiple cameras are increasingly prevalent in vehicle technology. Yet, conventional imaging sensors struggle to capture clear images in conditions with intense illumination contrast, such as tunnel exits, due to their limited dynamic range. Introducing high dynamic range (HDR) sensors addresses this issue. However, the process of converting HDR content to a displayable range via tone mapping often leads to inefficient computations, when performed directly on pixel data. In this paper, we focus on HDR image tone mapping using a lightweight neural network applied on image histogram data. Our proposed TinyML-based global tone mapping method, termed as TGTM, operates at 9,000 FLOPS per RGB image of any resolution. Additionally, TGTM offers a generic approach that can be incorporated to any classical tone mapping method. Experimental results demonstrate that TGTM outperforms state-of-the-art methods on real HDR camera images by up to 5.85 dB higher PSNR with orders of magnitude less computations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google