Illumination Adaptive Transformer

要約

現実の世界での困難な照明条件（低照度、低露光、過露光）は、不快な視覚的外観を与えるだけでなく、コンピュータビジョンタスクを汚染します。
既存の光適応法は、多くの場合、各条件を個別に処理します。
さらに、それらのほとんどは、RAW画像で動作したり、カメラ画像信号処理（ISP）パイプラインを過度に単純化したりすることがよくあります。
光変換パイプラインをローカルおよびグローバルISPコンポーネントに分解することにより、ローカル推定ブランチとグローバルISPブランチの2つのトランススタイルブランチで構成される軽量の高速照明適応トランス（IAT）を提案します。
ローカルブランチは照明に関連するピクセル単位のローカルコンポーネントを推定しますが、グローバルブランチは、パラメータをデコードするために画像全体に参加する学習可能なクワイアを定義します。
私たちのIATは、さまざまな光の条件下でオブジェクト検出とセマンティックセグメンテーションの両方を実行することもできます。
2つの低レベルタスクと3つの高レベルタスクで、複数の実際のデータセットでIATを広範囲に評価しました。
わずか90kのパラメーターと0.004秒の処理速度（高レベルモジュールを除く）で、IATは一貫してSOTAよりも優れたパフォーマンスを達成しています。
コードはhttps://github.com/cuiziteng/Illumination-Adaptive-Transformerで入手できます

要約(オリジナル)

Challenging illumination conditions (low light, underexposure and overexposure) in the real world not only cast an unpleasant visual appearance but also taint the computer vision tasks. Existing light adaptive methods often deal with each condition individually. What is more, most of them often operate on a RAW image or over-simplify the camera image signal processing (ISP) pipeline. By decomposing the light transformation pipeline into local and global ISP components, we propose a lightweight fast Illumination Adaptive Transformer (IAT) which comprises two transformer-style branches: local estimation branch and global ISP branch. While the local branch estimates the pixel-wise local components relevant to illumination, the global branch defines learnable quires that attend the whole image to decode the parameters. Our IAT could also conduct both object detection and semantic segmentation under various light conditions. We have extensively evaluated IAT on multiple real-world datasets on 2 low-level tasks and 3 high-level tasks. With only 90k parameters and 0.004s processing speed (excluding high-level module), our IAT has consistently achieved superior performance over SOTA. Code is available at https://github.com/cuiziteng/Illumination-Adaptive-Transformer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google