DynamicISP: Dynamically Controlled Image Signal Processor for Image Recognition

要約

画像信号プロセッサ (ISP) は、人間の知覚品質だけでなく、コンピューター ビジョンにも重要な役割を果たします。
ほとんどの場合、専門家は知覚品質のために ISP の多くのパラメータを手動で調整することに頼っています。
特にコンピュータービジョンでは、最適ではありませんでした。
ISP の改善を目指して、2 つのアプローチが積極的に提案されています。
機械学習でパラメーターを調整するか、DNN で ISP を構築します。
前者は軽量ですが表現力に欠けます。
後者には表現力がありますが、重すぎてエッジ デバイスで計算できませんでした。
この目的のために、DynamicISP を提案します。DynamicISP は、従来の単純な ISP 関数で構成されますが、それらのパラメーターは、下流の画像認識モデルが前のフレームに感じたものに従って、画像ごとに動的に制御されます。
私たちの提案した方法は、複数の ISP 関数のパラメータを制御することに成功し、少ない計算コストで最先端の精度を得ました。

要約(オリジナル)

Image signal processor (ISP) plays an important role not only for human perceptual quality but also for computer vision. In most cases, experts resort to manual tuning of many parameters in the ISPs for perceptual quality. It failed in sub-optimal, especially for computer vision. Aiming to improve ISPs, two approaches have been actively proposed; tuning the parameters with machine learning, or constructing an ISP with DNN. The former is lightweight but lacks expressive powers. The latter has expressive powers but it was too heavy to calculate on edge devices. To this end, we propose DynamicISP, which consists of traditional simple ISP functions but their parameters are controlled dynamically per image according to what the downstream image recognition model felt to the previous frame. Our proposed method successfully controlled parameters of multiple ISP functions and got state-of-the-art accuracy with a small computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google