ISP Distillation

要約

現在、キャプチャされた画像の多くは、ロボットや自動運転車のカメラなど、人間ではなく機械によってのみ「観察」されています。
オブジェクト認識やセマンティック セグメンテーションなどの高レベルのマシン ビジョン モデルは、カメラ ISP によって画像が正規の画像空間に変換されることを前提としています。
ただし、カメラ ISP は、機械ではなく人間の観察者にとって視覚的に心地よい画像を生成するように最適化されているため、ISP の計算時間を節約し、視覚モデルを生データに直接適用することができます。
ただし、そのようなモデルを RAW 画像で直接トレーニングすると、パフォーマンスが低下することが示されています。
このパフォーマンスの低下を軽減するために (RAW データに注釈を付ける必要はありません)、人間によるラベル付けなしで簡単に取得できる RAW と RGB の画像ペアのデータセットを使用します。
次に、知識蒸留を使用して RAW データに直接適用されるモデルをトレーニングし、RAW 画像のモデル予測が、処理された RGB 画像の市販の事前トレーニング済みモデルの予測と一致するようにします。
私たちの実験では、オブジェクトの分類とセマンティック セグメンテーションの RAW 画像でのパフォーマンスが、ラベル付きの RAW 画像でトレーニングされたモデルよりも大幅に優れていることが示されています。
また、ISP の計算オーバーヘッドを節約しながら、処理済みの RGB 画像に対する事前トレーニング済みモデルの予測と合理的に一致します。

要約(オリジナル)

Nowadays, many of the images captured are ‘observed’ by machines only and not by humans, for example, robots’ or autonomous cars’ cameras. High-level machine vision models, such as object recognition or semantic segmentation, assume images are transformed to some canonical image space by the camera ISP. However, the camera ISP is optimized for producing visually pleasing images to human observers and not for machines, thus, one may spare the ISP compute time and apply the vision models directly on the raw data. Yet, it has been shown that training such models directly on the RAW images results in a performance drop. To mitigate this drop in performance (without the need to annotate RAW data), we use a dataset of RAW and RGB image pairs, which can be easily acquired with no human labeling. We then train a model that is applied directly on the RAW data by using knowledge distillation such that the model predictions for RAW images will be aligned with the predictions of an off-the-shelf pre-trained model for processed RGB images. Our experiments show that our performance on RAW images for object classification and semantic segmentation are significantly better than a model trained on labeled RAW images. It also reasonably matches the predictions of a pre-trained model on processed RGB images, while saving the ISP compute overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google