Feature Denoising For Low-Light Instance Segmentation Using Weighted Non-Local Blocks

要約

低光量画像のインスタンス セグメンテーションは、フォトン数の少なさによるショット ノイズ、色の歪み、コントラストの低下など、このような条件によって課せられる課題のため、ほとんど研究されていないままです。
このホワイトペーパーでは、この困難なタスクに対処するためのエンドツーエンドのソリューションを提案します。
マスク R-CNN に基づいて、私たちの提案方法は特徴抽出器に重み付けされた非ローカル (NL) ブロックを実装します。
この統合により、機能レベルでの固有のノイズ除去プロセスが可能になります。
結果として、私たちの方法では、トレーニング中に位置合わせされたグラウンド トゥルース画像の必要性がなくなり、現実世界の低照度データセットでのトレーニングがサポートされます。
さまざまな特徴スケールにさまざまな方法で影響を与える現実世界のノイズ特性に対するネットワークの適応性を強化するために、各層に追加の学習可能な重みを導入します。
実験結果は、提案された方法が平均精度 (AP) を +10.0 改善し、重み付き NL ブロックの導入により AP をさらに +1.0 向上させ、事前学習済みマスク R-CNN を上回るパフォーマンスを示すことを示しています。

要約(オリジナル)

Instance segmentation for low-light imagery remains largely unexplored due to the challenges imposed by such conditions, for example shot noise due to low photon count, color distortions and reduced contrast. In this paper, we propose an end-to-end solution to address this challenging task. Based on Mask R-CNN, our proposed method implements weighted non-local (NL) blocks in the feature extractor. This integration enables an inherent denoising process at the feature level. As a result, our method eliminates the need for aligned ground truth images during training, thus supporting training on real-world low-light datasets. We introduce additional learnable weights at each layer in order to enhance the network’s adaptability to real-world noise characteristics, which affect different feature scales in different ways. Experimental results show that the proposed method outperforms the pretrained Mask R-CNN with an Average Precision (AP) improvement of +10.0, with the introduction of weighted NL Blocks further enhancing AP by +1.0.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google