Instance Segmentation in the Dark

要約

タイトル：暗所における物体インスタンスセグメンテーション

要約：

– 従来の物体インスタンスセグメンテーションの技術は主に高視認性の入力に対応していますが、実際の低光環境ではその性能が著しく低下します。
– 本研究では、暗所における物体インスタンスセグメンテーションについて深く掘り下げ、低光条件下の推論精度を大幅に向上させるいくつかの技術を紹介します。
– 提案手法は、低光画像のノイズがニューラルネットワークの特徴マップに高周波の乱れをもたらし、性能を著しく低下させることを観測することから着想を得ています。
– この「特徴ノイズ」を抑制するために、適応重みダウンサンプリング層、スムーズ指向畳み込みブロック、乱れ抑制学習に依存する新しい学習方法を提案します。これらのコンポーネントは、ダウンサンプリングと畳み込み操作中に特徴ノイズを効果的に減少させ、モデルが乱れに対して不変な特徴を学習することを可能にします。
– さらに、一般的なカメラのsRGB出力に比べ、高ビット深度のRAW画像が豊富なシーン情報を低光条件下でもよりよく保存できることがわかります。これはRAW入力アルゴリズムの使用を支持しています。高ビット深度は、低光条件下での物体インスタンスセグメンテーションにとって重要な要素であることが判明しています。
– テスト用のRAWデータセットが乏しいため、低光RAW合成パイプラインを利用して現実的な低光データを生成します。さらに、今後の研究のために、2,000以上の低/通常光画像のペアにインスタンスレベルのピクセル単位注釈を備えた実世界の低光インスタンスセグメンテーションデータセットを作成します。画像前処理なしで、非常に低照度下での物体インスタンスセグメンテーションの満足のいくパフォーマンスを達成し、今後の研究の新たな機会を開きます。

要約(オリジナル)

Existing instance segmentation techniques are primarily tailored for high-visibility inputs, but their performance significantly deteriorates in extremely low-light environments. In this work, we take a deep look at instance segmentation in the dark and introduce several techniques that substantially boost the low-light inference accuracy. The proposed method is motivated by the observation that noise in low-light images introduces high-frequency disturbances to the feature maps of neural networks, thereby significantly degrading performance. To suppress this “feature noise’, we propose a novel learning method that relies on an adaptive weighted downsampling layer, a smooth-oriented convolutional block, and disturbance suppression learning. These components effectively reduce feature noise during downsampling and convolution operations, enabling the model to learn disturbance-invariant features. Furthermore, we discover that high-bit-depth RAW images can better preserve richer scene information in low-light conditions compared to typical camera sRGB outputs, thus supporting the use of RAW-input algorithms. Our analysis indicates that high bit-depth can be critical for low-light instance segmentation. To mitigate the scarcity of annotated RAW datasets, we leverage a low-light RAW synthetic pipeline to generate realistic low-light data. In addition, to facilitate further research in this direction, we capture a real-world low-light instance segmentation dataset comprising over two thousand paired low/normal-light images with instance-level pixel-wise annotations. Remarkably, without any image preprocessing, we achieve satisfactory performance on instance segmentation in very low light (4~\% AP higher than state-of-the-art competitors), meanwhile opening new opportunities for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI