Learning to Structure an Image with Few Colors and Beyond

要約

色と構造は、イメージに意味を与えるために組み合わされる 2 つの柱です。
ニューラルネットワーク認識の重要な構造に興味を持ち、色空間を数ビットに制限することで色の影響を分離し、そのような制約の下でネットワーク認識を可能にする構造を見つけます。
この目的のために、分類損失を最小限に抑えることにより、限られた色空間で画像を構造化することを学習する色量子化ネットワーク ColorCNN を提案します。
ColorCNN のアーキテクチャと洞察に基づいて、複数の色空間サイズ構成をサポートする ColorCNN+ を導入し、大きな色空間での低い認識精度と望ましくない視覚的忠実度という以前の問題に対処します。
新しい模倣学習アプローチにより、ColorCNN+ は従来の色量子化方法のように色をクラスター化することを学習します。
これにより、オーバーフィッティングが減少し、広い色空間での視覚的忠実度と認識精度の両方が向上します。
実験では、ColorCNN+ がほとんどの状況で非常に競争力のある結果を達成し、ネットワーク認識の主要な構造と正確な色による視覚的忠実度の両方を維持することが確認されています。
さらに、キー構造と正確な色の違い、およびネットワーク認識への具体的な貢献について説明します。
潜在的なアプリケーションとして、ネットワーク認識の画像圧縮方法として ColorCNN を使用できることを示します。

要約(オリジナル)

Color and structure are the two pillars that combine to give an image its meaning. Interested in critical structures for neural network recognition, we isolate the influence of colors by limiting the color space to just a few bits, and find structures that enable network recognition under such constraints. To this end, we propose a color quantization network, ColorCNN, which learns to structure an image in limited color spaces by minimizing the classification loss. Building upon the architecture and insights of ColorCNN, we introduce ColorCNN+, which supports multiple color space size configurations, and addresses the previous issues of poor recognition accuracy and undesirable visual fidelity under large color spaces. Via a novel imitation learning approach, ColorCNN+ learns to cluster colors like traditional color quantization methods. This reduces overfitting and helps both visual fidelity and recognition accuracy under large color spaces. Experiments verify that ColorCNN+ achieves very competitive results under most circumstances, preserving both key structures for network recognition and visual fidelity with accurate colors. We further discuss differences between key structures and accurate colors, and their specific contributions to network recognition. For potential applications, we show that ColorCNNs can be used as image compression methods for network recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google