Name Your Colour For the Task: Artificially Discover Colour Naming via Colour Quantisation Transformer

要約

色名システムは効率的なコミュニケーションと知覚メカニズムの二重の圧力の下で進化するという長年の説は、ナファアンラ語の40年にわたる通時データの分析など、より多くの言語研究によって裏付けられている。このような背景から、我々は機械学習によって、高度な認識性能に代表されるコミュニケーション効率の最適化を通じて、同様の色名システムを進化させ、発見することができるかどうかを探求することにした。ここでは、定量化された画像に対する機械認識の精度を維持したまま色空間を定量化する、新しい色定量化変換器CQFormerを提案する。RGB画像が与えられると、アノテーションブランチはそれをインデックスマップにマッピングし、カラーパレットを持つ定量化画像を生成する。一方、パレットブランチはキーポイント検出法を利用して、全色空間からパレット内の適切な色を見つけ出す。CQFormerは、カラーアノテーションと相互作用することで、マシンビジョンの精度と色知覚構造の両方のバランスをとることができ、発見された色体系に対して明確で安定した色分布が得られます。非常に興味深いことに、私たちの人工的な色体系と人間の言語における基本的な色彩用語の間に一貫した進化パターンを観察することもできます。さらに、我々の色定量化手法は、分類や検出といった高レベルの認識タスクにおいて高い性能を維持しながら、画像ストレージを効果的に圧縮する効率的な定量化手法も提供しています。広範な実験により、極めて低いビットレートの色で本手法の優れた性能を実証しており、画像からネットワーク活性化までの定量化ネットワークに統合する可能性を示しています。近日中にソースコードを公開する予定です。

要約(オリジナル)

The long-standing theory that a colour-naming system evolves under dual pressure of efficient communication and perceptual mechanism is supported by more and more linguistic studies, including analysing four decades of diachronic data from the Nafaanra language. This inspires us to explore whether machine learning could evolve and discover a similar colour-naming system via optimising the communication efficiency represented by high-level recognition performance. Here, we propose a novel colour quantisation transformer, CQFormer, that quantises colour space while maintaining the accuracy of machine recognition on the quantised images. Given an RGB image, Annotation Branch maps it into an index map before generating the quantised image with a colour palette; meanwhile the Palette Branch utilises a key-point detection way to find proper colours in the palette among the whole colour space. By interacting with colour annotation, CQFormer is able to balance both the machine vision accuracy and colour perceptual structure such as distinct and stable colour distribution for discovered colour system. Very interestingly, we even observe the consistent evolution pattern between our artificial colour system and basic colour terms across human languages. Besides, our colour quantisation method also offers an efficient quantisation method that effectively compresses the image storage while maintaining high performance in high-level recognition tasks such as classification and detection. Extensive experiments demonstrate the superior performance of our method with extremely low bit-rate colours, showing potential to integrate into quantisation network to quantities from image to network activation. We will release the source code soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL