k-means Mask Transformer

要約

ビジョンタスクにおけるトランスフォーマーの台頭は、ネットワークバックボーンの設計を進歩させるだけでなく、エンドツーエンドの画像認識（オブジェクト検出やパノラマセグメンテーションなど）を実現するためのまったく新しいページを開始します。
自然言語処理（NLP）に端を発する、自己注意と相互注意で構成されるトランスフォーマーアーキテクチャは、シーケンス内の要素間の長距離相互作用を効果的に学習します。
ただし、ほとんどの既存のトランスベースのビジョンモデルは、言語と画像の決定的な違い、特に空間的に平坦化されたピクセルフィーチャの非常に長いシーケンス長を無視して、NLPからアイデアを借用しているだけです。
これはその後、ピクセル特徴とオブジェクトクエリの間の相互注意の学習を妨げます。
この論文では、ピクセルとオブジェクトクエリの関係を再考し、クラスタリングプロセスとして相互注意学習を再定式化することを提案します。
従来のk-meansクラスタリングアルゴリズムに着想を得て、セグメンテーションタスク用のk-means Mask Xformer（kMaX-DeepLab）を開発しました。これにより、最先端の機能が向上するだけでなく、シンプルでエレガントなデザインも楽しめます。
その結果、当社のkMaX-DeepLabは、58.0％PQのCOCO valセット、および68.4％PQ、44.0％AP、83.5％mIoUのCityscapesvalセットでテスト時間の拡張なしで新しい最先端のパフォーマンスを実現します。
または外部データセット。
私たちの仕事が、視覚タスクに合わせた変圧器の設計に光を当てることができることを願っています。
コードとモデルはhttps://github.com/google-research/deeplab2で入手できます。

要約(オリジナル)

The rise of transformers in vision tasks not only advances network backbone designs, but also starts a brand-new page to achieve end-to-end image recognition (e.g., object detection and panoptic segmentation). Originated from Natural Language Processing (NLP), transformer architectures, consisting of self-attention and cross-attention, effectively learn long-range interactions between elements in a sequence. However, we observe that most existing transformer-based vision models simply borrow the idea from NLP, neglecting the crucial difference between languages and images, particularly the extremely large sequence length of spatially flattened pixel features. This subsequently impedes the learning in cross-attention between pixel features and object queries. In this paper, we rethink the relationship between pixels and object queries and propose to reformulate the cross-attention learning as a clustering process. Inspired by the traditional k-means clustering algorithm, we develop a k-means Mask Xformer (kMaX-DeepLab) for segmentation tasks, which not only improves the state-of-the-art, but also enjoys a simple and elegant design. As a result, our kMaX-DeepLab achieves a new state-of-the-art performance on COCO val set with 58.0% PQ, and Cityscapes val set with 68.4% PQ, 44.0% AP, and 83.5% mIoU without test-time augmentation or external dataset. We hope our work can shed some light on designing transformers tailored for vision tasks. Code and models are available at https://github.com/google-research/deeplab2

arxiv情報

提供元, 利用サービス

arxiv.jp, Google