OAMixer: Object-aware Mixing Layer for Vision Transformers

要約

ビジョン トランスフォーマー (ViT) やミキサーなどのパッチベースのモデルは、従来の畳み込みネットワークを交互に使用して、さまざまな視覚認識タスクで印象的な結果を示しています。
初期のパッチベースのモデル (ViT) はすべてのパッチを同等に扱っていましたが、最近の研究では、空間性のような誘導バイアスを組み込むと、表現にメリットがあることが明らかになりました。
ただし、ほとんどの以前の作品は、画像のシーン構造を見落として、パッチの位置のみに焦点を当てていました。
したがって、オブジェクト情報を使用してパッチの相互作用をさらにガイドすることを目指しています。
具体的には、オブジェクトラベルに基づいてパッチベースモデルのパッチミキシングレイヤーを調整するOAMixer（オブジェクトアウェアミキシングレイヤー）を提案します。
ここでは、教師なしまたは弱い教師付きの方法でオブジェクト ラベルを取得します。つまり、人間による追加の注釈コストは必要ありません。
オブジェクト ラベルを使用して、OAMixer は学習可能なスケール パラメーターを使用して再重み付けマスクを計算します。これにより、同様のオブジェクトを含むパッチの相互作用が強化され、そのマスクがパッチ ミキシング レイヤーに適用されます。
オブジェクト中心の表現を学習することにより、OAMixer が ViT、MLP-Mixer、および ConvMixer を含むさまざまなパッチベースのモデルの分類精度とバックグラウンドの堅牢性を向上させることを実証します。
さらに、OAMixer が大規模な分類、自己教師あり学習、多物体認識などのさまざまなダウンストリーム タスクを強化することを示し、OAMixer の一般的な適用可能性を検証します。

要約(オリジナル)

Patch-based models, e.g., Vision Transformers (ViTs) and Mixers, have shown impressive results on various visual recognition tasks, alternating classic convolutional networks. While the initial patch-based models (ViTs) treated all patches equally, recent studies reveal that incorporating inductive bias like spatiality benefits the representations. However, most prior works solely focused on the location of patches, overlooking the scene structure of images. Thus, we aim to further guide the interaction of patches using the object information. Specifically, we propose OAMixer (object-aware mixing layer), which calibrates the patch mixing layers of patch-based models based on the object labels. Here, we obtain the object labels in unsupervised or weakly-supervised manners, i.e., no additional human-annotating cost is necessary. Using the object labels, OAMixer computes a reweighting mask with a learnable scale parameter that intensifies the interaction of patches containing similar objects and applies the mask to the patch mixing layers. By learning an object-centric representation, we demonstrate that OAMixer improves the classification accuracy and background robustness of various patch-based models, including ViTs, MLP-Mixers, and ConvMixers. Moreover, we show that OAMixer enhances various downstream tasks, including large-scale classification, self-supervised learning, and multi-object recognition, verifying the generic applicability of OAMixer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google