Gramformer: Learning Crowd Counting via Graph-Modulated Transformer

要約

Transformer は、従来の CNN の限られた受容領域を打ち破るため、最近の群衆カウント作業で人気があります。
ただし、群衆の画像には常に多数の同様のパッチが含まれているため、Transformer の自己注意メカニズムは、ほぼすべてのパッチの注意マップが同一である均質化されたソリューションを見つける傾向があります。
この論文では、Gramformer を提案することでこの問題に対処します。Gramformer は、2 つの異なるタイプのグラフに基づいてアテンションと入力ノードの特徴をそれぞれ調整することでネットワークを強化するグラフ変調トランスフォーマーです。
まず、補完的な情報に注目するために、多様なアテンションマップに対してアテンショングラフを提案する。
グラフはパッチ間の相違点に基づいて構築されており、反類似性の方法で注意を調整しています。
第二に、ノードの中心性位置または重要性を発見するために、特徴ベースの中心性符号化が提案される。
提案された中心性インデックス スキームを使用してそれらをエンコードし、ノードの特徴と類似性関係を調整します。
4 つの困難な群衆カウント データセットに対する広範な実験により、提案された方法の競争力が検証されました。
コードは {https://github.com/LoraLinH/Gramformer} で入手できます。

要約(オリジナル)

Transformer has been popular in recent crowd counting work since it breaks the limited receptive field of traditional CNNs. However, since crowd images always contain a large number of similar patches, the self-attention mechanism in Transformer tends to find a homogenized solution where the attention maps of almost all patches are identical. In this paper, we address this problem by proposing Gramformer: a graph-modulated transformer to enhance the network by adjusting the attention and input node features respectively on the basis of two different types of graphs. Firstly, an attention graph is proposed to diverse attention maps to attend to complementary information. The graph is building upon the dissimilarities between patches, modulating the attention in an anti-similarity fashion. Secondly, a feature-based centrality encoding is proposed to discover the centrality positions or importance of nodes. We encode them with a proposed centrality indices scheme to modulate the node features and similarity relationships. Extensive experiments on four challenging crowd counting datasets have validated the competitiveness of the proposed method. Code is available at {https://github.com/LoraLinH/Gramformer}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google