Dynamic Graph Message Passing Networks for Visual Recognition

要約

長期的な依存関係のモデル化は、コンピューター ビジョンのシーン理解タスクにとって重要です。
畳み込みニューラル ネットワーク (CNN) は多くのビジョン タスクで優れていますが、通常はローカル カーネルのレイヤーで構成されているため、長期的な構造化された関係を捉えるにはまだ限界があります。
Transformers の自己注意操作などの完全に接続されたグラフは、このようなモデリングに役立ちますが、その計算オーバーヘッドは非常に大きくなります。
この論文では、完全に接続されたグラフをモデル化する関連作業と比較して、計算の複雑さを大幅に軽減する動的グラフメッセージパッシングネットワークを提案します。
これは、メッセージパッシングのために、入力を条件としてグラフ内のノードを適応的にサンプリングすることによって実現されます。
サンプリングされたノードに基づいて、ノードに依存するフィルターの重みと、ノード間で情報を伝達するためのアフィニティ マトリックスを動的に予測します。
この定式化により、自己注意モジュールを設計でき、さらに重要なことに、画像分類の事前トレーニングとさまざまなダウンストリーム タスク (オブジェクト検出、インスタンス、セマンティック セグメンテーション) の両方に使用する新しい Transformer ベースのバックボーン ネットワークを設計できます。
このモデルを使用して、4 つの異なるタスクで強力な最先端のベースラインに関して大幅な改善を示します。
また、私たちのアプローチは、使用する浮動小数点演算とパラメーターが大幅に少ない一方で、完全に接続されたグラフよりも優れています。
コードとモデルは、https://github.com/fudan-zvg/DGMN2 で公開されます。

要約(オリジナル)

Modelling long-range dependencies is critical for scene understanding tasks in computer vision. Although convolution neural networks (CNNs) have excelled in many vision tasks, they are still limited in capturing long-range structured relationships as they typically consist of layers of local kernels. A fully-connected graph, such as the self-attention operation in Transformers, is beneficial for such modelling, however, its computational overhead is prohibitive. In this paper, we propose a dynamic graph message passing network, that significantly reduces the computational complexity compared to related works modelling a fully-connected graph. This is achieved by adaptively sampling nodes in the graph, conditioned on the input, for message passing. Based on the sampled nodes, we dynamically predict node-dependent filter weights and the affinity matrix for propagating information between them. This formulation allows us to design a self-attention module, and more importantly a new Transformer-based backbone network, that we use for both image classification pretraining, and for addressing various downstream tasks (object detection, instance and semantic segmentation). Using this model, we show significant improvements with respect to strong, state-of-the-art baselines on four different tasks. Our approach also outperforms fully-connected graphs while using substantially fewer floating-point operations and parameters. Code and models will be made publicly available at https://github.com/fudan-zvg/DGMN2

arxiv情報

提供元, 利用サービス

arxiv.jp, Google