Vision GNN: An Image is Worth Graph of Nodes

要約

深層学習ベースのコンピュータビジョンシステムにおいて、ネットワークアーキテクチャは重要な役割を担っている。広く使われている畳み込みニューラルネットワークや変換器は、画像をグリッドやシーケンス構造として扱うため、不規則で複雑なオブジェクトを捉えるには柔軟性に欠ける。本論文では、画像をグラフ構造として表現することを提案し、視覚タスクのためのグラフレベルの特徴を抽出する新しいVision GNN（ViG）アーキテクチャを導入する。まず、画像をノードと見なすいくつかのパッチに分割し、近傍のパッチを連結してグラフを構成する。画像のグラフ表現に基づき、全てのノード間で情報の変換と交換を行うViGモデルを構築する。ViGは2つの基本モジュールから構成される。グラフ情報の集約と更新を行うグラフ畳み込みモジュールと、ノードの特徴変換を行う2つの線形層からなるFFNモジュールである。ViGのアーキテクチャは、等方性とピラミッドの両方が、異なるモデルサイズで構築されている。画像認識と物体検出タスクに関する広範な実験により、我々のViGアーキテクチャの優位性を実証する。我々は、一般的な視覚タスクにおけるGNNのこの先駆的な研究が、将来の研究にとって有益なインスピレーションと経験を提供することを期待している。PyTorchのコードは https://github.com/huawei-noah/Efficient-AI-Backbones で、MindSporeのコードは https://gitee.com/mindspore/models で入手可能である。

要約(オリジナル)

Network architecture plays a key role in the deep learning-based computer vision system. The widely-used convolutional neural network and transformer treat the image as a grid or sequence structure, which is not flexible to capture irregular and complex objects. In this paper, we propose to represent the image as a graph structure and introduce a new Vision GNN (ViG) architecture to extract graph-level feature for visual tasks. We first split the image to a number of patches which are viewed as nodes, and construct a graph by connecting the nearest neighbors. Based on the graph representation of images, we build our ViG model to transform and exchange information among all the nodes. ViG consists of two basic modules: Grapher module with graph convolution for aggregating and updating graph information, and FFN module with two linear layers for node feature transformation. Both isotropic and pyramid architectures of ViG are built with different model sizes. Extensive experiments on image recognition and object detection tasks demonstrate the superiority of our ViG architecture. We hope this pioneering study of GNN on general visual tasks will provide useful inspiration and experience for future research. The PyTorch code is available at https://github.com/huawei-noah/Efficient-AI-Backbones and the MindSpore code is available at https://gitee.com/mindspore/models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL