Multi-Granularity Graph Pooling for Video-based Person Re-Identification

要約

ビデオベースの人物再識別 (ReID) は、重複しない複数のカメラで特定の歩行者ビデオ シーケンスを識別することを目的としています。
ビデオ サンプルの時間的および空間的特徴を集約するために、グラフ ニューラル ネットワーク (GNN) が導入されています。
ただし、STGCN などの既存のグラフベースのモデルは、ノード機能に対して \textit{mean}/\\textit{max pooling} を実行してグラフ表現を取得しますが、グラフ トポロジとノードの重要性は無視されます。
この論文では、ビデオ検索のための多粒度グラフ表現を学習するためのグラフ プーリング ネットワーク (GPNet) を提案します。\textit{graph pooling layer} は、グラフをダウンサンプリングするために実装されています。
最初に多粒度グラフを構築します。このグラフのノード機能は、バックボーンによって学習された画像の埋め込みを示し、時間ノードとユークリッド近傍ノードの間にエッジが確立されます。
次に、複数のグラフ畳み込みレイヤーを実装して、グラフで近傍集約を実行します。
グラフをダウンサンプリングするために、マルチヘッド完全注意グラフ プーリング (MHFAPool) レイヤーを提案します。これは、既存のノード クラスタリングとノード選択プーリング メソッドの利点を統合します。
具体的には、MHFAPool は、プールされた各ノードにグローバル グラフ情報を含めるための集計係数として、フル アテンション マトリックスの主な固有ベクトルを使用します。
広範な実験により、当社の GPNet が 4 つの広く使用されているデータセット、つまり MARS、DukeMTMC-VideoReID、iLIDS-VID、および PRID-2011 で競争力のある結果を達成していることが実証されています。

要約(オリジナル)

The video-based person re-identification (ReID) aims to identify the given pedestrian video sequence across multiple non-overlapping cameras. To aggregate the temporal and spatial features of the video samples, the graph neural networks (GNNs) are introduced. However, existing graph-based models, like STGCN, perform the \textit{mean}/\textit{max pooling} on node features to obtain the graph representation, which neglect the graph topology and node importance. In this paper, we propose the graph pooling network (GPNet) to learn the multi-granularity graph representation for the video retrieval, where the \textit{graph pooling layer} is implemented to downsample the graph. We first construct a multi-granular graph, whose node features denote image embedding learned by backbone, and edges are established between the temporal and Euclidean neighborhood nodes. We then implement multiple graph convolutional layers to perform the neighborhood aggregation on the graphs. To downsample the graph, we propose a multi-head full attention graph pooling (MHFAPool) layer, which integrates the advantages of existing node clustering and node selection pooling methods. Specifically, MHFAPool takes the main eigenvector of full attention matrix as the aggregation coefficients to involve the global graph information in each pooled nodes. Extensive experiments demonstrate that our GPNet achieves the competitive results on four widely-used datasets, i.e., MARS, DukeMTMC-VideoReID, iLIDS-VID and PRID-2011.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google