要約
データの空間関係のモデル化は、画像分類、セマンティック セグメンテーション、タンパク質構造の理解など、さまざまなタスクで依然として重要です。
以前の作品では、相対位置エンコーディングのような統一されたソリューションを使用することがよくありました。
ただし、短距離、中距離、長距離の関係を含むさまざまな種類の空間関係が存在し、それらを個別にモデル化することで、マルチレンジの関係でさまざまなタスクの焦点をより適切に捉えることができます (たとえば、近距離の関係は、
インスタンスセグメンテーションでは重要ですが、セマンティックセグメンテーションでは長期関係を重視する必要があります)。
この作業では、効率的なマルチレンジ リレーショナル モデリングのための EurNet を紹介します。
EurNet は、各タイプのエッジが短距離、中距離、または長距離の空間相互作用に対応するマルチリレーショナル グラフを構築します。
構築されたグラフでは、EurNet はゲーテッド リレーショナル メッセージ パッシング (GRMP) と呼ばれる新しいモデリング レイヤーを採用して、データ全体にマルチリレーショナル情報を伝達します。
GRMP は、余分な計算コストをほとんどかけずに、データ内の複数の関係をキャプチャします。
画像とタンパク質構造モデリングの 2 つの重要なドメインで EurNets を研究しています。
ImageNet 分類、COCO オブジェクト検出、および ADE20K セマンティック セグメンテーションに関する広範な実験により、以前の SoTA FocalNet に対する EurNet の利点が検証されます。
EC および GO タンパク質機能予測ベンチマークでは、EurNet は一貫して以前の SoTA GearNet を上回っています。
私たちの結果は、さまざまなドメインからの空間マルチリレーショナル データのモデリングにおける EurNets の強みを示しています。
画像モデリング用の EurNet の実装は、https://github.com/hirl-team/EurNet-Image で入手できます。
他の適用ドメイン/タスクの実装は、まもなくリリースされます。
要約(オリジナル)
Modeling spatial relationship in the data remains critical across many different tasks, such as image classification, semantic segmentation and protein structure understanding. Previous works often use a unified solution like relative positional encoding. However, there exists different kinds of spatial relations, including short-range, medium-range and long-range relations, and modeling them separately can better capture the focus of different tasks on the multi-range relations (e.g., short-range relations can be important in instance segmentation, while long-range relations should be upweighted for semantic segmentation). In this work, we introduce the EurNet for Efficient multi-range relational modeling. EurNet constructs the multi-relational graph, where each type of edge corresponds to short-, medium- or long-range spatial interactions. In the constructed graph, EurNet adopts a novel modeling layer, called gated relational message passing (GRMP), to propagate multi-relational information across the data. GRMP captures multiple relations within the data with little extra computational cost. We study EurNets in two important domains for image and protein structure modeling. Extensive experiments on ImageNet classification, COCO object detection and ADE20K semantic segmentation verify the gains of EurNet over the previous SoTA FocalNet. On the EC and GO protein function prediction benchmarks, EurNet consistently surpasses the previous SoTA GearNet. Our results demonstrate the strength of EurNets on modeling spatial multi-relational data from various domains. The implementations of EurNet for image modeling are available at https://github.com/hirl-team/EurNet-Image . The implementations for other applied domains/tasks will be released soon.
arxiv情報
| 著者 | Minghao Xu,Yuanfan Guo,Yi Xu,Jian Tang,Xinlei Chen,Yuandong Tian |
| 発行日 | 2022-11-23 13:24:36+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google