FlowerFormer: Empowering Neural Architecture Encoding using a Flow-aware Graph Transformer

要約

特定のニューラル ネットワーク アーキテクチャの成功は、データセットと取り組むタスクに密接に関係しています。
すべてに対応できる万能の解決策はありません。
したがって、完全なトレーニングや評価を行わずに、特定のタスクやデータセットに対してニューラル アーキテクチャのパフォーマンスを迅速かつ正確に推定するために、多大な努力が払われてきました。
ニューラル アーキテクチャのエンコーディングは推定において重要な役割を果たしており、アーキテクチャをグラフとして扱うグラフベースの手法が顕著なパフォーマンスを示しています。
ニューラル アーキテクチャの表現学習を強化するために、ニューラル アーキテクチャ内の情報フローを組み込んだ強力なグラフ トランスフォーマーである FlowerFormer を紹介します。
FlowerFormer は 2 つの主要なコンポーネントで構成されます。(a) フローからインスピレーションを得た双方向の非同期メッセージ パッシング。
(b) フローベースのマスキングに基づいて構築された世界的な注目。
私たちの広範な実験により、既存のニューラル エンコーディング手法に対する FlowerFormer の優位性が実証され、その有効性はコンピューター ビジョン モデルを超えて、グラフ ニューラル ネットワークや自動音声認識モデルにまで広がります。
私たちのコードは http://github.com/y0ngjaenius/CVPR2024_FLOWERFormer で入手できます。

要約(オリジナル)

The success of a specific neural network architecture is closely tied to the dataset and task it tackles; there is no one-size-fits-all solution. Thus, considerable efforts have been made to quickly and accurately estimate the performances of neural architectures, without full training or evaluation, for given tasks and datasets. Neural architecture encoding has played a crucial role in the estimation, and graphbased methods, which treat an architecture as a graph, have shown prominent performance. For enhanced representation learning of neural architectures, we introduce FlowerFormer, a powerful graph transformer that incorporates the information flows within a neural architecture. FlowerFormer consists of two key components: (a) bidirectional asynchronous message passing, inspired by the flows; (b) global attention built on flow-based masking. Our extensive experiments demonstrate the superiority of FlowerFormer over existing neural encoding methods, and its effectiveness extends beyond computer vision models to include graph neural networks and auto speech recognition models. Our code is available at http://github.com/y0ngjaenius/CVPR2024_FLOWERFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google