Fast Tree-Field Integrators: From Low Displacement Rank to Topological Transformers

要約

重み付きツリー上で定義されたテンソル場を統合するための、構造化行列 (特に低変位ランク) の理論に基づいた新しいクラスの高速多対数線形アルゴリズムを提案します。
結果として得られる高速ツリー フィールド インテグレータ (FTFI) のいくつかのアプリケーションが紹介されます。これには、(a) ツリー メトリクスによるグラフ メトリクスの近似、(b) グラフ分類、(c) メッシュ上のモデリング、最後に (d) トポロジカル トランスフォーマ (TT) が含まれます。
) (Choromanski et al., 2022) 画像については。
トポロジカル トランスフォーマーについては、トランスフォーマー レイヤーあたりわずか 3 つの追加学習可能パラメーターを備えた新しい相対位置エンコーディング (RPE) マスキング メカニズムを提案し、1.0 ～ 1.5% 以上の精度向上をもたらします。
重要なのは、ほとんどの FTFI は正確なメソッドであるため、ブルートフォース方式と数値的に同等であるということです。
数千のノードを含むグラフに適用すると、これらの正確なアルゴリズムは 5.7 ～ 13 倍の高速化を実現します。
また、当社のメソッドに関する広範な理論分析も提供します。

要約(オリジナル)

We present a new class of fast polylog-linear algorithms based on the theory of structured matrices (in particular low displacement rank) for integrating tensor fields defined on weighted trees. Several applications of the resulting fast tree-field integrators (FTFIs) are presented, including (a) approximation of graph metrics with tree metrics, (b) graph classification, (c) modeling on meshes, and finally (d) Topological Transformers (TTs) (Choromanski et al., 2022) for images. For Topological Transformers, we propose new relative position encoding (RPE) masking mechanisms with as few as three extra learnable parameters per Transformer layer, leading to 1.0-1.5%+ accuracy gains. Importantly, most of FTFIs are exact methods, thus numerically equivalent to their brute-force counterparts. When applied to graphs with thousands of nodes, those exact algorithms provide 5.7-13x speedups. We also provide an extensive theoretical analysis of our methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google