Neural Algorithmic Reasoning for Hypergraphs with Looped Transformers

要約

ループトランスフォーマーは、伝統的なグラフアルゴリズムをシミュレートする上で、卓越したニューラルアルゴリズム推論能力を示してきたが、ハイパーグラフのようなより複雑な構造への応用は未解明である。ハイパーグラフは、複数のエンティティ間の高次の関係をモデル化することでグラフを一般化し、より豊かな表現を可能にするが、計算上の大きな課題をもたらす。本研究では、Loop Transformerアーキテクチャのニューラル・アルゴリズム推論機能を拡張し、ハイパーグラフ・アルゴリズムをシミュレートすることで、ニューラル・ネットワークとハイパーグラフ上の組合せ最適化との間のギャップに対処する。具体的には、ハイパーグラフをグラフ表現に還元する新しい分解メカニズムを提案し、ダイクストラの最短経路のようなグラフベースのアルゴリズムのシミュレーションを可能にする。さらに、Hellyのアルゴリズムに代表される、ハイパーグラフに特化したアルゴリズムをシミュレーションするために、ハイパーページを考慮した符号化スキームを導入する。これらのシミュレーションの理論的保証を確立し、ループトランスフォーマーを用いた高次元データや組合せデータの処理の実現可能性を示す。この研究は、構造化データのための汎用アルゴリズムソルバとしてのTransformersの可能性を強調している。

要約(オリジナル)

Looped Transformers have shown exceptional neural algorithmic reasoning capability in simulating traditional graph algorithms, but their application to more complex structures like hypergraphs remains underexplored. Hypergraphs generalize graphs by modeling higher-order relationships among multiple entities, enabling richer representations but introducing significant computational challenges. In this work, we extend the Loop Transformer architecture’s neural algorithmic reasoning capability to simulate hypergraph algorithms, addressing the gap between neural networks and combinatorial optimization over hypergraphs. Specifically, we propose a novel degradation mechanism for reducing hypergraphs to graph representations, enabling the simulation of graph-based algorithms, such as Dijkstra’s shortest path. Furthermore, we introduce a hyperedge-aware encoding scheme to simulate hypergraph-specific algorithms, exemplified by Helly’s algorithm. We establish theoretical guarantees for these simulations, demonstrating the feasibility of processing high-dimensional and combinatorial data using Loop Transformers. This work highlights the potential of Transformers as general-purpose algorithmic solvers for structured data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL