What makes a good feedforward computational graph?

要約

グラフの再配線に関する多数の文献で暗示されているように、ニューラルネットワークで採用されている計算グラフの選択は、その下流のパフォーマンスに大きな影響を与える可能性があります。
計算グラフに関連する特定の効果は、到達していることや過度のスケッシングなど、特定の機能を学習できないモデルをレンダリングすることさえあります。
これらの効果のほとんどは、無向グラフのドメインでのみ徹底的に研究されています。
しかし、近年、フィードフォワードの計算グラフに関心が大きく増加しています。バックエッジのない指示グラフです。
この論文では、フィードフォワード計算グラフの望ましい特性を研究し、忠実度と混合時間の2つの重要な補完的な測定値を発見し、これらの測定のレンズを通してグラフのいくつかの一般的な選択を評価します。
私たちの研究は、さまざまなグラフのメトリックの漸近挙動の理論的分析の両方に裏付けられており、これらのメトリックを対応するグラフを使用して訓練されたニューラルネットワークモデルのパフォーマンスと相関させます。

要約(オリジナル)

As implied by the plethora of literature on graph rewiring, the choice of computational graph employed by a neural network can make a significant impact on its downstream performance. Certain effects related to the computational graph, such as under-reaching and over-squashing, may even render the model incapable of learning certain functions. Most of these effects have only been thoroughly studied in the domain of undirected graphs; however, recent years have seen a significant rise in interest in feedforward computational graphs: directed graphs without any back edges. In this paper, we study the desirable properties of a feedforward computational graph, discovering two important complementary measures: fidelity and mixing time, and evaluating a few popular choices of graphs through the lens of these measures. Our study is backed by both theoretical analyses of the metrics’ asymptotic behaviour for various graphs, as well as correlating these metrics to the performance of trained neural network models using the corresponding graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google