Simplifying the Theory on Over-Smoothing

要約

グラフ畳み込みは、不規則な幾何学的構造を持つデータを効率的に操作できるため、人気が高まっています。
ただし、グラフの畳み込みは過度の平滑化を引き起こします。これは、深さが増すにつれて表現がより類似することを指します。
しかし、現在では多くの異なる定義と直観が共存しており、相容れない方向に焦点を当てた研究努力が行われています。
この論文は、過度の平滑化がべき乗反復の単なる特殊なケースであることを示すことによって、これらの方向性を調整しようとします。
これにより、過剰平滑化に関する既存の理論が大幅に単純化され、より理解しやすくなります。
この理論に基づいて、過剰平滑化の一般化された形式としてランク崩壊の新しい包括的な定義を提供し、対応するメトリックとしてランク 1 距離を導入します。
一般的に使用されている 14 の方法を経験的に評価したところ、以前に知られていたよりも多くのモデルがこの問題に悩まされていることがわかりました。

要約(オリジナル)

Graph convolutions have gained popularity due to their ability to efficiently operate on data with an irregular geometric structure. However, graph convolutions cause over-smoothing, which refers to representations becoming more similar with increased depth. However, many different definitions and intuitions currently coexist, leading to research efforts focusing on incompatible directions. This paper attempts to align these directions by showing that over-smoothing is merely a special case of power iteration. This greatly simplifies the existing theory on over-smoothing, making it more accessible. Based on the theory, we provide a novel comprehensive definition of rank collapse as a generalized form of over-smoothing and introduce the rank-one distance as a corresponding metric. Our empirical evaluation of 14 commonly used methods shows that more models than were previously known suffer from this issue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google