BASiS: Batch Aligned Spectral Embedding Space

要約

グラフは非常に一般的で多様な表現であり、ほとんどすべてのデータ処理の問題に適しています。
スペクトル グラフ理論は、堅実な線形代数理論に裏打ちされた強力なアルゴリズムを提供することが示されています。
したがって、スペクトル グラフ特性を備えたディープ ネットワーク ビルディング ブロックを設計することは非常に役立ちます。
たとえば、このようなネットワークを使用すると、特定のタスクに最適なグラフを設計したり、データの標準直交低次元埋め込みを取得したりできます。
この問題を解決するための最近の試みは、レイリー商タイプの損失を最小限に抑えることに基づいていました。
固有空間を直接学習する別のアプローチを提案します。
バッチ学習に適用される直接的なアプローチの深刻な問題は、異なるバッチで固有空間座標への特徴のマッピングに一貫性がないことです。
バッチを使用してこのタスクを学習する自由度を分析し、バッチの変更とグラフメトリックの変更の両方で機能する安定したアライメントメカニズムを提案します。
学習したスペクトル埋め込みは、SOTA と比較して、NMI、ACC、グラスマン距離、直交性、および分類精度の点で優れていることを示します。
さらに、学習はより安定しています。

要約(オリジナル)

Graph is a highly generic and diverse representation, suitable for almost any data processing problem. Spectral graph theory has been shown to provide powerful algorithms, backed by solid linear algebra theory. It thus can be extremely instrumental to design deep network building blocks with spectral graph characteristics. For instance, such a network allows the design of optimal graphs for certain tasks or obtaining a canonical orthogonal low-dimensional embedding of the data. Recent attempts to solve this problem were based on minimizing Rayleigh-quotient type losses. We propose a different approach of directly learning the eigensapce. A severe problem of the direct approach, applied in batch-learning, is the inconsistent mapping of features to eigenspace coordinates in different batches. We analyze the degrees of freedom of learning this task using batches and propose a stable alignment mechanism that can work both with batch changes and with graph-metric changes. We show that our learnt spectral embedding is better in terms of NMI, ACC, Grassman distance, orthogonality and classification accuracy, compared to SOTA. In addition, the learning is more stable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google