BASiS: Batch Aligned Spectral Embedding Space

要約

タイトル：BASiS：バッチに整列されたスペクトル埋め込み空間

要約：

– グラフはほとんどすべてのデータ処理問題に適した汎用性の高い表現である。
– スペクトルグラフ理論は、堅固な線形代数理論に裏付けされた強力なアルゴリズムを提供することが示されているため、スペクトルグラフ特性を持つ深いネットワークビルディングブロックの設計に非常に有効である。
– 直近では、この問題を解決するための取り組みはレイリー商の種類の損失を最小化することに基づいていました。
– 私たちは直接的アプローチによる別のアプローチを提案しています。バッチ学習で適用される直接的なアプローチの深刻な問題の1つは、異なるバッチで特徴をスペクトル空間座標に不一致に写像することです。
– 私たちは、バッチを使用してこのタスクを学習する自由度を分析し、バッチの変更およびグラフメトリックの変化の両方で機能する安定した整列メカニズムを提案しています。
– 私たちの学習されたスペクトル埋め込みは、NMI、ACC、グラスマン距離、直交性および分類精度の観点から、SOTAと比較して優れています。さらに、学習はより安定しています。

要約(オリジナル)

Graph is a highly generic and diverse representation, suitable for almost any data processing problem. Spectral graph theory has been shown to provide powerful algorithms, backed by solid linear algebra theory. It thus can be extremely instrumental to design deep network building blocks with spectral graph characteristics. For instance, such a network allows the design of optimal graphs for certain tasks or obtaining a canonical orthogonal low-dimensional embedding of the data. Recent attempts to solve this problem were based on minimizing Rayleigh-quotient type losses. We propose a different approach of directly learning the eigensapce. A severe problem of the direct approach, applied in batch-learning, is the inconsistent mapping of features to eigenspace coordinates in different batches. We analyze the degrees of freedom of learning this task using batches and propose a stable alignment mechanism that can work both with batch changes and with graph-metric changes. We show that our learnt spectral embedding is better in terms of NMI, ACC, Grassman distance, orthogonality and classification accuracy, compared to SOTA. In addition, the learning is more stable.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI