Hyperbolic Representation Learning: Revisiting and Advancing

要約

双曲空間の非ユークリッド幾何学は、最近、表現学習の分野で大きな注目を集めています。
双曲線表現における現在の取り組みは、基本的な階層が適応最適化プロセスを通じて自動的に推論および保存できることを主に前提としています。
ただし、この仮定には疑問があり、さらなる検証が必要です。
この研究では、まず、既存の一般的な \hlms を精査する位置追跡メカニズムを導入し、学習された表現が最適ではなく不十分であることを明らかにしました。
これに対処するために、ノードから原点までの双曲線距離から推定されるコストのかからない階層情報 (つまり、誘導双曲線ノルム) を組み込んで既存の \hlms を進歩させる、シンプルで効果的な方法である双曲線インフォームド埋め込み (HIE) を提案します。
提案された手法 HIE はタスクに依存せず、モデルに依存しないため、幅広いモデルやタスクとのシームレスな統合が可能です。
さまざまなモデルとさまざまなタスクにわたる広範な実験により、提案された方法の多用途性と適応性が実証されています。
驚くべきことに、私たちの方法は、競合するベースラインと比較して最大 21.4\% という顕著な改善を達成しました。

要約(オリジナル)

The non-Euclidean geometry of hyperbolic spaces has recently garnered considerable attention in the realm of representation learning. Current endeavors in hyperbolic representation largely presuppose that the underlying hierarchies can be automatically inferred and preserved through the adaptive optimization process. This assumption, however, is questionable and requires further validation. In this work, we first introduce a position-tracking mechanism to scrutinize existing prevalent \hlms, revealing that the learned representations are sub-optimal and unsatisfactory. To address this, we propose a simple yet effective method, hyperbolic informed embedding (HIE), by incorporating cost-free hierarchical information deduced from the hyperbolic distance of the node to origin (i.e., induced hyperbolic norm) to advance existing \hlms. The proposed method HIE is both task-agnostic and model-agnostic, enabling its seamless integration with a broad spectrum of models and tasks. Extensive experiments across various models and different tasks demonstrate the versatility and adaptability of the proposed method. Remarkably, our method achieves a remarkable improvement of up to 21.4\% compared to the competing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google