Building Neural Networks on Matrix Manifolds: A Gyrovector Space Approach

要約

タイトル：行列多様体上でのニューラルネットワークの構築: ジャイロベクトル空間アプローチ
要約：Symmetric Positive Definite(SPD)行列多様体やGrassmann多様体のような行列多様体は、多くのアプリケーションで現れる。しかし、これらの多様体のためのジャイロベクトル空間において必要となる内積やジャイロ角度といった概念が欠けているため、これまでハイパーボリックジオメトリーの研究に比べて技術や数学的ツールが限られていた。本論文では、SPD多様体やGrassmann多様体においてジャイロベクトル空間の概念を一般化し、これらの多様体でニューラルネットワークを構築する新しいモデルとレイヤーを提案している。提案手法を、人間のアクション認識および知識グラフ完成の2つのアプリケーションで有効性を示している。

– 行列多様体におけるジャイロベクトル空間には、必要な概念が欠けるため、これまでの研究では技術や数学的ツールが限られていた。
– 本論文ではSPD多様体やGrassmann多様体においてジャイロベクトル空間の概念を一般化し、ニューラルネットワークの構築に新しいモデルとレイヤーを提案している。
– 本研究の手法を、人間のアクション認識および知識グラフ完成の2つのアプリケーションで評価し、有効性を示している。

要約(オリジナル)

Matrix manifolds, such as manifolds of Symmetric Positive Definite (SPD) matrices and Grassmann manifolds, appear in many applications. Recently, by applying the theory of gyrogroups and gyrovector spaces that is a powerful framework for studying hyperbolic geometry, some works have attempted to build principled generalizations of Euclidean neural networks on matrix manifolds. However, due to the lack of many concepts in gyrovector spaces for the considered manifolds, e.g., the inner product and gyroangles, techniques and mathematical tools provided by these works are still limited compared to those developed for studying hyperbolic geometry. In this paper, we generalize some notions in gyrovector spaces for SPD and Grassmann manifolds, and propose new models and layers for building neural networks on these manifolds. We show the effectiveness of our approach in two applications, i.e., human action recognition and knowledge graph completion.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI