A Coding-Theoretic Analysis of Hyperspherical Prototypical Learning Geometry

要約

超球プロトタイプ学習 (HPL) は、単位超球上でクラス プロトタイプを設計する表現学習への教師ありアプローチです。
プロトタイプは、スケール不変および既知の幾何学におけるクラス分離に対して表現をバイアスします。
HPL へのこれまでのアプローチには、次のいずれかの欠点があります。(i) 原則に従わない最適化手順に従います。
または、(ii) 理論的には健全ですが、考えられる潜在的な次元が 1 つだけに制限されています。
このホワイトペーパーでは、両方の欠点について説明します。
(i) に対処するために、原理に基づいた最適化手順を提示します。その解決策が最適であることを示します。
(ii) に対処するために、線形ブロック コードを使用して、広範囲の次元で十分に分離されたプロトタイプを構築します。
さらに、達成可能な限界とその逆の限界の観点から、最適なプロトタイプ配置の完全な特徴付けを行い、提案した方法が最適に近いことを示します。

要約(オリジナル)

Hyperspherical Prototypical Learning (HPL) is a supervised approach to representation learning that designs class prototypes on the unit hypersphere. The prototypes bias the representations to class separation in a scale invariant and known geometry. Previous approaches to HPL have either of the following shortcomings: (i) they follow an unprincipled optimisation procedure; or (ii) they are theoretically sound, but are constrained to only one possible latent dimension. In this paper, we address both shortcomings. To address (i), we present a principled optimisation procedure whose solution we show is optimal. To address (ii), we construct well-separated prototypes in a wide range of dimensions using linear block codes. Additionally, we give a full characterisation of the optimal prototype placement in terms of achievable and converse bounds, showing that our proposed methods are near-optimal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google