A Coding-Theoretic Analysis of Hyperspherical Prototypical Learning Geometry

要約

Hyperspherical Prototypical Learning（HPL）は、ユニットハイパースフィアでクラスのプロトタイプを設計する表現学習に対する監視されたアプローチです。
プロトタイプは、スケールの不変および既知のジオメトリでのクラス分離への表現をバイアスします。
HPLへの以前のアプローチには、次の欠点のいずれかがあります。（i）それらは、原因のない最適化手順に従います。
または（ii）理論的には健全ですが、潜在的な寸法のみに制約されています。
この論文では、両方の欠点に対処します。
（i）に対処するために、ソリューションが最適であることを示す原則的な最適化手順を提示します。
（ii）に対処するために、線形ブロックコードを使用して、広範囲の寸法で適切に分離されたプロトタイプを構築します。
さらに、達成可能な境界と逆の境界に関して、最適なプロトタイプ配置の完全な特性評価を与え、提案された方法がほぼ最適であることを示しています。

要約(オリジナル)

Hyperspherical Prototypical Learning (HPL) is a supervised approach to representation learning that designs class prototypes on the unit hypersphere. The prototypes bias the representations to class separation in a scale invariant and known geometry. Previous approaches to HPL have either of the following shortcomings: (i) they follow an unprincipled optimisation procedure; or (ii) they are theoretically sound, but are constrained to only one possible latent dimension. In this paper, we address both shortcomings. To address (i), we present a principled optimisation procedure whose solution we show is optimal. To address (ii), we construct well-separated prototypes in a wide range of dimensions using linear block codes. Additionally, we give a full characterisation of the optimal prototype placement in terms of achievable and converse bounds, showing that our proposed methods are near-optimal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google