Maximum Class Separation as Inductive Bias in One Matrix

要約

クラス間の分離を最大化することは、機械学習におけるよく知られた誘導バイアスであり、多くの従来のアルゴリズムの柱です。
デフォルトでは、ディープネットワークにはこの誘導バイアスが装備されていないため、差分最適化を通じて多くの代替ソリューションが提案されています。
現在のアプローチは、分類と分離を共同で最適化する傾向があります。入力をクラスベクトルに合わせ、クラスベクトルを角度的に分離します。
このホワイトペーパーでは、ソフトマックスアクティベーションを計算する前に、1つの固定行列乗算を追加することにより、ネットワーク内の誘導バイアスとして最大分離をエンコードするという単純な代替案を提案します。
私たちのアプローチの背後にある主な観察は、分離は最適化を必要としないが、トレーニングの前に閉じた形で解き、ネットワークに接続できるということです。
無視できるエンジニアリング作業と計算オーバーヘッドで追加できる、任意の数のクラスに対して最大限に分離可能なベクトルで構成される行列を取得するための再帰的アプローチの概要を説明します。
その単純な性質にもかかわらず、この1つの行列の乗算は実際の影響を与えます。
私たちの提案は、CIFARからImageNetまで、分類、ロングテール認識、分布外検出、および開集合認識を直接促進することを示しています。
経験的に、最大分離は固定バイアスとして最適に機能することがわかります。
マトリックスを学習可能にすることは、パフォーマンスに何も追加しません。
閉じた形式の実装と実験を再現するためのコードはgithubにあります。

要約(オリジナル)

Maximizing the separation between classes constitutes a well-known inductive bias in machine learning and a pillar of many traditional algorithms. By default, deep networks are not equipped with this inductive bias and therefore many alternative solutions have been proposed through differential optimization. Current approaches tend to optimize classification and separation jointly: aligning inputs with class vectors and separating class vectors angularly. This paper proposes a simple alternative: encoding maximum separation as an inductive bias in the network by adding one fixed matrix multiplication before computing the softmax activations. The main observation behind our approach is that separation does not require optimization but can be solved in closed-form prior to training and plugged into a network. We outline a recursive approach to obtain the matrix consisting of maximally separable vectors for any number of classes, which can be added with negligible engineering effort and computational overhead. Despite its simple nature, this one matrix multiplication provides real impact. We show that our proposal directly boosts classification, long-tailed recognition, out-of-distribution detection, and open-set recognition, from CIFAR to ImageNet. We find empirically that maximum separation works best as a fixed bias; making the matrix learnable adds nothing to the performance. The closed-form implementation and code to reproduce the experiments are on github.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google