Equiangular Basis Vectors

要約

【タイトル】Equiangular Basis Vectors （等角基底ベクトル）

【要約】
– 本論文では、分類のための等角基底ベクトル（EBVs）が提案されている
– ディープニューラルネットワークでは、通常、全結合層とソフトマックスを使用して、異なる分類タスクを扱う
– 学習目的は、学習された特徴表現をサンプルのラベル空間にマッピングすることである
– 一方、メトリック学習アプローチでは、主要な目的は、トレーニングデータポイントを元の空間から類似した点が近く、似ていない点が遠くなる新しい空間にマップする変換関数を学習することである
– EBVsは、従来の方法とは異なり、事前に定義された正規化されたベクトル埋め込みとして生成され、お互いの間で同等のステータスである必要があるだけでなく、可能な限り直交する必要がある
– 訓練中に、入力の埋め込みとカテゴリーごとのEBVの球面距離を最小にすることにより、推論時に最も距離が近いカテゴリーごとのEBVを識別することができる
– ImageNet-1Kデータセットや他のタスクでの実験により、EBVsは一般的な全結合分類器を凌駕し、従来のメトリック学習法と比較して大幅な追加計算を導入しないことが示された
– EBVsは2022 DIGIX Global AI Challengeで1位を獲得し、コードはオープンソースであり、https://github.com/NJUST-VIPGroup/Equiangular-Basis-Vectorsで入手可能である

要約(オリジナル)

We propose Equiangular Basis Vectors (EBVs) for classification tasks. In deep neural networks, models usually end with a k-way fully connected layer with softmax to handle different classification tasks. The learning objective of these methods can be summarized as mapping the learned feature representations to the samples’ label space. While in metric learning approaches, the main objective is to learn a transformation function that maps training data points from the original space to a new space where similar points are closer while dissimilar points become farther apart. Different from previous methods, our EBVs generate normalized vector embeddings as ‘predefined classifiers’ which are required to not only be with the equal status between each other, but also be as orthogonal as possible. By minimizing the spherical distance of the embedding of an input between its categorical EBV in training, the predictions can be obtained by identifying the categorical EBV with the smallest distance during inference. Various experiments on the ImageNet-1K dataset and other downstream tasks demonstrate that our method outperforms the general fully connected classifier while it does not introduce huge additional computation compared with classical metric learning methods. Our EBVs won the first place in the 2022 DIGIX Global AI Challenge, and our code is open-source and available at https://github.com/NJUST-VIPGroup/Equiangular-Basis-Vectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI