Rebalanced Zero-shot Learning

要約

ゼロショット学習 (ZSL) は、トレーニング中にゼロサンプルで未確認のクラスを識別することを目的としています。
大まかに言うと、現在の ZSL メソッドは通常、クラスレベルのセマンティックラベルを採用し、それらをインスタンスレベルのセマンティック予測と比較して、目に見えないクラスを推測します。
しかし、そのような既存のモデルは、ほとんどが不均衡なセマンティクス予測を生成することがわかりました。つまり、これらのモデルは、一部のセマンティクスに対しては正確に機能する可能性がありますが、他のセマンティクスに対しては機能しない可能性があります。
この欠点に対処するために、私たちは不均衡な学習フレームワークを ZSL に導入することを目指しています。
しかし、不均衡な ZSL には 2 つの特有の課題があることがわかりました。(1) その不均衡な予測は、従来の不均衡な学習で通常考慮されていたサンプル数ではなく、意味ラベルの値と高度に相関しています。
(2) 異なるセマンティクスは、クラス間でまったく異なるエラー分布に従います。
これらの問題を軽減するために、まず ZSL を不均衡回帰問題として形式化し、意味ラベルが不均衡な意味予測にどのようにつながるかを解釈するための経験的証拠を提供します。
次に、誤差分布の平均と分散を追跡し、クラス全体で再バランス学習を保証する、再バランス平均二乗誤差 (ReMSE) と呼ばれる再重み付け損失を提案します。
主な貢献として、ReMSE が理論的に十分に確立されていることを示す一連の分析を実施しました。
広範な実験により、提案された方法が意味予測の不均衡を効果的に軽減し、多くの最先端の ZSL 方法よりも優れた性能を発揮することが実証されました。
私たちのコードは https://github.com/FouriYe/ReZSL-TIP23 で入手できます。

要約(オリジナル)

Zero-shot learning (ZSL) aims to identify unseen classes with zero samples during training. Broadly speaking, present ZSL methods usually adopt class-level semantic labels and compare them with instance-level semantic predictions to infer unseen classes. However, we find that such existing models mostly produce imbalanced semantic predictions, i.e. these models could perform precisely for some semantics, but may not for others. To address the drawback, we aim to introduce an imbalanced learning framework into ZSL. However, we find that imbalanced ZSL has two unique challenges: (1) Its imbalanced predictions are highly correlated with the value of semantic labels rather than the number of samples as typically considered in the traditional imbalanced learning; (2) Different semantics follow quite different error distributions between classes. To mitigate these issues, we first formalize ZSL as an imbalanced regression problem which offers empirical evidences to interpret how semantic labels lead to imbalanced semantic predictions. We then propose a re-weighted loss termed Re-balanced Mean-Squared Error (ReMSE), which tracks the mean and variance of error distributions, thus ensuring rebalanced learning across classes. As a major contribution, we conduct a series of analyses showing that ReMSE is theoretically well established. Extensive experiments demonstrate that the proposed method effectively alleviates the imbalance in semantic prediction and outperforms many state-of-the-art ZSL methods. Our code is available at https://github.com/FouriYe/ReZSL-TIP23.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google