Transfer Knowledge from Head to Tail: Uncertainty Calibration under Long-tailed Distribution

要約

タイトル： ヘッドからテールへの知識の転移：長尾分布下での不確実性のキャリブレーション

要約：
– モデルの不確実性をどのように推定するかは、重要な問題です。
– 現在のキャリブレーション技術は、異なるクラスを等しく扱い、トレーニングデータの分布がバランスしていると暗黙のうちに想定しているため、実際の世界のデータはしばしば長尾分布に従うことを無視しています。
– この論文では、長尾分布からトレーニングされたモデルのキャリブレーションの問題を探究しています。
– トレーニング分布とテスト分布がバランスしていないため、温度スケーリングなどの既存のキャリブレーション方法はこの問題に対して一般化されないことがあります。
– ドメイン適応のための特定のキャリブレーション方法も、使用できないラベルなしのターゲットドメインのインスタンスに依存しています。
– 長尾分布からトレーニングされたモデルは、ヘッドクラスに対して過信傾向がある傾向があります。
– これを解決するために、私たちは、長尾分布上でキャリブレーションを実現するために、テールクラスのサンプルの重要性重みを推定する新しい知識転移ベースのキャリブレーション方法を提案しています。
– 私たちの方法は、各クラスの分布をガウス分布としてモデリングし、ヘッドクラスのソース統計を先行分布として見なし、テールクラスのターゲット分布をキャリブレーションします。
– 我々は、ヘッドクラスから知識を自動的に転送して、テールクラスのターゲット確率密度を取得します。
– 重要性重みは、ソース確率密度に対するターゲット確率密度の比で推定されます。
– CIFAR-10-LT、MNIST-LT、CIFAR-100-LT、ImageNet-LTのデータセットでの詳細な実験により、私たちの方法の有効性が示されました。

要約(オリジナル)

How to estimate the uncertainty of a given model is a crucial problem. Current calibration techniques treat different classes equally and thus implicitly assume that the distribution of training data is balanced, but ignore the fact that real-world data often follows a long-tailed distribution. In this paper, we explore the problem of calibrating the model trained from a long-tailed distribution. Due to the difference between the imbalanced training distribution and balanced test distribution, existing calibration methods such as temperature scaling can not generalize well to this problem. Specific calibration methods for domain adaptation are also not applicable because they rely on unlabeled target domain instances which are not available. Models trained from a long-tailed distribution tend to be more overconfident to head classes. To this end, we propose a novel knowledge-transferring-based calibration method by estimating the importance weights for samples of tail classes to realize long-tailed calibration. Our method models the distribution of each class as a Gaussian distribution and views the source statistics of head classes as a prior to calibrate the target distributions of tail classes. We adaptively transfer knowledge from head classes to get the target probability density of tail classes. The importance weight is estimated by the ratio of the target probability density over the source probability density. Extensive experiments on CIFAR-10-LT, MNIST-LT, CIFAR-100-LT, and ImageNet-LT datasets demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI