FIRAL: An Active Learning Algorithm for Multinomial Logistic Regression

要約

私たちは、多項ロジスティック回帰を使用したマルチクラス分類のためのプールベースのアクティブラーニングの理論とアルゴリズムを調査します。
有限サンプル分析を使用して、フィッシャー情報比 (FIR) が過剰リスクの下限と上限であることを証明します。
理論的分析に基づいて、FIR を最小化するためにリグレス最小化を採用するアクティブ ラーニング アルゴリズムを提案します。
導出した超過リスク限界を検証するために、合成データセットで実験を実施します。
さらに、FIRAL を他の 5 つの方法と比較したところ、私たちのスキームがそれらよりも優れていることがわかりました。MNIST、CIFAR-10、および 50 クラスの ImageNet での実験を通じて実証されたように、このスキームは、マルチクラス ロジスティック回帰設定で一貫して最小の分類誤差を生成します。

要約(オリジナル)

We investigate theory and algorithms for pool-based active learning for multiclass classification using multinomial logistic regression. Using finite sample analysis, we prove that the Fisher Information Ratio (FIR) lower and upper bounds the excess risk. Based on our theoretical analysis, we propose an active learning algorithm that employs regret minimization to minimize the FIR. To verify our derived excess risk bounds, we conduct experiments on synthetic datasets. Furthermore, we compare FIRAL with five other methods and found that our scheme outperforms them: it consistently produces the smallest classification error in the multiclass logistic regression setting, as demonstrated through experiments on MNIST, CIFAR-10, and 50-class ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google