FisherMask: Enhancing Neural Network Labeling Efficiency in Image Classification Using Fisher Information

要約

ディープ ラーニング (DL) モデルは、その優れたパフォーマンスと効率により、さまざまな分野で人気があります。
ただし、その有効性は大量のラベル付きデータに大きく依存しており、手動で生成するには時間と労力がかかることがよくあります。
この課題を克服するには、モデルのパフォーマンスを維持しながら、大規模なラベル付きデータへの依存を減らす戦略を開発することが不可欠です。
この論文では、フィッシャー情報の値に基づいてマスクすることで主要なネットワーク パラメーターを特定する、フィッシャー情報ベースの能動学習 (AL) アプローチである FisherMask を提案します。
FisherMask は、フィッシャー情報を使用して最も重要なパラメーターを選択することでバッチ AL を強化し、AL トレーニング中に最も影響力のあるサンプルを特定できるようにします。
さらに、フィッシャー情報は有利な統計特性を備えており、モデルの動作に関する貴重な洞察を提供し、AL パイプライン内のパフォーマンス特性をより深く理解できるようになります。
私たちの広範な実験により、FisherMask は、特に不均衡な設定の下で、CIFAR-10 や FashionMNIST を含む多様なデータセットで最先端の手法よりも大幅に優れたパフォーマンスを発揮することが実証されました。
これらの改善により、標識効率が大幅に向上します。
したがって、データ サンプルに対するモデル パラメーターの感度を測定する効果的なツールとして機能します。
私たちのコードは \url{https://github.com/sgchr273/FisherMask} で入手できます。

要約(オリジナル)

Deep learning (DL) models are popular across various domains due to their remarkable performance and efficiency. However, their effectiveness relies heavily on large amounts of labeled data, which are often time-consuming and labor-intensive to generate manually. To overcome this challenge, it is essential to develop strategies that reduce reliance on extensive labeled data while preserving model performance. In this paper, we propose FisherMask, a Fisher information-based active learning (AL) approach that identifies key network parameters by masking them based on their Fisher information values. FisherMask enhances batch AL by using Fisher information to select the most critical parameters, allowing the identification of the most impactful samples during AL training. Moreover, Fisher information possesses favorable statistical properties, offering valuable insights into model behavior and providing a better understanding of the performance characteristics within the AL pipeline. Our extensive experiments demonstrate that FisherMask significantly outperforms state-of-the-art methods on diverse datasets, including CIFAR-10 and FashionMNIST, especially under imbalanced settings. These improvements lead to substantial gains in labeling efficiency. Hence serving as an effective tool to measure the sensitivity of model parameters to data samples. Our code is available on \url{https://github.com/sgchr273/FisherMask}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google