CILIATE: Towards Fairer Class-based Incremental Learning by Dataset and Training Refinement

要約

タイトル：CILIATE：データセットとトレーニングの改良による、より公平なクラスベースのインクリメンタルラーニングへ

要約：

– モデルの老化問題により、Deep Neural Networks（DNN）は新しいデータ分布に合わせて調整するために更新が必要です。
– クラスベースのインクリメンタルラーニング（CIL）などの一般的な方法は、出力ラベルを更新することでモデルに新しいデータと少量の旧データを更新します。
– 既存の解決策が部分的にしか問題を解決できないので、CILはデータセットとアルゴリズムのバイアス問題に苦しんでいます。
– 著者らは、既存のCILで見落とされていたユニークで重要なサンプルを特定し、モデルがそれらから学ぶようにする新しい差分解析ガイド付きのデータセットとトレーニングの改良プロセスを特徴とするCILIATEフレームワークを提案しています。
– このプロセスにより、CILIATEはiCaRL、BiC、WAなどの最先端の方法に比べて、人気のある3つのデータセットと広く使用されているResNetモデルでの評価に基づいて、CILの公平性をそれぞれ17.03％、22.46％、31.79％改善します。

要約(オリジナル)

Due to the model aging problem, Deep Neural Networks (DNNs) need updates to adjust them to new data distributions. The common practice leverages incremental learning (IL), e.g., Class-based Incremental Learning (CIL) that updates output labels, to update the model with new data and a limited number of old data. This avoids heavyweight training (from scratch) using conventional methods and saves storage space by reducing the number of old data to store. But it also leads to poor performance in fairness. In this paper, we show that CIL suffers both dataset and algorithm bias problems, and existing solutions can only partially solve the problem. We propose a novel framework, CILIATE, that fixes both dataset and algorithm bias in CIL. It features a novel differential analysis guided dataset and training refinement process that identifies unique and important samples overlooked by existing CIL and enforces the model to learn from them. Through this process, CILIATE improves the fairness of CIL by 17.03%, 22.46%, and 31.79% compared to state-of-the-art methods, iCaRL, BiC, and WA, respectively, based on our evaluation on three popular datasets and widely used ResNet models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI