Task-conditioned Ensemble of Expert Models for Continuous Learning

要約

機械学習における主要な課題の1つは、非定常環境で展開モデル（分類器など）の精度を維持することです。
非定常環境は、分布のシフトをもたらし、その結果、精度が低下します。
新しいデータを使用して展開されたモデルを継続的に学習することは、1つの救済策になる可能性があります。
ただし、新しいトレーニングデータでモデルを更新する方法について疑問が生じ、新しいデータに適応しながら古いデータの精度を保持するようにします。
この作業では、既存のモデルのパフォーマンスを維持するために、モデルのタスク条件付きアンサンブルを提案します。
この方法には、タスクメンバーシップ情報に基づいたエキスパートモデルのアンサンブルが含まれます。
ローカルの外れ値の概念（エキスパートモデルとは異なる）に基づくドメイン内モデルは、各プローブサンプルに実行時に動的にタスクメンバーシップ情報を提供します。
提案された方法を評価するために、3つのセットアップを実験します。1つ目はタスク間の分布シフト（Livdet-IRIS-2017）を表し、2つ目はタスク間と内側（livdet-iris-2020）の両方の分布シフトを表し、3番目はタスク間の分離分布を表します（スプリットMnist）。
実験は、提案された方法の利点を強調しています。
ソースコードは、https：//github.com/iprobe-lab/continuous_learning_fe_dmで入手できます。

要約(オリジナル)

One of the major challenges in machine learning is maintaining the accuracy of the deployed model (e.g., a classifier) in a non-stationary environment. The non-stationary environment results in distribution shifts and, consequently, a degradation in accuracy. Continuous learning of the deployed model with new data could be one remedy. However, the question arises as to how we should update the model with new training data so that it retains its accuracy on the old data while adapting to the new data. In this work, we propose a task-conditioned ensemble of models to maintain the performance of the existing model. The method involves an ensemble of expert models based on task membership information. The in-domain models-based on the local outlier concept (different from the expert models) provide task membership information dynamically at run-time to each probe sample. To evaluate the proposed method, we experiment with three setups: the first represents distribution shift between tasks (LivDet-Iris-2017), the second represents distribution shift both between and within tasks (LivDet-Iris-2020), and the third represents disjoint distribution between tasks (Split MNIST). The experiments highlight the benefits of the proposed method. The source code is available at https://github.com/iPRoBe-lab/Continuous_Learning_FE_DM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google