One-Shot Domain Incremental Learning

要約

ドメイン増分学習 (DIL) は、分類用のディープ ニューラル ネットワーク モデルに関する以前の研究で議論されています。
DIL では、新しいドメインのサンプルが時間の経過とともに観察されると想定しています。
モデルはすべてのドメインの入力を分類する必要があります。
ただし、実際には、新しいドメインのサンプルがまれにしか観察されないという制約の下で DIL を実行する必要がある状況に遭遇する可能性があります。
したがって、この研究では、新しいドメインからのサンプルが 1 つだけあるという極端なケース (ワンショット DIL と呼ばれます) を検討します。
まず、既存の DIL メソッドがワンショット DIL ではうまく機能しないことを経験的に示します。
私たちはさまざまな調査を通じてこの失敗の原因を分析しました。
私たちの分析によれば、ワンショット DIL の難しさはバッチ正規化層の統計によって引き起こされていることが明らかになりました。
そこで、これらの統計に関する手法を提案し、オープンデータセットでの実験を通じてその手法の有効性を実証します。

要約(オリジナル)

Domain incremental learning (DIL) has been discussed in previous studies on deep neural network models for classification. In DIL, we assume that samples on new domains are observed over time. The models must classify inputs on all domains. In practice, however, we may encounter a situation where we need to perform DIL under the constraint that the samples on the new domain are observed only infrequently. Therefore, in this study, we consider the extreme case where we have only one sample from the new domain, which we call one-shot DIL. We first empirically show that existing DIL methods do not work well in one-shot DIL. We have analyzed the reason for this failure through various investigations. According to our analysis, we clarify that the difficulty of one-shot DIL is caused by the statistics in the batch normalization layers. Therefore, we propose a technique regarding these statistics and demonstrate the effectiveness of our technique through experiments on open datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google