The Value of Out-of-Distribution Data

要約

汎化誤差は、同様のタスクからのサンプルが増えると改善され、分布外 (OOD) タスクからのサンプルが増えると悪化すると予想されます。
この研究では、直観に反する現象を示します。タスクの汎化誤差は、OOD サンプル数の非単調関数になる可能性があります。
OOD サンプルの数が増加すると、ターゲット タスクの汎化誤差は、しきい値を超えて悪化する前に改善されます。
言い換えれば、少量の OOD データをトレーニングすることに価値があります。
この現象を実証および分析するために、MNIST、CIFAR-10、CINIC-10、PACS、DomainNet などのコンピューター ビジョン ベンチマーク上の合成データセットとディープ ネットワークに対してフィッシャーの線形判別式を使用します。
どのサンプルが OOD であるかがわかっている理想的な設定では、ターゲットと OOD の経験的リスクの適切に重み付けされた目的を使用して、これらの非単調な傾向を利用できることを示します。
実際の有用性は限られていますが、これは、OOD サンプルを検出できれば、そこから利益を得る方法があるかもしれないことを示唆しています。
どのサンプルが OOD であるかわからない場合、データ拡張、ハイパーパラメーターの最適化、事前トレーニングなどの多くの主要な戦略だけでは、ターゲットの汎化誤差が劣化しないようにするには十分ではないことを示します。
データセット内の OOD サンプルの数。

要約(オリジナル)

We expect the generalization error to improve with more samples from a similar task, and to deteriorate with more samples from an out-of-distribution (OOD) task. In this work, we show a counter-intuitive phenomenon: the generalization error of a task can be a non-monotonic function of the number of OOD samples. As the number of OOD samples increases, the generalization error on the target task improves before deteriorating beyond a threshold. In other words, there is value in training on small amounts of OOD data. We use Fisher’s Linear Discriminant on synthetic datasets and deep networks on computer vision benchmarks such as MNIST, CIFAR-10, CINIC-10, PACS and DomainNet to demonstrate and analyze this phenomenon. In the idealistic setting where we know which samples are OOD, we show that these non-monotonic trends can be exploited using an appropriately weighted objective of the target and OOD empirical risk. While its practical utility is limited, this does suggest that if we can detect OOD samples, then there may be ways to benefit from them. When we do not know which samples are OOD, we show how a number of go-to strategies such as data-augmentation, hyper-parameter optimization, and pre-training are not enough to ensure that the target generalization error does not deteriorate with the number of OOD samples in the dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google