Towards Understanding the Effect of Pretraining Label Granularity

要約

このホワイト ペーパーでは、事前トレーニング ラベルの粒度が、画像分類タスクにおけるディープ ニューラル ネットワークの一般化にどのように影響するかを調べます。
事前トレーニング ラベルがターゲット問題のラベルよりもきめ細かく設定されている「細かいから粗い」転移学習設定に焦点を当てています。
iNaturalist 2021 のラベル階層を使用してこの方法を実験したところ、ベースラインよりもエラー率が 8.76% 相対的に改善されていることがわかりました。
次の条件が改善の鍵であることがわかりました。1) 事前トレーニング データセットに強力で意味のあるラベル階層があること、2) そのラベル関数がターゲット タスクのラベル機能と強く一致していること、そして最も重要なのは、3) 適切なレベルの事前トレーニング ラベルがあることです。
粒度が選択されます。
ラベルの粒度を事前トレーニングすることの重要性は、ImageNet での転移学習実験によってさらに裏付けられています。
最も注目すべきは、ImageNet21k のリーフ ラベルでの事前トレーニングが、他のより粗い粒度レベルでの事前トレーニングよりも ImageNet1k でより良い転送結果を生成することを示しており、これは一般的な慣行をサポートしています。
理論的には、2 層の畳み込み ReLU ネットワークでの分析を通じて、次のことを証明します。
2) データセットが適切な条件を満たしている場合、きめの細かい事前トレーニングにより、モデルはまれな機能や「学習しにくい」機能も適切に学習するようになり、モデルの一般化が改善されます。

要約(オリジナル)

In this paper, we study how pretraining label granularity affects the generalization of deep neural networks in image classification tasks. We focus on the ‘fine-to-coarse’ transfer learning setting where the pretraining label is more fine-grained than that of the target problem. We experiment with this method using the label hierarchy of iNaturalist 2021, and observe a 8.76% relative improvement of the error rate over the baseline. We find the following conditions are key for the improvement: 1) the pretraining dataset has a strong and meaningful label hierarchy, 2) its label function strongly aligns with that of the target task, and most importantly, 3) an appropriate level of pretraining label granularity is chosen. The importance of pretraining label granularity is further corroborated by our transfer learning experiments on ImageNet. Most notably, we show that pretraining at the leaf labels of ImageNet21k produces better transfer results on ImageNet1k than pretraining at other coarser granularity levels, which supports the common practice. Theoretically, through an analysis on a two-layer convolutional ReLU network, we prove that: 1) models trained on coarse-grained labels only respond strongly to the common or ‘easy-to-learn’ features; 2) with the dataset satisfying the right conditions, fine-grained pretraining encourages the model to also learn rarer or ‘harder-to-learn’ features well, thus improving the model’s generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google