Tackling Data Bias in Painting Classification with Style Transfer

要約

絵画コレクションを対象とした分類器の学習は、ドメインギャップによるモデルの偏りや、芸術的スタイルの偏在によるデータの偏りにより、困難である。データ蒸留、伝統的なデータ増強、スタイル転送などの従来の技術は、タスクに特化した訓練データセットやドメイン適応を用いて分類器の学習を改善する。我々は、Kaokoreデータセットのような小さな絵画データセットにおけるデータの偏りを処理すると同時に、実世界の画像で学習したモデルを微調整する際にドメイン適応を考慮するシステムを提案する。本システムは、スタイル転送と分類の2つのステージから構成される。スタイル変換の段階では、一様にサンプリングされたコンテンツとスタイル画像を用いて、クラスごとにスタイル化された学習サンプルを生成し、ドメインごとにスタイル変換ネットワークを学習する。分類段階では、元の学習データセットとスタイル化された画像で学習する際に、注目層におけるスタイル層とコンテンツ層の有効性を解釈することができる。多数クラスと少数クラスにおける増強サンプルの割合を動的に変化させることで、モデル性能と収束のトレードオフを行うことができる。より少ない学習エポックとより少ない学習パラメータを持つ分類器により、SOTAと同等の結果を得ることができる。

要約(オリジナル)

It is difficult to train classifiers on paintings collections due to model bias from domain gaps and data bias from the uneven distribution of artistic styles. Previous techniques like data distillation, traditional data augmentation and style transfer improve classifier training using task specific training datasets or domain adaptation. We propose a system to handle data bias in small paintings datasets like the Kaokore dataset while simultaneously accounting for domain adaptation in fine-tuning a model trained on real world images. Our system consists of two stages which are style transfer and classification. In the style transfer stage, we generate the stylized training samples per class with uniformly sampled content and style images and train the style transformation network per domain. In the classification stage, we can interpret the effectiveness of the style and content layers at the attention layers when training on the original training dataset and the stylized images. We can tradeoff the model performance and convergence by dynamically varying the proportion of augmented samples in the majority and minority classes. We achieve comparable results to the SOTA with fewer training epochs and a classifier with fewer training parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL