Domain-knowledge Inspired Pseudo Supervision (DIPS) for Unsupervised Image-to-Image Translation Models to Support Cross-Domain Classification

要約

画像を分類できるかどうかは、大規模なラベル付きデータセットへのアクセスと、モデルのトレーニングに使用できる同じドメインのデータに対するテストに依存します。
異なるドメインからの新しいデータを扱う場合、分類はより困難になります。分類モデルを再トレーニングするために大規模な画像データセットを収集し、特にラベルを付けるには、多大な労力を要する人的労力が必要になります。
クロスドメイン分類フレームワークは、教師なし画像間変換モデルを利用して入力画像をラベルなしドメインからラベル付きドメインに変換することで、このデータ ドメイン シフト問題に対処するために開発されました。
これらの教師なしモデルの問題は、教師なしの性質にあります。
注釈がないため、従来の教師ありメトリクスを使用してこれらの変換モデルを評価し、最も保存されたチェックポイント モデルを選択することはできません。
このペーパーでは、ドメイン情報を活用したガウス混合モデルを利用して疑似アノテーションを生成し、従来の教師ありメトリクスの使用を可能にする、ドメイン知識に基づく擬似監視 (DIPS) と呼ばれる新しい方法を紹介します。
この方法は、人間の目の観点から生成された画像の品質の観点からモデルを評価するために設計された FID などの他の一般的に使用されるメトリクスとは対照的に、クロスドメイン分類アプリケーションをサポートするために特別に設計されました。
DIPS は、最適な保存済みチェックポイント モデルを選択する際に、FID を含むさまざまな GAN 評価指標を上回るパフォーマンスを発揮することで、その有効性を証明します。
また、真に監視されたメトリクスに対しても評価されます。
さらに、DIPS は、真に監視されたメトリクスとの強い相関関係を実証することでその堅牢性と解釈可能性を示し、既存の最先端の代替手段に対するその優位性を強調しています。
結果を再現するコードとデータは、公式 Github リポジトリ: https://github.com/Hindawi91/DIPS にあります。

要約(オリジナル)

The ability to classify images is dependent on having access to large labeled datasets and testing on data from the same domain that the model can train on. Classification becomes more challenging when dealing with new data from a different domain, where gathering and especially labeling a larger image dataset for retraining a classification model requires a labor-intensive human effort. Cross-domain classification frameworks were developed to handle this data domain shift problem by utilizing unsupervised image-to-image translation models to translate an input image from the unlabeled domain to the labeled domain. The problem with these unsupervised models lies in their unsupervised nature. For lack of annotations, it is not possible to use the traditional supervised metrics to evaluate these translation models to pick the best-saved checkpoint model. This paper introduces a new method called Domain-knowledge Inspired Pseudo Supervision (DIPS) which utilizes domain-informed Gaussian Mixture Models to generate pseudo annotations to enable the use of traditional supervised metrics. This method was designed specifically to support cross-domain classification applications contrary to other typically used metrics such as the FID which were designed to evaluate the model in terms of the quality of the generated image from a human-eye perspective. DIPS proves its effectiveness by outperforming various GAN evaluation metrics, including FID, when selecting the optimal saved checkpoint model. It is also evaluated against truly supervised metrics. Furthermore, DIPS showcases its robustness and interpretability by demonstrating a strong correlation with truly supervised metrics, highlighting its superiority over existing state-of-the-art alternatives. The code and data to replicate the results can be found on the official Github repository: https://github.com/Hindawi91/DIPS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google