Revealing the Underlying Patterns: Investigating Dataset Similarity, Performance, and Generalization

要約

教師あり深層学習モデルでは、特定のタスクで許容可能なパフォーマンスを達成するには、大量のラベル付きデータが必要です。
ただし、目に見えないデータでテストすると、モデルのパフォーマンスが低下する可能性があります。
したがって、一般化を改善するには、追加のさまざまなラベル付きデータを使用してモデルをトレーニングする必要があります。
この作業における私たちの目標は、モデル、そのパフォーマンス、一般化を理解することです。
モデルの動作についての洞察を得るために、画像と画像、データセットとデータセット、および画像とデータセットの距離を確立します。
私たちが提案する距離メトリックをモデルのパフォーマンスと組み合わせると、候補アーキテクチャのプールから適切なモデル/アーキテクチャを選択するのに役立ちます。
私たちは、少数の未見の画像 (たとえば 1、3、または 7) をトレーニング セットに追加するだけで、これらのモデルの一般化を改善できることを示しました。
私たちが提案するアプローチは、動的環境における目に見えないデータに対するモデルのパフォーマンスの推定を提供しながら、トレーニングとアノテーションのコストを削減します。

要約(オリジナル)

Supervised deep learning models require significant amount of labelled data to achieve an acceptable performance on a specific task. However, when tested on unseen data, the models may not perform well. Therefore, the models need to be trained with additional and varying labelled data to improve the generalization. In this work, our goal is to understand the models, their performance and generalization. We establish image-image, dataset-dataset, and image-dataset distances to gain insights into the model’s behavior. Our proposed distance metric when combined with model performance can help in selecting an appropriate model/architecture from a pool of candidate architectures. We have shown that the generalization of these models can be improved by only adding a small number of unseen images (say 1, 3 or 7) into the training set. Our proposed approach reduces training and annotation costs while providing an estimate of model performance on unseen data in dynamic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google