DiverGen: Improving Instance Segmentation by Learning Wider Data Distribution with More Diverse Generative Data

要約

インスタンスのセグメンテーションはデータを大量に消費するため、モデルの容量が増加するにつれて、精度を向上させるためにデータのスケールが重要になります。
現在、ほとんどのインスタンス セグメンテーション データセットにはコストのかかる手動アノテーションが必要であり、データ スケールが制限されています。
このようなデータに基づいてトレーニングされたモデルは、特にそれらのまれなカテゴリの場合、トレーニング セットで過剰適合する傾向があります。
最近の研究では、生成モデルを活用してデータ拡張用の合成データセットを作成することが検討されていますが、これらのアプローチは生成モデルの可能性を最大限に効率的に活用しているわけではありません。
これらの問題に対処するために、DiverGen と呼ばれる、データ拡張のための生成データセットを構築するためのより効率的な戦略を導入します。
まず、生成データの役割を分布の不一致の観点から説明します。
モデルによって学習された分布に対するさまざまなデータの影響を調査します。
私たちは、生成データはモデルが学習できるデータ分布を拡張できるため、過剰適合を軽減できると主張します。
さらに、モデルのパフォーマンスを向上させるには生成データの多様性が重要であることがわかり、カテゴリーの多様性、プロンプトの多様性、生成モデルの多様性などのさまざまな戦略を通じて強化されます。
これらの戦略を使用すると、モデルのパフォーマンス向上の傾向を維持しながら、データを数百万件まで拡張できます。
LVIS データセットでは、DiverGen は強力なモデル X-Paste を大幅に上回り、すべてのカテゴリで +1.1 ボックス AP と +1.1 マスク AP、レア カテゴリでは +1.9 ボックス AP と +2.5 マスク AP を達成しました。

要約(オリジナル)

Instance segmentation is data-hungry, and as model capacity increases, data scale becomes crucial for improving the accuracy. Most instance segmentation datasets today require costly manual annotation, limiting their data scale. Models trained on such data are prone to overfitting on the training set, especially for those rare categories. While recent works have delved into exploiting generative models to create synthetic datasets for data augmentation, these approaches do not efficiently harness the full potential of generative models. To address these issues, we introduce a more efficient strategy to construct generative datasets for data augmentation, termed DiverGen. Firstly, we provide an explanation of the role of generative data from the perspective of distribution discrepancy. We investigate the impact of different data on the distribution learned by the model. We argue that generative data can expand the data distribution that the model can learn, thus mitigating overfitting. Additionally, we find that the diversity of generative data is crucial for improving model performance and enhance it through various strategies, including category diversity, prompt diversity, and generative model diversity. With these strategies, we can scale the data to millions while maintaining the trend of model performance improvement. On the LVIS dataset, DiverGen significantly outperforms the strong model X-Paste, achieving +1.1 box AP and +1.1 mask AP across all categories, and +1.9 box AP and +2.5 mask AP for rare categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google