LTGC: Long-tail Recognition via Leveraging LLMs-driven Generated Content

要約

ロングテール認識は、モデルがテール カテゴリから適切な表現を学習し、すべてのカテゴリにわたる不均衡に対処する必要があるため、困難です。
この論文では、生成されたコンテンツを活用してロングテール認識を処理するための、新しい生成および微調整フレームワーク LTGC を提案します。
まず、大規模モデル (大規模言語モデル、LLM など) の豊富な暗黙的知識に触発され、LTGC はこれらのモデルの力を活用して、元の末尾データを解析および推論して、多様な末尾クラスのコンテンツを生成します。
次に、生成されたデータの品質を確保し、生成されたデータと元のデータの両方を使用してモデルを効率的に微調整するために、LTGC 用のいくつかの新しい設計を提案します。
この視覚化は、正確で多様なテール データを生成する LTGC の生成モジュールの有効性を示しています。
さらに、実験結果は、当社の LTGC が一般的なロングテール ベンチマークで既存の最先端の手法よりも優れていることを示しています。

要約(オリジナル)

Long-tail recognition is challenging because it requires the model to learn good representations from tail categories and address imbalances across all categories. In this paper, we propose a novel generative and fine-tuning framework, LTGC, to handle long-tail recognition via leveraging generated content. Firstly, inspired by the rich implicit knowledge in large-scale models (e.g., large language models, LLMs), LTGC leverages the power of these models to parse and reason over the original tail data to produce diverse tail-class content. We then propose several novel designs for LTGC to ensure the quality of the generated data and to efficiently fine-tune the model using both the generated and original data. The visualization demonstrates the effectiveness of the generation module in LTGC, which produces accurate and diverse tail data. Additionally, the experimental results demonstrate that our LTGC outperforms existing state-of-the-art methods on popular long-tailed benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google