An Architectural Approach to Enhance Deep Long-Tailed Learning

要約

深いロングテール認識は、現実世界のシナリオにおける不均衡なデータ分布の問題に対処するために広く研究されてきました。
しかし、アーキテクチャがパフォーマンスに大きな影響を与える可能性があることを示唆する経験的証拠にもかかわらず、ニューラル アーキテクチャの設計には十分な焦点が当てられていませんでした。
このペーパーでは、アーキテクチャの改善を通じて長期にわたる問題の軽減を試みます。
設計プロセスを簡素化するために、Differential Architecture Search (DARTS) を利用してこの目標を達成します。
残念ながら、既存の DARTS 手法はロングテール シナリオではうまく機能しません。
この課題に取り組むために、Long Tailed Differential Architecture Search (LTDAS) を導入します。
具体的には、ロングテールデータでより優れたパフォーマンスを実証するアーキテクチャコンポーネントを探索するために広範な実験を実施し、観察に基づいて新しい検索空間を提案します。
これにより、検索プロセスを通じて取得されたアーキテクチャに優れたコンポーネントが組み込まれていることが保証されます。
さらに、方法をさらに強化するために、学習可能な線形分類器を等角タイトフレーム (ETF) 分類器に置き換えることを提案します。
この分類子は、偏った検索プロセスを効果的に軽減し、パフォーマンスの低下を防ぎます。
広範な実験評価により、私たちのアプローチが直交的な観点から既存の方法を一貫して改善し、簡単な機能強化で最先端の結果が得られることが実証されています。

要約(オリジナル)

Deep long-tailed recognition has been widely studied to address the issue of imbalanced data distributions in real-world scenarios. However, there has been insufficient focus on the design of neural architectures, despite empirical evidence suggesting that architecture can significantly impact performance. In this paper, we attempt to mitigate long-tailed issues through architectural improvements. To simplify the design process, we utilize Differential Architecture Search (DARTS) to achieve this goal. Unfortunately, existing DARTS methods struggle to perform well in long-tailed scenarios. To tackle this challenge, we introduce Long-Tailed Differential Architecture Search (LTDAS). Specifically, we conduct extensive experiments to explore architectural components that demonstrate better performance on long-tailed data and propose a new search space based on our observations. This ensures that the architecture obtained through our search process incorporates superior components. Additionally, we propose replacing the learnable linear classifier with an Equiangular Tight Frame (ETF) classifier to further enhance our method. This classifier effectively alleviates the biased search process and prevents performance collapse. Extensive experimental evaluations demonstrate that our approach consistently improves upon existing methods from an orthogonal perspective and achieves state-of-the-art results with simple enhancements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google