Relative Overfitting and Accept-Reject Framework

要約

現在、大規模言語モデル(LLM)のスケーリング則は、課題とボトルネックに直面している。本稿では、限界収穫逓増下でのS/N比の変化に起因するノイズ効果が、これらの問題の根本原因であると仮定する。このノイズを制御するために、「相対的オーバーフィッティング」という概念を導入し、性能的に有利なモデルと不利なモデルの違いを調査した。両者の相互補完的な強みに基づき、モデル統合後の性能変化のパターンを解明するために、Accept-Reject(AR)という応用フレームワークと、このフレームワーク内で動作する関連AR法則を提案した。自然言語処理(NLP)では、LLMと小型言語モデル(SLM)を議論の媒体として使用する。このフレームワークにより、SLMは、直感的に予想される潜在的な負の影響ではなく、LLMの決定出力に普遍的な正の影響を及ぼすことが可能になる。我々は、基本的な言語モデリング、ロングコンテクスト課題、被験者試験、質問応答（QA）ベンチマークを含む複数のデータセットにおいて、主流のアーキテクチャに基づく自作モデルと、事前に訓練された主流のモデルを用いて、我々のアプローチを検証した。その結果、我々のフレームワークにより、LLMのパラメータを増加させるのに比べ、多くのシナリオにおいて、大幅に低いパラメータと計算コストで、より優れた性能向上を達成できることが実証された。これらの改善は普遍的で安定的かつ効果的である。さらに、コンピュータビジョン（CV）や科学のためのAIなど、他の機械学習領域における「相対的オーバーフィット」とARフレームワークの可能性を探る。我々は、提案するアプローチが、既存のボトルネックを克服するスケール法の一助となることを願っている。

要約(オリジナル)

Currently, the scaling law of Large Language Models (LLMs) faces challenges and bottlenecks. This paper posits that noise effects, stemming from changes in the signal-to-noise ratio under diminishing marginal returns, are the root cause of these issues. To control this noise, we investigated the differences between models with performance advantages and disadvantages, introducing the concept of ‘relative overfitting.’ Based on their complementary strengths, we have proposed an application framework, Accept-Reject (AR), and the associated AR Law, which operates within this framework to elucidate the patterns of performance changes after model integration. In Natural Language Processing (NLP), we use LLMs and Small Language Models (SLMs) as the medium for discussion. This framework enables SLMs to exert a universal positive influence on LLM decision outputs, rather than the intuitively expected potential negative influence. We validated our approach using self-built models based on mainstream architectures and pre-trained mainstream models across multiple datasets, including basic language modeling, long-context tasks, subject examination, and question-answering (QA) benchmarks. The results demonstrate that through our framework, compared to increasing the LLM’s parameters, we can achieve better performance improvements with significantly lower parameter and computational costs in many scenarios. These improvements are universal, stable, and effective. Furthermore, we explore the potential of ‘relative overfitting’ and the AR framework in other machine learning domains, such as computer vision (CV) and AI for science. We hope the proposed approach can help scale laws overcome existing bottlenecks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL