Relative Overfitting and Accept-Reject Framework

要約

現在、大規模な言語モデル（LLMS）のスケーリング法則は、課題とボトルネックに直面しています。
このペーパーでは、限界リターンの減少下での信号対雑音比の変化に起因するノイズ効果がこれらの問題の根本原因であると仮定しています。
このノイズを制御するために、パフォーマンスの利点と短所を持つモデル間の違いを調査し、「相対的な過剰適合」の概念を導入しました。
補完的な強みに基づいて、アプリケーションフレームワーク、Accept-reject（AR）を提案しました。
自然言語処理（NLP）では、議論の媒体としてLLMSおよびSmall Languageモデル（SLM）を使用します。
このフレームワークにより、SLMは直感的に予想される負の影響ではなく、LLMの決定出力に普遍的なプラスの影響を及ぼすことができます。
基本的な言語モデリング、ロングコンテキストタスク、サブジェクト検査、質問回答（QA）ベンチマークなど、複数のデータセットにわたって主流のアーキテクチャと事前に訓練された主流モデルに基づいて、自己構築モデルを使用してアプローチを検証しました。
結果は、私たちの構造を通じて、LLMのパラメーターを増やすのと比較して、多くのシナリオでパラメーターと計算コストが大幅に低く、より良いパフォーマンスの改善を達成できることを示しています。
これらの改善は、普遍的で安定しており、効果的です。
さらに、コンピュータービジョン（CV）や科学のAIなど、他の機械学習ドメインの「相対的な過剰適合」とARフレームワークの可能性を調査します。
提案されたアプローチが、法律の規模を既存のボトルネックを克服するのに役立つことを願っています。

要約(オリジナル)

Currently, the scaling law of Large Language Models (LLMs) faces challenges and bottlenecks. This paper posits that noise effects, stemming from changes in the signal-to-noise ratio under diminishing marginal returns, are the root cause of these issues. To control this noise, we investigated the differences between models with performance advantages and disadvantages, introducing the concept of ‘relative overfitting.’ Based on their complementary strengths, we have proposed an application framework, Accept-Reject (AR). In Natural Language Processing (NLP), we use LLMs and Small Language Models (SLMs) as the medium for discussion. This framework enables SLMs to exert a universal positive influence on LLM decision outputs, rather than the intuitively expected negative influence. We validated our approach using self-built models based on mainstream architectures and pre-trained mainstream models across multiple datasets, including basic language modeling, long-context tasks, subject examination, and question-answering (QA) benchmarks. The results demonstrate that through our structure, compared to increasing the LLM’s parameters, we can achieve better performance improvements with significantly lower parameter and computational costs in many scenarios. These improvements are universal, stable, and effective. Furthermore, we explore the potential of ‘relative overfitting’ and the AR framework in other machine learning domains, such as computer vision (CV) and AI for science. We hope the proposed approach can help scale laws overcome existing bottlenecks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google