Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM

要約

会話型 AI 研究では、ChatGPT などのモデルに代表される、より多くのパラメーターを使用したモデルを開発する傾向が顕著です。
これらの拡張モデルはチャット応答をますます向上させる傾向がありますが、大量の計算リソースとメモリを必要とします。
この研究では、「小規模なモデルを組み合わせて、単一の大型モデルと比較して同等または向上したパフォーマンスを共同で達成できるか」という適切な質問を検討します。
複数のチャット AI を統合する簡単かつ効果的な方法である「ブレンディング」と呼ばれるアプローチを紹介します。
私たちの経験的証拠は、特定の小型モデルを相乗的にブレンドすると、はるかに大型の対応モデルの機能を上回るか、それに匹敵する可能性があることを示唆しています。
たとえば、中程度のサイズ (6B/13B パラメーター) のモデルを 3 つ統合するだけで、ChatGPT のような大幅に大きなモデル (175B+ パラメーター) のパフォーマンス メトリクスに匹敵するか、さらにはそれを上回る可能性があります。
この仮説は、Chai リサーチ プラットフォームの大規模なユーザー ベースを対象とした A/B テスト手法を使用して、30 日間にわたって厳密にテストされます。
この調査結果は、対応する計算需要の急増を伴わずにチャット AI の有効性を高めるための実行可能なアプローチとして、「ブレンディング」戦略の可能性を強調しています。

要約(オリジナル)

In conversational AI research, there’s a noticeable trend towards developing models with a larger number of parameters, exemplified by models like ChatGPT. While these expansive models tend to generate increasingly better chat responses, they demand significant computational resources and memory. This study explores a pertinent question: Can a combination of smaller models collaboratively achieve comparable or enhanced performance relative to a singular large model? We introduce an approach termed ‘blending’, a straightforward yet effective method of integrating multiple chat AIs. Our empirical evidence suggests that when specific smaller models are synergistically blended, they can potentially outperform or match the capabilities of much larger counterparts. For instance, integrating just three models of moderate size (6B/13B paramaeters) can rival or even surpass the performance metrics of a substantially larger model like ChatGPT (175B+ paramaters). This hypothesis is rigorously tested using A/B testing methodologies with a large user base on the Chai research platform over a span of thirty days. The findings underscore the potential of the ‘blending’ strategy as a viable approach for enhancing chat AI efficacy without a corresponding surge in computational demands.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google