Trace-of-Thought: Enhanced Arithmetic Problem Solving via Reasoning Distillation From Large to Small Language Models

要約

大規模な言語モデル（LLM）が毎日のタスクに活用され続けているため、特に算術推論などの専門知識を必要とするドメインでは、計算言語学における迅速な貢献分野のままです。
これらのLLMはさまざまなタスクに最適化されていますが、それらの徹底的な雇用は、小さなチームにとって計算的または財政的に面倒になる可能性があります。
さらに、独自のクローズドソースモデルに完全に依存しているため、カスタマイズと適応性が制限されることが多く、研究とアプリケーションのスケーラビリティに大きな課題をもたらします。
代わりに、70億パラメーター以下でオープンソースモデルを活用することにより、標準のプロンプトアプローチに対する顕著な利益を観察しながら、リソースの使用を最適化することができます。
この概念を育むために、算術の推論機能を強化するために特別に設計された、重要な問題解決を使用してLLMSを指示するシンプルでゼロショットのプロンプトエンジニアリング方法であるTrace-of-shot shotプロンプトエンジニアリング方法を紹介します。
GPT-4と並行してオープンソースモデルに適用されると、Trace-of-Thoughtが問題解決プロセスに対する新しい洞察を可能にするだけでなく、70億パラメーターまたは70億パラメーターで言語モデルで125％というパフォーマンスの向上を導入することがわかります。
このアプローチは、AIの研究を民主化し、高品質の計算言語学アプリケーションのアクセシビリティを改善するオープンソースイニシアチブの可能性を強調しています。

要約(オリジナル)

As Large Language Models (LLMs) continue to be leveraged for daily tasks, prompt engineering remains an active field of contribution within computational linguistics, particularly in domains requiring specialized knowledge such as arithmetic reasoning. While these LLMs are optimized for a variety of tasks, their exhaustive employment may become computationally or financially cumbersome for small teams. Additionally, complete reliance on proprietary, closed-source models often limits customization and adaptability, posing significant challenges in research and application scalability. Instead, by leveraging open-source models at or below 7 billion parameters, we can optimize our resource usage while still observing remarkable gains over standard prompting approaches. To cultivate this notion, we introduce Trace-of-Thought Prompting, a simple, zero-shot prompt engineering method that instructs LLMs to create observable subproblems using critical problem-solving, specifically designed to enhance arithmetic reasoning capabilities. When applied to open-source models in tandem with GPT-4, we observe that Trace-of-Thought not only allows novel insight into the problem-solving process but also introduces performance gains as large as 125% on language models at or below 7 billion parameters. This approach underscores the potential of open-source initiatives in democratizing AI research and improving the accessibility of high-quality computational linguistics applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google