ECM: A Unified Electronic Circuit Model for Explaining the Emergence of In-Context Learning and Chain-of-Thought in Large Language Model

要約

大規模な言語モデル（LLMS）の最近の進歩により、さまざまなアプリケーションで大幅に成功しました。最も目立つのは、特にコンテキスト学習（ICL）とチェーンの分野（COT）において、一連の新興能力に対するものです。
）。
モデルのパフォーマンスをよりよく理解して制御するために、多くの研究がこれらの現象の根本的な原因とタスクの結果への影響を調査し始めています。
ただし、既存の説明フレームワークは、主にICLとCOTの個別に分離および説明に焦点を当てており、モデルのパフォーマンスに対するそれらの組み合わせの影響を不完全に理解することにつながります。
このギャップに対処するために、電子回路モデル（ECM）を提案します。これは、スケーラブルで学習可能なポリシーを開発し、AI生成コンテンツの管理を改善するための基盤を提供します。
具体的には、ECMはモデルの動作を電子回路として概念化します。ICLは、ファラデーの法則に従って追加の電圧を提供するセマンティック磁場として表されます。一方、COTは、オームの法則に従ってモデル出力パフォーマンスを制約するためのシリーズ抵抗としてモデル化されます。
実験結果は、ECMがさまざまなプロンプト戦略にわたってLLMのパフォーマンスを効果的に予測および説明することを示しています。
さらに、ECMを、情報学の国際オリンピック（IOI）や国際数学オリンピアード（IMO）などの一連のタスクの高度な推論戦略最適化に適用し、人間のトップ競合他社の80％近くを超える競争力のあるパフォーマンスを達成します。

要約(オリジナル)

Recent advancements in large language models (LLMs) have led to significant successes across various applications, where the most noticeable is to a series of emerging capabilities, particularly in the areas of In-Context Learning (ICL) and Chain-of-Thought (CoT). To better understand and control model performance, many studies have begun investigating the underlying causes of these phenomena and their impact on task outcomes. However, existing explanatory frameworks predominantly focus on isolating and explaining ICL and CoT independently, leading to an incomplete understanding of their combined influence on model performance. To address this gap, we propose the Electronic Circuit Model (ECM), which provides a foundation for developing scalable, learnable policies and improving the management of AI-generated content. Specifically, ECM conceptualizes model behavior as an electronic circuit: ICL is represented as semantic magnetic field to providing an additional voltage following Faraday’s Law, while CoT is modeled as series resistors to constrain the model output performance following Ohm’s Law. Experimental results demonstrate that the ECM effectively predicts and explains LLM performance across a variety of prompting strategies. Furthermore, we apply ECM to advanced reasoning strategy optimization on a series of tasks, such as the International Olympiad in Informatics (IOI) and the International Mathematical Olympiad (IMO), achieving competitive performance that surpasses nearly 80% of top human competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google