MAGDi: Structured Distillation of Multi-Agent Interaction Graphs Improves Reasoning in Smaller Language Models

要約

大規模言語モデル(LLM)エージェント間のマルチエージェント相互作用は、多様な推論タスクにおいて大きな改善を見せている。しかし、これらのアプローチは、数ラウンドにわたる複数のモデルからの長い世代を含み、高価である。さらに、これらのマルチエージェントアプローチは、効率的な推論のための最終的な単一モデルを提供することができない。この問題に対処するため、我々は、複数のLLM間の推論相互作用をより小さなLMに構造的に蒸留するための新しい手法であるMAGDiを導入する。MAGDiは、マルチエージェントの相互作用をグラフとして表現し、グラフエンコーダでベースとなる学生モデルを補強し、次のトークンの予測、正しい推論と正しくない推論の間の対照的損失、相互作用構造をモデル化するためのグラフベースの目的という3つの目的関数を用いて知識を抽出することで、より小さなモデルを学習する。広く使われている7つの常識的推論と数学的推論のベンチマークで実験した結果、MAGDiは小さなモデルの推論能力を向上させ、一人の教師から推論する方法や複数の教師から推論する方法よりも優れていることが示された。さらに、MAGDiはその教師に対して桁外れに高い効率性も示している。我々は、MAGDiが(1)領域外のタスクへの汎化性を向上させること、(2)ベースとなる生徒モデルのサイズと強さに対して正のスケールを持つこと、(3)モデルの多様性に依存する推論手法である自己無撞着性を適用した場合に（我々の複数教師によるトレーニングによって）より大きな改善を得ることを示すために、広範な分析を行う。

要約(オリジナル)

Multi-agent interactions between Large Language Model (LLM) agents have shown major improvements on diverse reasoning tasks. However, these involve long generations from multiple models across several rounds, making them expensive. Moreover, these multi-agent approaches fail to provide a final, single model for efficient inference. To address this, we introduce MAGDi, a new method for structured distillation of the reasoning interactions between multiple LLMs into smaller LMs. MAGDi teaches smaller models by representing multi-agent interactions as graphs, augmenting a base student model with a graph encoder, and distilling knowledge using three objective functions: next-token prediction, a contrastive loss between correct and incorrect reasoning, and a graph-based objective to model the interaction structure. Experiments on seven widely-used commonsense and math reasoning benchmarks show that MAGDi improves the reasoning capabilities of smaller models, outperforming several methods that distill from a single teacher and multiple teachers. Moreover, MAGDi also demonstrates an order of magnitude higher efficiency over its teachers. We conduct extensive analyses to show that MAGDi (1) enhances the generalizability to out-of-domain tasks, (2) scales positively with the size and strength of the base student model, and (3) obtains larger improvements (via our multi-teacher training) when applying self-consistency – an inference technique that relies on model diversity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL