SAIE Framework: Support Alone Isn’t Enough — Advancing LLM Training with Adversarial Remarks

要約

大規模言語モデル(LLM)は、他のモデルや人間との議論を通じて、自分の予測を正当化したり批評したりすることができ、それによってインスタンスに対する本質的な理解を深めることができる。推論段階での積極的なディスカッションはパフォーマンスを向上させることが示されているが、学習段階でのこのような相互作用はあまり研究されていない。我々は、対話的なディスカッションをトレーニングプロセスに組み込むことで、モデルの理解を強化し、推論時の推論能力と言語表現能力を向上させることができると仮定する。本研究では、学習者モデルとパートナーモデル間の支援的・敵対的な議論を促進するSAIEフレームワークを導入する。学習者モデルはパートナーからの応答を受け取り、そのパラメータはこの議論に基づいて更新される。この動的な調整プロセスは学習フェーズを通して継続し、学習者モデルの進化する出力に対応する。数学問題、常識的推論、複数領域の知識を含む様々なタスクにわたる我々の実証的評価により、SAIEフレームワークで微調整されたモデルは、従来の微調整アプローチで訓練されたモデルを凌駕することが実証された。さらに、我々の手法はモデルの推論能力を強化し、個別推論とマルチエージェント推論の両方の性能を向上させる。

要約(オリジナル)

Large Language Models (LLMs) can justify or critique their predictions through discussions with other models or humans, thereby enriching their intrinsic understanding of instances. While proactive discussions in the inference phase have been shown to boost performance, such interactions have not been extensively explored during the training phase. We hypothesize that incorporating interactive discussions into the training process can enhance the models’ understanding and improve their reasoning and verbal expression abilities during inference. This work introduces the SAIE framework, which facilitates supportive and adversarial discussions between learner and partner models. The learner model receives responses from the partner, and its parameters are then updated based on this discussion. This dynamic adjustment process continues throughout the training phase, responding to the evolving outputs of the learner model. Our empirical evaluation across various tasks, including math problems, commonsense reasoning, and multi-domain knowledge, demonstrates that models fine-tuned with the SAIE framework outperform those trained with conventional fine-tuning approaches. Furthermore, our method enhances the models’ reasoning capabilities, improving both individual and multi-agent inference performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL