Mixture of insighTful Experts (MoTE): The Synergy of Thought Chains and Expert Mixtures in Self-Alignment

要約

大規模言語モデル(LLM)の能力が飛躍的に向上するにつれ、これらのモデルを人間の価値観に適合させることは重要な課題となっている。従来のアライメント戦略は、教師ありファインチューニング（SFT）や人間フィードバックからの強化学習（RLHF）のような人間の介入に大きく依存するか、LLMの自己アライメント能力に依存する。これらの課題に対処するために、我々はAlignCoTと呼ばれる思考連鎖（CoT）アプローチを利用した新しい自己調整法を提案する。この方法は、質問分析、回答ガイダンス、安全な回答作成の段階を含む。これは、LLMが様々な段階を通じて、高品質で安全な回答を生成できるように設計されている。さらに、AlignCoTプロセスの各コンポーネントを強化するために専門家の混合を適用するMoTE（Mixture of insighTful Experts）アーキテクチャを導入し、アライメント効率を著しく向上させる。MoTEアプローチは、LLMを人間の価値観に適合させる既存の手法を凌駕するだけでなく、自己生成データを使用する利点を強調し、アライメントの改善とトレーニング効率の向上という2つの利点を明らかにする。

要約(オリジナル)

As the capabilities of large language models (LLMs) have expanded dramatically, aligning these models with human values presents a significant challenge. Traditional alignment strategies rely heavily on human intervention, such as Supervised Fine-Tuning (SFT) and Reinforcement Learning from Human Feedback (RLHF), or on the self-alignment capacities of LLMs, which usually require a strong LLM’s emergent ability to improve its original bad answer. To address these challenges, we propose a novel self-alignment method that utilizes a Chain of Thought (CoT) approach, termed AlignCoT. This method encompasses stages of Question Analysis, Answer Guidance, and Safe Answer production. It is designed to enable LLMs to generate high-quality, safe responses throughout various stages of their development. Furthermore, we introduce the Mixture of insighTful Experts (MoTE) architecture, which applies mixture of experts to enhance each component of the AlignCoT process, markedly increasing alignment efficiency. The MoTE approach not only outperforms existing methods in aligning LLMs with human values but also highlights the benefits of using self-generated data, revealing the dual benefits of improved alignment and training efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL