Iterative Graph Alignment

要約

多様な物語を圧縮することで、LLM は暗記を超え、一般化可能な因果関係を捉えることで知能を実現します。
ただし、トレーニング データの多様性が不十分であるため、局所的な「表現ギャップ」に悩まされており、特にルールへの厳密な整合が必要なタスクにおいて、現実世界での有用性が制限されています。
人間による大量の注釈に依存した従来の位置合わせ方法は、非効率的で拡張性がありません。
最近の自己調整手法も、自己選択に基づく促しや暗記に基づく学習に依存していることが多く、不十分です。
これらの問題に対処するために、アノテーション不要のルールベースの位置合わせアルゴリズムである Iterative Graph Alignment (IGA) を導入します。
教師モデル (VLM) は、反復グラフ プロンプト (IGP) を使用して、論理グラフと参照回答を作成します。
学生モデル (LLM) は、回答をこれらの参照と一致させようとすることでローカルの知識のギャップを特定し、ヘルパー モデルと連携して多様な回答を生成します。
これらの調整された応答は、反復教師あり微調整 (SFT) に使用されます。
5 つのルールベースのシナリオにわたる評価では、IGP の有効性が実証されており、Claude Sonnet 3.5 では 73.12\% のアライメント改善が見られ、Llama3-8B-Instruct では 86.20\% の改善が達成されており、ルールベースのアライメントでは Claude Sonnet 3.5 を上回っています。

要約(オリジナル)

By compressing diverse narratives, LLMs go beyond memorization, achieving intelligence by capturing generalizable causal relationships. However, they suffer from local ‘representation gaps’ due to insufficient training data diversity, limiting their real-world utility, especially in tasks requiring strict alignment to rules. Traditional alignment methods relying on heavy human annotations are inefficient and unscalable. Recent self-alignment techniques also fall short, as they often depend on self-selection based prompting and memorization-based learning. To address these issues, we introduce Iterative Graph Alignment (IGA), an annotation-free rule-based alignment algorithm. A teacher model (VLM) employs Iterative Graph Prompting (IGP) to create logical graphs and reference answers. The student model (LLM) identifies local knowledge gaps by attempting to align its responses with these references, collaborating with helper models to generate diverse answers. These aligned responses are then used for iterative supervised fine-tuning (SFT). Our evaluations across five rule-based scenarios demonstrate IGP’s effectiveness, with a 73.12\% alignment improvement in Claude Sonnet 3.5, and Llama3-8B-Instruct achieving an 86.20\% improvement, outperforming Claude Sonnet 3.5 in rule-based alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google