Align to Structure: Aligning Large Language Models with Structural Information

要約

大規模言語モデル(LLM)は、談話生成において階層的な計画や構造化された構成を持たないため、首尾一貫した長文を生成することは依然として課題である。我々は、LLMを人間のような談話構造と整合させ、長文テキスト生成を強化する新しい手法である構造整合（Structural Alignment）を紹介する。言語学的な根拠に基づく談話フレームワークを強化学習に統合することで、我々のアプローチはモデルが首尾一貫した、よく組織化された出力を生成するように導く。近接政策最適化フレームワークの中で密な報酬スキームを採用し、人間の文章と比較した談話の特徴に基づいて、きめ細かなトークンレベルの報酬を割り当てる。1つ目は、表面レベルのテキスト特徴をスコアリングすることで読みやすさを向上させ、明示的な構造化を提供し、2つ目は、階層的な談話モチーフを通してグローバルな談話パターンを分析することで、より深い一貫性と修辞的洗練性を強化し、エッセイ生成や長文要約などのタスクにおいて、標準モデルとRLHF強化モデルの両方を凌駕する。すべてのトレーニングデータとコードは、https://github.com/minnesotanlp/struct_align で公開される。

要約(オリジナル)

Generating long, coherent text remains a challenge for large language models (LLMs), as they lack hierarchical planning and structured organization in discourse generation. We introduce Structural Alignment, a novel method that aligns LLMs with human-like discourse structures to enhance long-form text generation. By integrating linguistically grounded discourse frameworks into reinforcement learning, our approach guides models to produce coherent and well-organized outputs. We employ a dense reward scheme within a Proximal Policy Optimization framework, assigning fine-grained, token-level rewards based on the discourse distinctiveness relative to human writing. Two complementary reward models are evaluated: the first improves readability by scoring surface-level textual features to provide explicit structuring, while the second reinforces deeper coherence and rhetorical sophistication by analyzing global discourse patterns through hierarchical discourse motifs, outperforming both standard and RLHF-enhanced models in tasks such as essay generation and long-document summarization. All training data and code will be publicly shared at https://github.com/minnesotanlp/struct_align.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL