$\texttt{SEM-CTRL}$: Semantically Controlled Decoding

要約

大規模な言語モデル（LLM）出力での構文と意味の両方の正確性を確保することは、実際の展開に重要であるにもかかわらず、依然として重要な課題です。
この論文では、LLMデコーダーに直接直接コンテキストに敏感な制約とタスクおよびインスタンス固有のセマンティクスを強制する統合されたアプローチである$ \ texttt {sem-ctrl} $を紹介します。
当社のアプローチは、特定の構文およびセマンティックの制約によって導かれるトークンレベルのMCTを統合します。
目的の出力に対する制約は、回答セットの文法を使用して表されます。これは、タスク固有のセマンティクスを表すために背景知識を組み込みながら、コンテキストに敏感な文法を一般化する論理ベースの形式主義です。
私たちのアプローチは、微調整を必要とせずに、あらゆる既製のLLMの正しい完了を保証することを示しています。
合成文法合成、組み合わせの推論、計画など、さまざまなタスクで$ \ texttt {sem-ctrl} $を評価します。
我々の結果は、$ \ texttt {sem-ctrl} $により、小さな訓練を受けたLLMがより大きなバリエーションと最先端の推論モデル（O1-previewなど）を効率的に上回ることができると同時に、ソリューションの正しさを保証することができることを示しています。

要約(オリジナル)

Ensuring both syntactic and semantic correctness in Large Language Model (LLM) outputs remains a significant challenge, despite being critical for real-world deployment. In this paper, we introduce $\texttt{SEM-CTRL}$, a unified approach that enforces rich context-sensitive constraints and task- and instance-specific semantics directly on an LLM decoder. Our approach integrates token-level MCTS, which is guided by specific syntactic and semantic constraints. The constraints over the desired outputs are expressed using Answer Set Grammars — a logic-based formalism that generalizes context-sensitive grammars while incorporating background knowledge to represent task-specific semantics. We show that our approach guarantees correct completions for any off-the-shelf LLM without the need for fine-tuning. We evaluate $\texttt{SEM-CTRL}$ on a range of tasks, including synthetic grammar synthesis, combinatorial reasoning, and planning. Our results demonstrate that $\texttt{SEM-CTRL}$ allows small pre-trained LLMs to efficiently outperform larger variants and state-of-the-art reasoning models (e.g., o1-preview) while simultaneously guaranteeing solution correctness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google