Sketch-Guided Constrained Decoding for Boosting Blackbox Large Language Models without Logit Access

要約

制約付きデコードは、言語モデルの出力に制約を強制する手法であり、再トレーニングやアーキテクチャの変更を行わずにテキスト生成を制御する方法を提供します。
ただし、そのアプリケーションは通常、ユーザーがネクスト トークン配布 (通常はソフトマックス ロジット経由) にアクセスできるモデルに限定されており、ブラックボックス大規模言語モデル (LLM) では制限が生じます。
この論文では、ブラックボックス LLM の制約付きデコーディングへの新しいアプローチであるスケッチガイド付き制約付きデコーディング (SGCD) を紹介します。これは、ブラックボックス LLM のロジットにアクセスせずに動作します。
SGCD は、ローカルでホストされている補助モデルを利用して、制約のないブラックボックス LLM の出力を改良し、この初期出力をさらなる精緻化のための「スケッチ」として効果的に扱います。
このアプローチは、従来のロジットベースの手法を補完し、完全なモデルの透過性が利用できない設定で制約付きデコードを適用できるようにします。
クローズド情報抽出と構成解析の実験を通じて SGCD の有効性を実証し、SGCD が複雑な NLP タスクに対するブラックボックス LLM の有用性と柔軟性をどのように強化するかを示します。

要約(オリジナル)

Constrained decoding, a technique for enforcing constraints on language model outputs, offers a way to control text generation without retraining or architectural modifications. Its application is, however, typically restricted to models that give users access to next-token distributions (usually via softmax logits), which poses a limitation with blackbox large language models (LLMs). This paper introduces sketch-guided constrained decoding (SGCD), a novel approach to constrained decoding for blackbox LLMs, which operates without access to the logits of the blackbox LLM. SGCD utilizes a locally hosted auxiliary model to refine the output of an unconstrained blackbox LLM, effectively treating this initial output as a ‘sketch’ for further elaboration. This approach is complementary to traditional logit-based techniques and enables the application of constrained decoding in settings where full model transparency is unavailable. We demonstrate the efficacy of SGCD through experiments in closed information extraction and constituency parsing, showing how it enhances the utility and flexibility of blackbox LLMs for complex NLP tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google