Open-domain Implicit Format Control for Large Language Model Generation

要約

大規模言語モデル (LLM) によって生成される出力形式の制御は、さまざまなアプリケーションにおいて重要な機能です。
現在の方法では通常、ルールベースのオートマトンを使用した制約付きデコード、または手動で作成したフォーマット命令による微調整を採用していますが、どちらもオープンドメインのフォーマット要件に対応するのに苦労しています。
この制限に対処するために、ユーザーが提供するワンショット QA ペアを活用して、LLM で制御された生成のための新しいフレームワークを導入します。
この研究では、オープンドメインのワンショット制約に従い、回答例の形式を複製する LLM の能力を調査します。
これは現在の LLM にとって重要な問題であることがわかります。
また、出力品質を低下させることなく LLM のオープンドメイン形式制御を強化する教師付き微調整のためのデータセット収集方法論と、LLM 出力の有用性と形式の正確性の両方を評価するベンチマークも開発します。
OIFC-SFT という名前の結果のデータセットは、関連コードとともに https://github.com/cofe-ai/OIFC で公開されます。

要約(オリジナル)

Controlling the format of outputs generated by large language models (LLMs) is a critical functionality in various applications. Current methods typically employ constrained decoding with rule-based automata or fine-tuning with manually crafted format instructions, both of which struggle with open-domain format requirements. To address this limitation, we introduce a novel framework for controlled generation in LLMs, leveraging user-provided, one-shot QA pairs. This study investigates LLMs’ capabilities to follow open-domain, one-shot constraints and replicate the format of the example answers. We observe that this is a non-trivial problem for current LLMs. We also develop a dataset collection methodology for supervised fine-tuning that enhances the open-domain format control of LLMs without degrading output quality, as well as a benchmark on which we evaluate both the helpfulness and format correctness of LLM outputs. The resulting datasets, named OIFC-SFT, along with the related code, will be made publicly available at https://github.com/cofe-ai/OIFC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google