SLOT: Structuring the Output of Large Language Models

要約

構造化された出力は、エージェントや情報抽出などの重要なアプリケーションでは、大規模な言語モデル（LLM）に不可欠です。
その機能にもかかわらず、LLMはしばしば事前定義されたスキーマから逸脱する出力を生成し、信頼できるアプリケーション開発を大幅に妨げます。
非構造化されたLLM出力を正確な構造化された形式に変換するモデルと存在するアプローチであるスロット（構造化されたLLM出力トランス）を提示します。
既存のソリューションは主に制約されたデコード技術に依存しているか、特定のモデルと密接に結合していますが、スロットは微調整された軽量言語モデルをポスト処理層として採用し、さまざまなLLMSおよびスキーマ仕様にわたって柔軟性を達成します。
スキーマの精度とコンテンツの忠実度の両方を定量化する正式な評価方法論とともに、データキュレーションと統合のための体系的なパイプラインを紹介します。
我々の結果は、制約されたデコードを備えた微調整されたミストラル-7Bモデルが、ほぼ完全なスキーマ精度（99.5％）とコンテンツの類似性（94.0％）を達成し、Claude-3.5-Sonnetを大幅なマージン（+25および+20パーセントポイント）で上回ることを示しています。
特に、LLAMA-3.2-1Bのようなコンパクトモデルでさえ、スロットを装備した場合、はるかに大きな独自モデルの構造化された出力機能に一致するか、それを超えて、リソース制約の環境で信頼できる構造生成を可能にします。

要約(オリジナル)

Structured outputs are essential for large language models (LLMs) in critical applications like agents and information extraction. Despite their capabilities, LLMs often generate outputs that deviate from predefined schemas, significantly hampering reliable application development. We present SLOT (Structured LLM Output Transformer), a model-agnostic approach that transforms unstructured LLM outputs into precise structured formats. While existing solutions predominantly rely on constrained decoding techniques or are tightly coupled with specific models, SLOT employs a fine-tuned lightweight language model as a post-processing layer, achieving flexibility across various LLMs and schema specifications. We introduce a systematic pipeline for data curation and synthesis alongside a formal evaluation methodology that quantifies both schema accuracy and content fidelity. Our results demonstrate that fine-tuned Mistral-7B model with constrained decoding achieves near perfect schema accuracy (99.5%) and content similarity (94.0%), outperforming Claude-3.5-Sonnet by substantial margins (+25 and +20 percentage points, respectively). Notably, even compact models like Llama-3.2-1B can match or exceed the structured output capabilities of much larger proprietary models when equipped with SLOT, enabling reliable structured generation in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google