Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models

要約

構造化生成は、JSON や XML などの標準化された形式でコンテンツを生成するプロセスであり、大規模言語モデル (LLM) から主要な出力情報を抽出するために、現実世界のアプリケーションで広く利用されています。
この研究では、生成空間に対するそのような制約が、推論やドメイン知識の理解などの LLM の能力に影響を与えるかどうかを調査します。
具体的には、構造化フォーマットに準拠するよう制限された場合と、さまざまな一般的なタスクにわたって自由形式の応答を生成する場合の LLM のパフォーマンスを評価します。
驚くべきことに、形式制限下では LLM の推論能力が大幅に低下することが観察されています。
さらに、形式の制約が厳しくなると、一般的に推論タスクのパフォーマンスが大幅に低下することがわかりました。

要約(オリジナル)

Structured generation, the process of producing content in standardized formats like JSON and XML, is widely utilized in real-world applications to extract key output information from large language models (LLMs). This study investigates whether such constraints on generation space impact LLMs’ abilities, including reasoning and domain knowledge comprehension. Specifically, we evaluate LLMs’ performance when restricted to adhere to structured formats versus generating free-form responses across various common tasks. Surprisingly, we observe a significant decline in LLMs’ reasoning abilities under format restrictions. Furthermore, we find that stricter format constraints generally lead to greater performance degradation in reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google