Step-by-Step Mastery: Enhancing Soft Constraint Following Ability of Large Language Models

要約

大規模言語モデル (LLM) にとって、複数の制約を含む命令に従うことが重要です。
ただし、ソフト制約は意味的に関連しており、自動化された方法で検証するのは困難です。
これらの制約は、LLM にとって依然として大きな課題です。
LLM がソフトな制約に従う能力を強化するために、最初に高品質の出力を自動的に取得するパイプラインを設計します。
さらに、取得したデータを最大限に活用するために、カリキュラム学習に基づいたトレーニングパラダイムを導入します。
私たちは、LLM のソフト制約追従能力を向上させる方法の有効性を実験的に評価し、改善を促進する要因を分析します。
データセットとコードは、https://github.com/Rainier-rq/FollowSoftConstraints で公開されています。

要約(オリジナル)

It is crucial for large language models (LLMs) to follow instructions that involve multiple constraints. However, soft constraints are semantically related and difficult to verify through automated methods. These constraints remain a significant challenge for LLMs. To enhance the ability of LLMs to follow soft constraints, we initially design a pipeline to obtain high-quality outputs automatically. Additionally, to fully utilize the acquired data, we introduce a training paradigm based on curriculum learning. We experimentally evaluate the effectiveness of our methods in improving LLMs’ soft constraint following ability and analyze the factors driving the improvements. The datasets and code are publicly available at https://github.com/Rainier-rq/FollowSoftConstraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google