CESAR: Automatic Induction of Compositional Instructions for Multi-turn Dialogs

要約

命令ベースのマルチタスクは、マルチターン ダイアログ アプリケーションにおける大規模言語モデル (LLM) の成功において重要な役割を果たしています。
公的に入手可能な LLM は有望なパフォーマンスを示していますが、複数の制約を持つ複雑な命令にさらされると、ChatGPT のような最先端のモデルに比べて遅れます。
この研究では、大規模で複雑なデモンストレーションが利用できることが、このギャップを埋めるために重要であるという仮説を立てています。
ダイアログ アプリケーションに焦点を当て、多数のダイアログ タスクを同じ形式に統合し、手動による努力を必要とせずにプログラムによる複雑な命令の導入を可能にする新しいフレームワーク CESAR を提案します。
命令ベースのダイアログ タスクのベンチマークである CESAR を InstructDial に適用します。
新しいデータセットとタスクで InstructDial をさらに強化し、CESAR を利用して構成的な命令で複雑なタスクを誘発します。
これにより、InstructDial++ と呼ばれる新しいベンチマークが作成され、これには 86 の基本タスクと 68 の複合タスクを含む 63 のデータセットが含まれます。
厳密な実験を通じて、豊富な指示を提供する CESAR の拡​​張性を実証します。
InstructDial++ でトレーニングされたモデルは、複数のスタイル上の制約を要求するプロンプトなど、構成プロンプトに従うことができます。

要約(オリジナル)

Instruction-based multitasking has played a critical role in the success of large language models (LLMs) in multi-turn dialog applications. While publicly available LLMs have shown promising performance, when exposed to complex instructions with multiple constraints, they lag against state-of-the-art models like ChatGPT. In this work, we hypothesize that the availability of large-scale complex demonstrations is crucial in bridging this gap. Focusing on dialog applications, we propose a novel framework, CESAR, that unifies a large number of dialog tasks in the same format and allows programmatic induction of complex instructions without any manual effort. We apply CESAR on InstructDial, a benchmark for instruction-based dialog tasks. We further enhance InstructDial with new datasets and tasks and utilize CESAR to induce complex tasks with compositional instructions. This results in a new benchmark called InstructDial++, which includes 63 datasets with 86 basic tasks and 68 composite tasks. Through rigorous experiments, we demonstrate the scalability of CESAR in providing rich instructions. Models trained on InstructDial++ can follow compositional prompts, such as prompts that ask for multiple stylistic constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google