Symbol tuning improves in-context learning in language models

要約

私たちは、自然言語ラベル (例: 「ポジティブ/ネガティブ感情」) が任意のシンボル (例: 「foo/bar」) に置き換えられる、コンテキスト内の入力ラベルのペアに関する言語モデルの微調整であるシンボルチューニングを紹介します。
シンボル調整は、モデルがタスクを理解するために命令や自然言語ラベルを使用できない場合、代わりに入力ラベルのマッピングを学習することでそうする必要があるという直観を活用します。
Flan-PaLM モデル全体で最大 540B パラメーターまでのシンボル調整を実験し、さまざまな設定での利点を観察しました。
まず、シンボル調整により、目に見えないコンテキスト内学習タスクのパフォーマンスが向上し、指示や自然言語ラベルのないものなど、指定が不十分なプロンプトに対してより堅牢になります。
第 2 に、シンボル調整モデルはアルゴリズム推論タスクにおいて非常に強力であり、List Functions ベンチマークで最大 18.2% のパフォーマンスが向上し、Simple Turing Concepts ベンチマークで最大 15.3% のパフォーマンスが向上します。
最後に、シンボル調整モデルは、コンテキスト内で提示された反転ラベルの追跡において大幅な改善を示しています。これは、コンテキスト内の情報を使用して以前の意味論的な知識をオーバーライドする能力が向上していることを意味します。

要約(オリジナル)

We present symbol tuning – finetuning language models on in-context input-label pairs where natural language labels (e.g., ‘positive/negative sentiment’) are replaced with arbitrary symbols (e.g., ‘foo/bar’). Symbol tuning leverages the intuition that when a model cannot use instructions or natural language labels to figure out a task, it must instead do so by learning the input-label mappings. We experiment with symbol tuning across Flan-PaLM models up to 540B parameters and observe benefits across various settings. First, symbol tuning boosts performance on unseen in-context learning tasks and is much more robust to underspecified prompts, such as those without instructions or without natural language labels. Second, symbol-tuned models are much stronger at algorithmic reasoning tasks, with up to 18.2% better performance on the List Functions benchmark and up to 15.3% better performance on the Simple Turing Concepts benchmark. Finally, symbol-tuned models show large improvements in following flipped-labels presented in-context, meaning that they are more capable of using in-context information to override prior semantic knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google