TADIS: Steering Models for Deep-Thinking about Demonstration Examples

要約

命令チューニングにより、目に見えないタスクに対するゼロショット汎化機能が明らかに大幅に向上する可能性があることが実証されています。
微調整プロセス中に追加のコンテキスト (タスク定義、例など) を組み込むことにより、大規模言語モデル (LLM) は以前よりもはるかに高いパフォーマンスを達成しました。
ただし、最近の研究では、妄想的なタスクの例でも正しいタスクの例とほぼ同じパフォーマンスを達成できることが報告されており、入力とラベルの対応が以前に考えられていたほど重要ではないことが示されています。
この直観に反する観察に興味をそそられた私たちは、モデルも人間と同じ能力があるという幻想を抱いているのではないかと考えています。
そこで、単に見るだけでなく、デモンストレーション例について「深く考える」ように LLM を誘導する、TADIS と呼ばれる新しい方法を提案します。
モデルの能力に関する錯覚を軽減するために、最初にモデルに示された例の正しさを検証するように依頼します。
次に、検証結果を条件として使用して、より良い答えを導き出すモデルを導き出します。
私たちの実験結果は、TADIS がドメイン内およびドメイン外のタスクで競合ベースラインを常に上回っていることを示しています (ドメイン外およびドメイン内データセットで平均 ROUGLE-L がそれぞれ 2.79 および 4.03 向上)。
生成された例 (すべての思考ラベルが正確であるわけではありません) が存在するにもかかわらず、TADIS はゼロショット設定および少数ショット設定でパフォーマンスを著しく向上させることができます。
これは、私たちのアプローチを大規模に採用して、手作業なしでモデルの命令追従機能を向上できることも示唆しています。
さらに、モデルサイズの異なる 3 種類の思考ラベルを構築したところ、小さなモデルは TADIS の形式から学習しますが、より大きなモデルは「深い思考」に向けて操作できることがわかりました。

要約(オリジナル)

Instruction tuning has been demonstrated that could significantly improve the zero-shot generalization capability to unseen tasks by an apparent margin. By incorporating additional context (e.g., task definition, examples) during the fine-tuning process, Large Language Models (LLMs) achieved much higher performance than before. However, recent work reported that delusive task examples can achieve almost the same performance as correct task examples, indicating the input-label correspondence is less important than previously thought. Intrigued by this counter-intuitive observation, we suspect models have the same illusion of competence as humans. Therefore, we propose a novel method called TADIS that steers LLMs for ‘Deep-Thinking” about demonstration examples instead of merely seeing. To alleviate the illusion of competence of models, we first ask the model to verify the correctness of shown examples. Then, using the verification results as conditions to elicit models for a better answer. Our experimental results show that TADIS consistently outperforms competitive baselines on in-domain and out-domain tasks (improving 2.79 and 4.03 average ROUGLE-L on out-domain and in-domain datasets, respectively). Despite the presence of generated examples (not all of the thinking labels are accurate), TADIS can notably enhance performance in zero-shot and few-shot settings. This also suggests that our approach can be adopted on a large scale to improve the instruction following capabilities of models without any manual labor. Moreover, we construct three types of thinking labels with different model sizes and find that small models learn from the format of TADIS but larger models can be steered for ‘Deep-Thinking”.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google