TAIA: Large Language Models are Out-of-Distribution Data Learners

要約

タスク固有の質問と回答のペアの微調整は、下流タスクで命令調整された大規模言語モデル (LLM) のパフォーマンスを向上させるための主な方法です。
ただし、ヘルスケアや無害なコンテンツの生成など、特定の特殊な領域では、下流の配信に匹敵する高品質のデータを大量に取得することはほぼ不可能です。
ドメインの不一致データを含むデータ不足のドメインで LLM のパフォーマンスを向上させるために、Transformer アーキテクチャを再評価し、微調整中のすべてのパラメーター更新がダウンストリームのパフォーマンスにプラスに寄与するわけではないことを発見しました。
私たちの分析により、自己注意ネットワークとフィードフォワード ネットワーク内では、トレーニング セットの分布がテスト セットと完全に一致していない場合、微調整された注意パラメータのみが特に有益であることが明らかになりました。
この洞察に基づいて、私たちは効果的な推論時間介入方法を提案します。それは、\uline{T}すべてのパラメータを \uline{A} 集中させながら \uline{I}nferring \uline{A}ttention (\trainallInfAttn) です。
私たちは、2 つの一般的な命令チューニング データセットを使用して \trainallInfAttn を経験的に検証し、異なるパラメーター サイズと微調整技術の LLM にわたる数学、推論、知識理解を含む 7 つの下流タスクでそれを評価します。
私たちの包括的な実験では、\trainallInfAttn がほとんどのシナリオで完全に微調整されたモデルと基本モデルの両方と比較して優れた改善を達成し、パフォーマンスが大幅に向上することが実証されました。
データの不一致に対する \trainallInfAttn の高い耐性により、脱獄チューニングに耐性があり、一般的なデータを使用した特殊なタスクが強化されます。

要約(オリジナル)

Fine-tuning on task-specific question-answer pairs is a predominant method for enhancing the performance of instruction-tuned large language models (LLMs) on downstream tasks. However, in certain specialized domains, such as healthcare or harmless content generation, it is nearly impossible to obtain a large volume of high-quality data that matches the downstream distribution. To improve the performance of LLMs in data-scarce domains with domain-mismatched data, we re-evaluated the Transformer architecture and discovered that not all parameter updates during fine-tuning contribute positively to downstream performance. Our analysis reveals that within the self-attention and feed-forward networks, only the fine-tuned attention parameters are particularly beneficial when the training set’s distribution does not fully align with the test set. Based on this insight, we propose an effective inference-time intervention method: \uline{T}raining \uline{A}ll parameters but \uline{I}nferring with only \uline{A}ttention (\trainallInfAttn). We empirically validate \trainallInfAttn using two general instruction-tuning datasets and evaluate it on seven downstream tasks involving math, reasoning, and knowledge understanding across LLMs of different parameter sizes and fine-tuning techniques. Our comprehensive experiments demonstrate that \trainallInfAttn achieves superior improvements compared to both the fully fine-tuned model and the base model in most scenarios, with significant performance gains. The high tolerance of \trainallInfAttn to data mismatches makes it resistant to jailbreaking tuning and enhances specialized tasks using general data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google