Unveiling Imitation Learning: Exploring the Impact of Data Falsity to Large Language Model

要約

最近の多くの研究では、模倣学習や、ChatGPT や GPT-4 などの最先端の独自モデルからの合成命令データの再トレーニングを通じて、オープンソース言語モデルを改善しようとしています。
ただし、合成データの本来の性質には本質的にノイズの多いデータが含まれており、誤った応答や欠陥のある推論が満載の低品質のデータが大量に存在することになります。
私たちはノイズの多いデータの潜在的な害を直感的に理解していますが、その影響については定量的な理解が不足しています。
この目的を達成するために、この論文では、ノイズの程度と、命令チューニングによる言語モデルへの影響との相関関係を調査します。
まず、偽り制御可能 (FACO) データセットを導入します。このデータセットは、対応する推論を備えた真の答えのペアと、データセットの偽りの割合を手動で制御するための偽のペアで構成されます。広範な実験を通じて、相関関係に関する複数の興味深い発見が見つかりました。
データセットの事実と命令の調整の間: 具体的には、命令の虚偽がさまざまなベンチマーク スコアと非常に関連していることを検証しました。
さらに、LLM が誤った指示でトレーニングされると、ユーザーのリクエストに対する正しい答えを知っているにもかかわらず、嘘をつき、偽の不誠実な答えを生成することを学習します。
さらに、ノイズで汚染されたデータセットを使用して言語モデルをトレーニングすると、元のパフォーマンスを復元することは可能ですが、完全なパフォーマンスには到達できないことに注意しました。

要約(オリジナル)

Many recent studies endeavor to improve open-source language models through imitation learning, and re-training on the synthetic instruction data from state-of-the-art proprietary models like ChatGPT and GPT-4. However, the innate nature of synthetic data inherently contains noisy data, giving rise to a substantial presence of low-quality data replete with erroneous responses, and flawed reasoning. Although we intuitively grasp the potential harm of noisy data, we lack a quantitative understanding of its impact. To this end, this paper explores the correlation between the degree of noise and its impact on language models through instruction tuning. We first introduce the Falsity-Controllable (FACO) dataset, which comprises pairs of true answers with corresponding reasoning, as well as false pairs to manually control the falsity ratio of the dataset.Through our extensive experiments, we found multiple intriguing findings of the correlation between the factuality of the dataset and instruction tuning: Specifically, we verified falsity of the instruction is highly relevant to various benchmark scores. Moreover, when LLMs are trained with false instructions, they learn to lie and generate fake unfaithful answers, even though they know the correct answer for the user request. Additionally, we noted that once the language model is trained with a dataset contaminated by noise, restoring its original performance is possible, but it failed to reach full performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google