NoisyICL: A Little Noise in Model Parameters Calibrates In-context Learning

要約

In-Context Learning (ICL) は、高い事前の偏見と不誠実な自信により、満足のいくパフォーマンスが得られず、調整が不十分であるという問題に悩まされています。
これまでの一部の作品では、膨大なデータセットとコンピューティング コストを使用して、ICL のパフォーマンスを向上させるために言語モデルを微調整しました。
この論文では、パフォーマンスとキャリブレーションの向上を図るために、ランダム ノイズによってモデル パラメーターに単純な摂動を与える NoisyICL を提案します。
2 つのモデルと 12 の下流データセットに対する私たちの実験は、NoisyICL が ICL によるより正確な予測の生成に役立つことを示しています。
さらなる分析により、NoisyICL によりモデルがより公平で、より忠実な予測を提供できることがわかりました。
したがって、NoisyICL は ICL の効果的なキャリブレーションであると考えられます。
実験コードは Github にアップロードされています。

要約(オリジナル)

In-Context Learning (ICL) is suffering from unsatisfactory performance and under-calibration due to high prior bias and unfaithful confidence. Some previous works fine-tuned language models for better ICL performance with enormous datasets and computing costs. In this paper, we propose NoisyICL, simply perturbing the model parameters by random noises to strive for better performance and calibration. Our experiments on two models and 12 downstream datasets show that NoisyICL can help ICL produce more accurate predictions. Our further analysis indicates that NoisyICL enables the model to provide more fair predictions, and also with more faithful confidence. Therefore, we believe that NoisyICL is an effective calibration of ICL. Our experimental code is uploaded to Github.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google