N2C2: Nearest Neighbor Enhanced Confidence Calibration for Cross-Lingual In-Context Learning

要約

コンテキスト内学習（ICL）の最近の進歩は、言語モデルがデモンストレーションが提供されるとパフォーマンスを大幅に改善できることを示しています。
ただし、横断的シナリオでのICLのキャリブレーションと予測信頼をモデル化することにはほとんど注意が払われていません。
このギャップを橋渡しするために、言語間感情分類のためにICLの徹底的な分析を実施します。
私たちの調査結果は、ICLが横断的なシナリオでパフォーマンスが低下し、精度が低く、高キャリブレーションエラーを提示することを示唆しています。
これに応じて、予測信頼キャリブレーションのために拡張分類器を拡張した最新の隣人を使用する新しいアプローチN2C2を提案します。
N2C2は、キャッシュされた少数のショットインスタンスのデータストアを活用することにより、予測ギャップを狭めます。
具体的には、N2C2はデータストアからの予測を統合し、自信に対応する分布、意味的に一貫した検索表現、および適応型隣接併用モジュールを組み込み、限られた数のサポートインスタンスを効果的に利用します。
2つの多言語センチメント分類データセットの評価は、N2C2が従来のICLを上回ることを示しています。
精度とキャリブレーションエラーの観点から、微調整、迅速なチューニング、最近の最新の方法を上回ります。

要約(オリジナル)

Recent advancements of in-context learning (ICL) show language models can significantly improve their performance when demonstrations are provided. However, little attention has been paid to model calibration and prediction confidence of ICL in cross-lingual scenarios. To bridge this gap, we conduct a thorough analysis of ICL for cross-lingual sentiment classification. Our findings suggest that ICL performs poorly in cross-lingual scenarios, exhibiting low accuracy and presenting high calibration errors. In response, we propose a novel approach, N2C2, which employs a -nearest neighbors augmented classifier for prediction confidence calibration. N2C2 narrows the prediction gap by leveraging a datastore of cached few-shot instances. Specifically, N2C2 integrates the predictions from the datastore and incorporates confidence-aware distribution, semantically consistent retrieval representation, and adaptive neighbor combination modules to effectively utilize the limited number of supporting instances. Evaluation on two multilingual sentiment classification datasets demonstrates that N2C2 outperforms traditional ICL. It surpasses fine tuning, prompt tuning and recent state-of-the-art methods in terms of accuracy and calibration errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google