Unsupervised Calibration through Prior Adaptation for Text Classification using Large Language Models

要約

現在、さまざまな自然言語タスクが大規模言語モデル (LLM) を使用して対処されています。
これらのモデルは通常、非常に大量の教師なしテキスト データを使用してトレーニングされ、微調整、キャリブレーション、またはコンテキスト内学習などの方法を使用して下流の自然言語タスクを実行するように適応されます。
この研究では、ラベル付きサンプルや少数のドメイン内サンプル クエリを必要とせずにテキスト分類タスクを実行するために、事前のクラス分布を適応させるアプローチを提案します。
提案されたアプローチは、LLM をブラック ボックスとして扱い、モデルの事後補正をタスクに行う段階を追加します。
結果は、これらの方法がプロンプト内のさまざまな数のトレーニング ショットに対して非適応モデルよりも優れていることと、適応データを使用せずにキャリブレーションが実行された以前のアプローチを示しています。

要約(オリジナル)

A wide variety of natural language tasks are currently being addressed with large-scale language models (LLMs). These models are usually trained with a very large amount of unsupervised text data and adapted to perform a downstream natural language task using methods like fine-tuning, calibration or in-context learning. In this work, we propose an approach to adapt the prior class distribution to perform text classification tasks without the need for labelled samples and only few in-domain sample queries. The proposed approach treats the LLM as a black box, adding a stage where the model posteriors are calibrated to the task. Results show that these methods outperform the un-adapted model for different number of training shots in the prompt and a previous approach were calibration is performed without using any adaptation data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google