AdaptEval: Evaluating Large Language Models on Domain Adaptation for Text Summarization

要約

大規模言語モデル (LLM) を使用した抽象的な要約タスクは進歩しているにもかかわらず、さまざまなドメインに容易に適応する能力を評価する研究は不足しています。
私たちは、微調整とコンテキスト内の学習設定の両方で、さまざまなドメインにわたる要約タスクに関する幅広い LLM のドメイン適応能力を評価します。
また、最初のドメイン適応評価スイートである AdaptEval も紹介します。
AdaptEval には、ドメイン ベンチマークとドメイン適応の分析を容易にする一連のメトリクスが含まれています。
私たちの結果は、LLM がパラメーターのスケールに関係なく、コンテキスト内学習設定で同等のパフォーマンスを示すことを示しています。

要約(オリジナル)

Despite the advances in the abstractive summarization task using Large Language Models (LLM), there is a lack of research that asses their abilities to easily adapt to different domains. We evaluate the domain adaptation abilities of a wide range of LLMs on the summarization task across various domains in both fine-tuning and in-context learning settings. We also present AdaptEval, the first domain adaptation evaluation suite. AdaptEval includes a domain benchmark and a set of metrics to facilitate the analysis of domain adaptation. Our results demonstrate that LLMs exhibit comparable performance in the in-context learning setting, regardless of their parameter scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google