Revisiting Zero-Shot Abstractive Summarization in the Era of Large Language Models from the Perspective of Position Bias

要約

我々は、ラージ・ランゲージ・モデル（LLM）におけるゼロショット抽象的要約を、ポジション・バイアスを測定することによって特徴付け、研究する。ポジションバイアスは、モデルが入力テキストの特定の部分からの情報を他の部分よりも不当に優先する傾向を捉え、望ましくない振る舞いをもたらす。4つの多様な実世界データセットでの多くの実験を通して、GPT 3.5-Turbo、Llama-2、Dolly-v2などの複数のLLMモデルや、PegasusやBARTなどの最先端の事前学習されたエンコーダ・デコーダ抽象的要約モデルにおける位置バイアスを研究する。我々の発見は、ゼロショット要約タスクにおけるモデルの性能と位置の偏りに関する新しい洞察と議論につながる。

要約(オリジナル)

We characterize and study zero-shot abstractive summarization in Large Language Models (LLMs) by measuring position bias, which we propose as a general formulation of the more restrictive lead bias phenomenon studied previously in the literature. Position bias captures the tendency of a model unfairly prioritizing information from certain parts of the input text over others, leading to undesirable behavior. Through numerous experiments on four diverse real-world datasets, we study position bias in multiple LLM models such as GPT 3.5-Turbo, Llama-2, and Dolly-v2, as well as state-of-the-art pretrained encoder-decoder abstractive summarization models such as Pegasus and BART. Our findings lead to novel insights and discussion on performance and position bias of models for zero-shot summarization tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL