Metric-Based In-context Learning: A Case Study in Text Simplification

要約

大規模言語モデルのインコンテキスト学習 (ICL) は、多くの自然言語処理タスクにとって強力なアプローチであることが証明されています。
ただし、使用するサンプルの質、量、順序によって結果が大きく異なる可能性があるため、ICL のサンプルを選択する最適な方法を決定するのは簡単ではありません。
このペーパーでは、ICL に最適で最も堅牢な例を選択する方法を調査するために、テキスト簡素化 (TS) のケーススタディを実施します。
我々は、SARI、圧縮率、BERT-Precision などの一般的に使用される TS メトリクスを選択に利用するメトリクスベースのインコンテキスト学習 (MBL) 手法を提案します。
TurkCorpus や ASSET などの標準 TS ベンチマークでさまざまなサイズの GPT モデルを使用した一連の広範な実験を通じて、上位の SARI スコアによって選択されたサンプルが GPT-175B などのより大きなモデルで最高のパフォーマンスを発揮する一方、圧縮率は一般に最高のパフォーマンスを発揮することを示しました。
GPT-13B や GPT-6.7B などの小型モデルの方が優れています。
さらに、MBL は一般的にサンプルの順序付けやドメイン外のテスト セットに対して堅牢であり、強力なベースラインや最先端の​​微調整された言語モデルよりも優れたパフォーマンスを発揮することを実証します。
最後に、大規模な GPT モデルの動作が、選択したメトリックによって暗黙的に制御できることを示します。
私たちの研究は、ICL で例を選択するための新しいフレームワークを提供し、テキスト簡略化タスクにおけるその有効性を実証し、より正確で効率的な NLG システムの新境地を開拓します。

要約(オリジナル)

In-context learning (ICL) for large language models has proven to be a powerful approach for many natural language processing tasks. However, determining the best method to select examples for ICL is nontrivial as the results can vary greatly depending on the quality, quantity, and order of examples used. In this paper, we conduct a case study on text simplification (TS) to investigate how to select the best and most robust examples for ICL. We propose Metric-Based in-context Learning (MBL) method that utilizes commonly used TS metrics such as SARI, compression ratio, and BERT-Precision for selection. Through an extensive set of experiments with various-sized GPT models on standard TS benchmarks such as TurkCorpus and ASSET, we show that examples selected by the top SARI scores perform the best on larger models such as GPT-175B, while the compression ratio generally performs better on smaller models such as GPT-13B and GPT-6.7B. Furthermore, we demonstrate that MBL is generally robust to example orderings and out-of-domain test sets, and outperforms strong baselines and state-of-the-art finetuned language models. Finally, we show that the behaviour of large GPT models can be implicitly controlled by the chosen metric. Our research provides a new framework for selecting examples in ICL, and demonstrates its effectiveness in text simplification tasks, breaking new ground for more accurate and efficient NLG systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google