Label-Efficient Model Selection for Text Generation

要約

特定のターゲット タスクのモデルの選択には、さまざまなモデルの出力の品質に関する広範な注釈が必要になる場合があるため、コストがかかる可能性があります。
候補テキスト生成モデル間で情報に基づいた決定を下すための効率的な方法である DiffUse を紹介します。
DiffUse は、必要な設定アノテーションの量を減らし、評価を実行する際の貴重な時間とリソースを節約します。
DiffUse は、モデル出力間のセマンティクスの違いを表す埋め込みをクラスタリングすることにより、インスタンスをインテリジェントに選択します。
したがって、好みの決定に役立つ例のサブセットを識別できます。
私たちの方法はモデルに依存せず、あらゆるテキスト生成モデルに適用できます。
さらに、アノテーションを付けるインスタンスの数を動的に決定するための実用的な反復アプローチを提案します。
数百のモデルペアにわたる一連の実験で、DiffUse が高い評価の信頼性を維持しながら、必要なアノテーションの数を最大 75% 大幅に削減できることを実証しました。

要約(オリジナル)

Model selection for a given target task can be costly, as it may entail extensive annotation of the quality of outputs of different models. We introduce DiffUse, an efficient method to make an informed decision between candidate text generation models. DiffUse reduces the required amount of preference annotations, thus saving valuable time and resources in performing evaluation. DiffUse intelligently selects instances by clustering embeddings that represent the semantic differences between model outputs. Thus, it is able to identify a subset of examples that are more informative for preference decisions. Our method is model-agnostic, and can be applied to any text generation model. Moreover, we propose a practical iterative approach for dynamically determining how many instances to annotate. In a series of experiments over hundreds of model pairs, we demonstrate that DiffUse can dramatically reduce the required number of annotations — by up to 75% — while maintaining high evaluation reliability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google