Low-Cost Generation and Evaluation of Dictionary Example Sentences

要約

辞書の例文は、単語の定義や用法を説明する上で重要な役割を果たしますが、高品質の文章を手動で作成するのは困難です。
これまでの研究では、言語モデルをトレーニングして例文を生成できることが実証されています。
しかし、彼らは作業の生成と評価のために、高価なカスタマイズされたモデルと語感データセットに依存していました。
基礎モデルの急速な進歩により、辞書例文の生成と評価のための低コストのゼロショット手法を作成する機会が生まれました。
OxfordEval と呼ばれる新しい自動評価指標を導入します。これは、既存の Oxford Dictionary 文に対する生成された文の勝率を測定します。
OxfordEval は人間の判断との高い整合性を示し、大規模な自動品質評価を可能にします。
私たちはさまざまな LLM と構成を試して、単語クラス全体で辞書文を生成します。
これを、マスクされた言語モデルを使用して単語の意味を最もよく表す文を特定して選択するという新しいアプローチで補完します。
OxfordEval によると、最終的なモデル FM-MLM は、オックスフォードのベースライン文に対して 85.1% 以上の勝率を達成しました。これに対し、以前のモデルで生成された文の勝率は 39.8% でした。

要約(オリジナル)

Dictionary example sentences play an important role in illustrating word definitions and usage, but manually creating quality sentences is challenging. Prior works have demonstrated that language models can be trained to generate example sentences. However, they relied on costly customized models and word sense datasets for generation and evaluation of their work. Rapid advancements in foundational models present the opportunity to create low-cost, zero-shot methods for the generation and evaluation of dictionary example sentences. We introduce a new automatic evaluation metric called OxfordEval that measures the win-rate of generated sentences against existing Oxford Dictionary sentences. OxfordEval shows high alignment with human judgments, enabling large-scale automated quality evaluation. We experiment with various LLMs and configurations to generate dictionary sentences across word classes. We complement this with a novel approach of using masked language models to identify and select sentences that best exemplify word meaning. The eventual model, FM-MLM, achieves over 85.1% win rate against Oxford baseline sentences according to OxfordEval, compared to 39.8% win rate for prior model-generated sentences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google