NEO-BENCH: Evaluating Robustness of Large Language Models with Neologisms

要約

大規模言語モデル (LLM) のパフォーマンスは、モデルのトレーニングに使用されるデータと推論中に表示される新しいテキストとの間の時間的ドリフトによって低下します。
データのドリフトを引き起こす言語変化の原因の 1 つは十分に研究されていませんが、時間の経過とともに新造語、つまり新しい語形が出現することです。
私たちは、いくつかの一般的な収集方法を使用して、最近の英語の新語の多様なリソースを作成します。
新しい語を含む文と、新語を既存の代替語に置き換えたほぼ同一の文とを比較することにより、新語を使用して時間的ドリフトを分析します。
文中に単一の造語が導入されると、機械翻訳におけるモデルのパフォーマンスはほぼ半分になります。
これらの結果を動機として、さまざまな自然言語理解タスクとモデルの混乱を伴う新語に一般化する LLM の能力を評価するベンチマークを構築します。
ナレッジカットオフ日が遅いモデルでは、混乱が少なくなり、下流タスクでのパフォーマンスが向上します。
また、LLM は単語の言語的起源に基づいて異なる影響を受けます。これは、静的 LLM が新語に対処するのが複雑であることを示しています。
実験を再現するためのベンチマークとコードを公開します。

要約(オリジナル)

The performance of Large Language Models (LLMs) degrades from the temporal drift between data used for model training and newer text seen during inference. One understudied avenue of language change causing data drift is the emergence of neologisms — new word forms — over time. We create a diverse resource of recent English neologisms by using several popular collection methods. We analyze temporal drift using neologisms by comparing sentences containing new words with near-identical sentences that replace neologisms with existing substitute words. Model performance is nearly halved in machine translation when a single neologism is introduced in a sentence. Motivated by these results, we construct a benchmark to evaluate LLMs’ ability to generalize to neologisms with various natural language understanding tasks and model perplexity. Models with later knowledge cutoff dates yield lower perplexities and perform better in downstream tasks. LLMs are also affected differently based on the linguistic origins of words, indicating that neologisms are complex for static LLMs to address. We will release our benchmark and code for reproducing our experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google