Finding Challenging Metaphors that Confuse Pretrained Language Models

要約

メタファーは、幅広い NLP タスクに課題を引き起こすと考えられています。
これにより、計算メタファー処理の領域が生まれます。
ただし、どのような種類のメタファーが現在の最先端モデルに挑戦しているのかは依然として不明です。
このペーパーでは、VUA メタファー データセットでさまざまな NLP モデルをテストし、メタファーがさまざまな下流タスクにおけるモデルのパフォーマンスにどの程度影響するかを定量化します。
分析の結果、VUA には、下流のタスクにほとんど困難をもたらす多くのメタファーが含まれていることが明らかになりました。
私たちは研究者の注意をこれらの比喩から移し、代わりに挑戦的な比喩に焦点を当てたいと考えています。
難しいメタファーを識別するために、特定のモデルに異議を唱えるメタファーを識別する自動パイプラインを提案します。
分析の結果、検出されたハード メタファーは VUA と大きく対照的であり、一般的なさまざまな NLP について、機械翻訳の精度が 16\%、QA パフォーマンスが 4\%、NLI が 7\%、メタファー識別再現率が 14\% 以上低下していることが実証されました。
システム。

要約(オリジナル)

Metaphors are considered to pose challenges for a wide spectrum of NLP tasks. This gives rise to the area of computational metaphor processing. However, it remains unclear what types of metaphors challenge current state-of-the-art models. In this paper, we test various NLP models on the VUA metaphor dataset and quantify to what extent metaphors affect models’ performance on various downstream tasks. Analysis reveals that VUA includes a large number of metaphors that pose little difficulty to downstream tasks. We would like to shift the attention of researchers away from these metaphors to instead focus on challenging metaphors. To identify hard metaphors, we propose an automatic pipeline that identifies metaphors that challenge a particular model. Our analysis demonstrates that our detected hard metaphors contrast significantly with VUA and reduce the accuracy of machine translation by 16\%, QA performance by 4\%, NLI by 7\%, and metaphor identification recall by over 14\% for various popular NLP systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google