Rolling the DICE on Idiomaticity: How LLMs Fail to Grasp Context

要約

人間によるイディオムの処理は、イディオムが出現する文脈上の文の理解に加え、頻度などの言語固有の特徴や、親しみやすさなどの話者固有の要素の理解に依存しています。
LLM は慣用句検出タスクで高いパフォーマンスを示していますが、この成功は既存のデータセットの推論ショートカットに起因している可能性があります。
この目的を達成するために、LLM が慣用的な意味を明確にするためにコンテキストを効果的に使用できるかどうかをテストするように設計された、新しい制御された対照的なデータセットを構築します。
さらに、共起頻度と文確率がモデルのパフォーマンスにどのような影響を与えるかを調査します。
私たちの調査結果は、LLM が周囲のコンテキストに注意を払う必要がある場合に慣用性を解決できないことがよくあること、および可能性が高い文ではモデルのパフォーマンスが優れていることを明らかにしています。
式の連語頻度もパフォーマンスに影響します。
私たちはコードとデータセットを公開しています。

要約(オリジナル)

Human processing of idioms relies on understanding the contextual sentences in which idioms occur, as well as language-intrinsic features such as frequency and speaker-intrinsic factors like familiarity. While LLMs have shown high performance on idiomaticity detection tasks, this success may be attributed to reasoning shortcuts in existing datasets. To this end, we construct a novel, controlled contrastive dataset designed to test whether LLMs can effectively use context to disambiguate idiomatic meaning. Additionally, we explore how collocational frequency and sentence probability influence model performance. Our findings reveal that LLMs often fail to resolve idiomaticity when it is required to attend to the surrounding context, and that models perform better on sentences that have higher likelihood. The collocational frequency of expressions also impacts performance. We make our code and dataset publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google