A Hard Nut to Crack: Idiom Detection with Conversational Large Language Models

要約

この研究では、大規模言語モデル (LLM) を使用した慣用的な言語処理を調査します。
慣用言語テスト スイート IdioTS を紹介します。これは、文レベルで比喩的な言語を処理する LLM の能力を評価するために言語専門家によって特別に設計された、難しい例の新しいデータセットです。
我々は、LLM が与えられた英語の文の中から慣用的な表現を検出するように指示される、イディオム検出タスクに基づいた包括的な評価方法論を提案します。
結果の完全な自動および手動評価と広範なエラー分析を示します。

要約(オリジナル)

In this work, we explore idiomatic language processing with Large Language Models (LLMs). We introduce the Idiomatic language Test Suite IdioTS, a new dataset of difficult examples specifically designed by language experts to assess the capabilities of LLMs to process figurative language at sentence level. We propose a comprehensive evaluation methodology based on an idiom detection task, where LLMs are prompted with detecting an idiomatic expression in a given English sentence. We present a thorough automatic and manual evaluation of the results and an extensive error analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google