Can LLMs assist with Ambiguity? A Quantitative Evaluation of various Large Language Models on Word Sense Disambiguation

要約

現代のデジタルコミュニケーションでは、曖昧な言葉がよく見られます。
語彙のあいまいさは、データが限られているため、従来の Word Sense Disambiguation (WSD) 手法に課題をもたらします。
その結果、翻訳、情報検索、質問応答システムの効率がこれらの制限によって妨げられます。
この研究では、体系的なプロンプト拡張メカニズムと、さまざまな意味解釈で構成される知識ベース (KB) を組み合わせた新しいアプローチを使用して、WSD を改善するための大規模言語モデル (LLM) の使用を調査します。
提案された方法には、プロンプトを強化するためのヒューマンインループアプローチが組み込まれており、プロンプトは、品詞（POS）タグ付け、曖昧な単語の同義語、アスペクトベースのセンスフィルタリング、およびLLMをガイドするための少数ショットプロンプトによってサポートされています。
この作業では、数ショットの思考連鎖 (COT) プロンプトベースのアプローチを利用することで、パフォーマンスが大幅に向上することが実証されています。
評価はFEWSのテストデータとセンスタグを用いて実施しました。
この研究は、ソーシャルメディアやデジタルコミュニケーションにおける正確な単語の解釈を進歩させます。

要約(オリジナル)

Ambiguous words are often found in modern digital communications. Lexical ambiguity challenges traditional Word Sense Disambiguation (WSD) methods, due to limited data. Consequently, the efficiency of translation, information retrieval, and question-answering systems is hindered by these limitations. This study investigates the use of Large Language Models (LLMs) to improve WSD using a novel approach combining a systematic prompt augmentation mechanism with a knowledge base (KB) consisting of different sense interpretations. The proposed method incorporates a human-in-loop approach for prompt augmentation where prompt is supported by Part-of-Speech (POS) tagging, synonyms of ambiguous words, aspect-based sense filtering and few-shot prompting to guide the LLM. By utilizing a few-shot Chain of Thought (COT) prompting-based approach, this work demonstrates a substantial improvement in performance. The evaluation was conducted using FEWS test data and sense tags. This research advances accurate word interpretation in social media and digital communication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google