Can LLMs assist with Ambiguity? A Quantitative Evaluation of various Large Language Models on Word Sense Disambiguation

要約

あいまいな言葉は、現代のデジタルコミュニケーションでしばしば見られます。
語彙のあいまいさは、データが限られているため、従来の単語感覚解体（WSD）メソッドに挑戦します。
その結果、翻訳、情報の検索、および質問回答システムの効率は、これらの制限によって妨げられます。
この研究では、系統的な迅速な増強メカニズムとさまざまな感覚解釈で構成される知識ベース（KB）を組み合わせた新しいアプローチを使用して、WSDを改善するために大規模な言語モデル（LLM）の使用を調査しています。
提案された方法には、プロンプトがスピーチ（POS）タグ付け、あいまいな単語の同義語、アスペクトベースのセンスフィルタリング、LLMをガイドする少数のショットプロンプトによってサポートされるプロンプト増強のための人間のループアプローチが組み込まれています。
いくつかのショットチェーン（COT）プロンプトベースのアプローチを利用することにより、この作業はパフォーマンスの大幅な改善を示しています。
評価は、少数のテストデータとセンスタグを使用して実施されました。
この研究は、ソーシャルメディアとデジタルコミュニケーションにおける正確な単語解釈を進めています。

要約(オリジナル)

Ambiguous words are often found in modern digital communications. Lexical ambiguity challenges traditional Word Sense Disambiguation (WSD) methods, due to limited data. Consequently, the efficiency of translation, information retrieval, and question-answering systems is hindered by these limitations. This study investigates the use of Large Language Models (LLMs) to improve WSD using a novel approach combining a systematic prompt augmentation mechanism with a knowledge base (KB) consisting of different sense interpretations. The proposed method incorporates a human-in-loop approach for prompt augmentation where prompt is supported by Part-of-Speech (POS) tagging, synonyms of ambiguous words, aspect-based sense filtering and few-shot prompting to guide the LLM. By utilizing a few-shot Chain of Thought (COT) prompting-based approach, this work demonstrates a substantial improvement in performance. The evaluation was conducted using FEWS test data and sense tags. This research advances accurate word interpretation in social media and digital communication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google