A Semantic Approach to Negation Detection and Word Disambiguation with Natural Language Processing

要約

この研究の目的は、語義の曖昧性解消によってテキストの語彙構造を一意に評価することにより、文中の否定を検出する方法を実証することです。
提案されたフレームワークは、テキスト内のさまざまな表現のすべての固有の機能を調べて、すべてのトークンの文脈上の使用法を解決し、感情分析に対する否定の影響を解読します。
一般的な表現検出器を適用すると、この重要なステップがスキップされるため、否定の網にかかった語根が無視され、機械学習や感情分析でのテキスト分類が困難になります。
この研究では、自然言語処理 (NLP) アプローチを採用して、WordHoard と呼ばれる NLP ライブラリによって提供される知識ベースを使用して、テキスト分類の精度を高めるために否定された単語を発見して反意語化します。
初期の結果は、否定を無視したり、逆極性スコアを割り当てたりすることがある従来の感情分析よりも、最初の分析が改善されたことを示しています。
SentiWordNet アナライザーは 35%、Vader アナライザーは 20%、TextBlob は 6% 改善されました。

要約(オリジナル)

This study aims to demonstrate the methods for detecting negations in a sentence by uniquely evaluating the lexical structure of the text via word-sense disambiguation. The proposed framework examines all the unique features in the various expressions within a text to resolve the contextual usage of all tokens and decipher the effect of negation on sentiment analysis. The application of popular expression detectors skips this important step, thereby neglecting the root words caught in the web of negation and making text classification difficult for machine learning and sentiment analysis. This study adopts the Natural Language Processing (NLP) approach to discover and antonimize words that were negated for better accuracy in text classification using a knowledge base provided by an NLP library called WordHoard. Early results show that our initial analysis improved on traditional sentiment analysis, which sometimes neglects negations or assigns an inverse polarity score. The SentiWordNet analyzer was improved by 35%, the Vader analyzer by 20% and the TextBlob by 6%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google