When Do Discourse Markers Affect Computational Sentence Understanding?

要約

自動自然言語処理（NLP）の機能とユースケースは、ここ数年で大きく成長した。人間が談話連結詞をどのように扱うかを理解することに多くの研究が費やされてきたが、計算システムにおいてはこの現象は十分に研究されていない。したがって、NLPモデルを顕微鏡の下に置き、自然言語の複雑さの中で適切に理解、処理、推論できるかどうかを検証することが重要である。本章では、自動文章処理システムの背後にある主なメカニズムを順を追って紹介し、次に談話結合処理の評価に焦点を当てる。英語の談話接続詞を理解する能力について9つの一般的なシステムを評価し、文脈と言語理解タスクが接続詞の理解にどのような影響を与えるかを分析する。その結果、自然言語処理システムはすべての談話接続語を同じように処理できるわけではないこと、異なる種類の接続語の計算処理の複雑さは、人間の処理に見られると推定される複雑さの順序と必ずしも一致しないことがわかった。さらに、人間は読解の過程で影響を受けやすいが、最終的な理解パフォーマンスでは必ずしも影響を受けないが、談話接続語はNLPシステムの最終的な精度に大きな影響を与える。接続詞の知識が豊富であればあるほど、不適切な接続詞がシステムに与える悪影響は大きくなる。このことは、談話接続語を正しく説明することが、計算による自然言語処理にとって重要であることを示唆している。

要約(オリジナル)

The capabilities and use cases of automatic natural language processing (NLP) have grown significantly over the last few years. While much work has been devoted to understanding how humans deal with discourse connectives, this phenomenon is understudied in computational systems. Therefore, it is important to put NLP models under the microscope and examine whether they can adequately comprehend, process, and reason within the complexity of natural language. In this chapter, we introduce the main mechanisms behind automatic sentence processing systems step by step and then focus on evaluating discourse connective processing. We assess nine popular systems in their ability to understand English discourse connectives and analyze how context and language understanding tasks affect their connective comprehension. The results show that NLP systems do not process all discourse connectives equally well and that the computational processing complexity of different connective kinds is not always consistently in line with the presumed complexity order found in human processing. In addition, while humans are more inclined to be influenced during the reading procedure but not necessarily in the final comprehension performance, discourse connectives have a significant impact on the final accuracy of NLP systems. The richer knowledge of connectives a system learns, the more negative effect inappropriate connectives have on it. This suggests that the correct explicitation of discourse connectives is important for computational natural language processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL