How would Stance Detection Techniques Evolve after the Launch of ChatGPT?

要約

タイトル：「ChatGPTの登場後、どのようにスタンス検出技術は進化するか」

要約：
– スタンス検出とは、与えられたテキストにおいて対象物に対する立場（賛成、反対、中立）を抽出するタスクを指す。ソーシャルメディアのコンテンツが増加するにつれて、この研究は注目を集めている。
– スタンス検出を処理する従来のフレームワークは、テキスト分類タスクに変換することである。ディープラーニングモデルは、既にルールベースのモデルや従来の機械学習モデルを解決するために採用されている。
– 現在のディープニューラルネットワークは、不十分なラベル付きデータおよびソーシャルメディア投稿の情報、深層学習モデルの説明不能性という2つの主要な課題に直面している。
– ChatGPTという新しい事前学習言語モデルが2022年11月30日に投入された。スタンス検出タスクにおいて、SemEval-2016およびP-Stanceなどの一般的に使用されるデータセットに対して、ChatGPTがSOTAまたは同等のパフォーマンスを実現することができることが実験により示された。同時に、ChatGPTは自身の予測を説明することができ、既存のモデルでは実現不可能である。分類結果を提供できないケースに対する説明は特に有用である。
– ChatGPTは、NLPのスタンス検出タスクにおける最高のAIモデルになる可能性があるか、少なくともこの分野の研究パラダイムを変える可能性がある。ChatGPTはまた、スタンス検出のための説明的AIの構築の可能性を開く。

要約(オリジナル)

Stance detection refers to the task of extracting the standpoint (Favor, Against or Neither) towards a target in given texts. Such research gains increasing attention with the proliferation of social media contents. The conventional framework of handling stance detection is converting it into text classification tasks. Deep learning models have already replaced rule-based models and traditional machine learning models in solving such problems. Current deep neural networks are facing two main challenges which are insufficient labeled data and information in social media posts and the unexplainable nature of deep learning models. A new pre-trained language model chatGPT was launched on Nov 30, 2022. For the stance detection tasks, our experiments show that ChatGPT can achieve SOTA or similar performance for commonly used datasets including SemEval-2016 and P-Stance. At the same time, ChatGPT can provide explanation for its own prediction, which is beyond the capability of any existing model. The explanations for the cases it cannot provide classification results are especially useful. ChatGPT has the potential to be the best AI model for stance detection tasks in NLP, or at least change the research paradigm of this field. ChatGPT also opens up the possibility of building explanatory AI for stance detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI