ChatGPT Evaluation on Sentence Level Relations: A Focus on Temporal, Causal, and Discourse Relations

要約

タイトル：ChatGPTにおける文章レベルの関係評価：時間的、因果関係、および談話的関係に焦点を当てた評価

要約：

– この論文は、大規模なインタラクティブ言語モデルであるChatGPTの、「時間的関係」「因果関係」「談話関係」のような文間の関係に対するパフォーマンスを定量的に評価することを目的としています。
– ChatGPTは、様々なタスクにおいて有望なパフォーマンスを発揮しているため、時間的関係と因果関係、PDTB2.0ベースの談話関係、および論理理解の下流アプリケーションを含む13のデータセットの全テストセットについて、広範な評価を行います。
– 信頼できる結果を得るために、各タスクに対して3つの調整されたプロンプトテンプレートを採用し、ゼロショットプロンプトテンプレート、ゼロショットプロンプトエンジニアリング（PE）テンプレート、およびインコンテキストラーニング（ICL）プロンプトテンプレートを使用して、すべての主要な文ペア関係分類タスクの初期ベースラインスコアを確立します。
– ChatGPTは、原因関係を検出し推論することにおいて優れたパフォーマンスを発揮していますが、2つのイベントの時間的順序を識別することには熟達していないという結果が得られました。
– 既存の明示的な談話接続詞の多くの談話関係を認識できますが、暗黙的な談話関係はまだ困難なタスクです。
– ChatGPTは、談話関係を認識する前に対話の構造理解が必要な対話談話解析タスクにおいて、パフォーマンスが低くなります。

要約(オリジナル)

This paper aims to quantitatively evaluate the performance of ChatGPT, an interactive large language model, on inter-sentential relations such as temporal relations, causal relations, and discourse relations. Given ChatGPT’s promising performance across various tasks, we conduct extensive evaluations on the whole test sets of 13 datasets, including temporal and causal relations, PDTB2.0-based and dialogue-based discourse relations, and downstream applications on discourse understanding. To achieve reliable results, we adopt three tailored prompt templates for each task, including the zero-shot prompt template, zero-shot prompt engineering (PE) template, and in-context learning (ICL) prompt template, to establish the initial baseline scores for all popular sentence-pair relation classification tasks for the first time. We find that ChatGPT exhibits strong performance in detecting and reasoning about causal relations, while it may not be proficient in identifying the temporal order between two events. It can recognize most discourse relations with existing explicit discourse connectives, but the implicit discourse relation still remains a challenging task. Meanwhile, ChatGPT performs poorly in the dialogue discourse parsing task that requires structural understanding in a dialogue before being aware of the discourse relation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI