Assessing Open-Source Large Language Models on Argumentation Mining Subtasks

要約

私たちは、議論マイニング (AM) における 4 つのオープンソース大規模言語モデル (LLM) の機能を調査します。
私たちは 3 つの異なるコーパスに対して実験を行います。
説得エッセイ（PE）、議論的マイクロテキスト（AMT）パート 1 およびパート 2。2 つの議論マイニング サブタスクに基づいています：（i）議論的談話単位分類（ADUC）、および（ii）議論的関係分類（ARC）。
この研究は、Mistral 7B、Mixtral8x7B、LlamA2 7B、および LlamA3 8B を含むオープンソース LLM の議論能力を、ゼロショット シナリオと少数ショット シナリオの両方で評価することを目的としています。
私たちの分析は、将来の研究活動において、オープンソース LLM を使用した計算論証のさらなる評価に貢献します。

要約(オリジナル)

We explore the capability of four open-sourcelarge language models (LLMs) in argumentation mining (AM). We conduct experiments on three different corpora; persuasive essays(PE), argumentative microtexts (AMT) Part 1 and Part 2, based on two argumentation mining sub-tasks: (i) argumentative discourse units classifications (ADUC), and (ii) argumentative relation classification (ARC). This work aims to assess the argumentation capability of open-source LLMs, including Mistral 7B, Mixtral8x7B, LlamA2 7B and LlamA3 8B in both, zero-shot and few-shot scenarios. Our analysis contributes to further assessing computational argumentation with open-source LLMs in future research efforts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google