Claim Optimization in Computational Argumentation

要約

議論を最適に伝えることは、人間にとっても AI システムにとっても、あらゆる議論における説得の鍵となります。
これには、特定の議論に関連する明確かつ流暢な主張を使用することが必要です。
これまでの研究では、議論の質の自動評価が広範囲に研究されてきました。
しかし、これまでのところ、実際に品質を向上させるアプローチはありません。
このギャップを埋めるために、この文書では、クレームの最適化というタスクを提案します。つまり、主張のあるクレームを書き換えて、その配信を最適化するというものです。
複数のタイプの最適化が可能であるため、このタスクには、最初に BART などの大規模な言語モデルを使用して、コンテキスト情報を考慮して候補となるクレームの多様なセットを生成することでアプローチします。
次に、さまざまな品質指標を使用して最適な候補が選択されます。
英語コーパスの自動および人間による評価では、品質に基づいた候補者の選択はいくつかのベースラインを上回り、すべての主張の 60% が改善されました (悪化したのは 16% のみ)。
フォローアップ分析により、コピーの編集を超えて、私たちのアプローチは多くの場合詳細な主張を指定しますが、人間が行うよりも追加される証拠が少ないことが明らかになりました。
さらに、その機能は、説明書などの他の分野にもよく一般化されます。

要約(オリジナル)

An optimal delivery of arguments is key to persuasion in any debate, both for humans and for AI systems. This requires the use of clear and fluent claims relevant to the given debate. Prior work has studied the automatic assessment of argument quality extensively. Yet, no approach actually improves the quality so far. To fill this gap, this paper proposes the task of claim optimization: to rewrite argumentative claims in order to optimize their delivery. As multiple types of optimization are possible, we approach this task by first generating a diverse set of candidate claims using a large language model, such as BART, taking into account contextual information. Then, the best candidate is selected using various quality metrics. In automatic and human evaluation on an English-language corpus, our quality-based candidate selection outperforms several baselines, improving 60% of all claims (worsening 16% only). Follow-up analyses reveal that, beyond copy editing, our approach often specifies claims with details, whereas it adds less evidence than humans do. Moreover, its capabilities generalize well to other domains, such as instructional texts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google