A Hybrid Intelligence Method for Argument Mining

要約

大規模な調査ツールを使用すると、意見コーパスとして市民のフィードバックを収集できます。
大規模で騒がしい意見の集合から重要な議論を抽出することは、意見を迅速かつ正確に理解するのに役立ちます。
完全に自動化された手法では引数を抽出できますが、(1) 大量のアノテーション コストを引き起こす大規模なラベル付きデータセットが必要であり、(2) 既知の視点ではうまく機能しますが、新しい視点では機能しません。
私たちは、自動処理の速度と人間の理解力と推論能力を組み合わせて、意見のあるテキストから議論を抽出するためのハイブリッド (人間 + AI) 手法である HyEnA を提案します。
私たちは、3 つの市民フィードバック コーパスに基づいて HyEnA を評価します。
一方で、多様な意見の一般的なセットと比較した場合、HyEnA は最先端の自動化された手法よりも高いカバレッジと精度を達成しており、人間の洞察の必要性が正当化されていることがわかりました。
一方、HyEnA は、（完全に手動による）専門家による分析と比較して人的労力が少なく、品質を損なうことがないため、人間と人工知能を組み合わせる利点が実証されています。

要約(オリジナル)

Large-scale survey tools enable the collection of citizen feedback in opinion corpora. Extracting the key arguments from a large and noisy set of opinions helps in understanding the opinions quickly and accurately. Fully automated methods can extract arguments but (1) require large labeled datasets that induce large annotation costs and (2) work well for known viewpoints, but not for novel points of view. We propose HyEnA, a hybrid (human + AI) method for extracting arguments from opinionated texts, combining the speed of automated processing with the understanding and reasoning capabilities of humans. We evaluate HyEnA on three citizen feedback corpora. We find that, on the one hand, HyEnA achieves higher coverage and precision than a state-of-the-art automated method when compared to a common set of diverse opinions, justifying the need for human insight. On the other hand, HyEnA requires less human effort and does not compromise quality compared to (fully manual) expert analysis, demonstrating the benefit of combining human and artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google