Evaluating Large Language Model Capability in Vietnamese Fact-Checking Data Generation

要約

大規模言語モデル (LLM) は、読解力と推論能力を徐々に向上させ、さまざまな目的のための言語データの自動生成など、さまざまな複雑な言語タスクに適用されています。
ただし、ベトナム語のような低リソース言語での自動データ生成に LLM を適用する研究はまだ発展途上であり、包括的な評価が不足しています。
このペーパーでは、重大なデータ制限に直面しているベトナムのファクトチェックタスクのための自動データ生成のための LLM の使用について検討します。
具体的には、LLM の情報合成能力を評価するために、複数の証拠文から主張が合成されるファクトチェック データに焦点を当てています。
私たちは、LLM でのシンプルなプロンプト技術を使用した自動データ構築プロセスを開発し、生成されたデータの品質を向上させるためのいくつかの方法を検討します。
LLM によって生成されたデータの品質を評価するために、手動による品質評価と言語モデルを使用したパフォーマンス評価の両方を実施します。
実験結果と手動による評価は、生成されたデータの品質は微調整技術によって大幅に向上しましたが、LLM は依然として人間が生成したデータの品質に匹敵することができないことを示しています。

要約(オリジナル)

Large Language Models (LLMs), with gradually improving reading comprehension and reasoning capabilities, are being applied to a range of complex language tasks, including the automatic generation of language data for various purposes. However, research on applying LLMs for automatic data generation in low-resource languages like Vietnamese is still underdeveloped and lacks comprehensive evaluation. In this paper, we explore the use of LLMs for automatic data generation for the Vietnamese fact-checking task, which faces significant data limitations. Specifically, we focus on fact-checking data where claims are synthesized from multiple evidence sentences to assess the information synthesis capabilities of LLMs. We develop an automatic data construction process using simple prompt techniques on LLMs and explore several methods to improve the quality of the generated data. To evaluate the quality of the data generated by LLMs, we conduct both manual quality assessments and performance evaluations using language models. Experimental results and manual evaluations illustrate that while the quality of the generated data has significantly improved through fine-tuning techniques, LLMs still cannot match the data quality produced by humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google