FoQA: A Faroese Question-Answering Dataset

要約

大規模な言語モデル（LLMS）とヒューマン検証を組み合わせた半自動アプローチを使用して作成された2,000サンプルを使用したファローズ抽出質問（QA）データセットであるFOQAを提示します。
データセットは、最初のQA生成にGPT-4ターボを使用してファローズウィキペディアの記事から生成され、その後、複雑さとネイティブスピーカーの検証を増やすためにrephrasingが続き、品質を確保します。
LLMSやBERTを含む複数のモデルにわたってFOQAのベースラインパフォーマンスメトリックを提供し、ファローのQAパフォーマンスを評価する際の有効性を示しています。
データセットは、3つのバージョンでリリースされます。2,000サンプルの検証済みセット、10,001のすべての生成サンプルの完全なセット、エラー分析のために2,395の拒否サンプルのセットです。

要約(オリジナル)

We present FoQA, a Faroese extractive question-answering (QA) dataset with 2,000 samples, created using a semi-automated approach combining Large Language Models (LLMs) and human validation. The dataset was generated from Faroese Wikipedia articles using GPT-4-turbo for initial QA generation, followed by question rephrasing to increase complexity and native speaker validation to ensure quality. We provide baseline performance metrics for FoQA across multiple models, including LLMs and BERT, demonstrating its effectiveness in evaluating Faroese QA performance. The dataset is released in three versions: a validated set of 2,000 samples, a complete set of all 10,001 generated samples, and a set of 2,395 rejected samples for error analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google