TriviaHG: A Dataset for Automatic Hint Generation from Factoid Questions

要約

今日、個人は質問に対する答えを求めて大規模言語モデルと対話する傾向があります。
このような答えが誰でも簡単に得られる時代においては、人間の認知能力を刺激し維持すること、そして人間が優れた推論スキルを維持することが保証されることが重要になります。
この研究は、実行可能な解決策として (最終的な答えの代わりに、または答えを与える前に) ヒントを提案することで、そのようなニーズに応えています。
私たちは、ファクトイド質問のヒントを自動生成するフレームワークを導入し、それを使用して TriviaHG を構築します。TriviaHG は、TriviaQA データセットの 16,645 の質問に対応する 160,230 のヒントを備えた新しい大規模データセットです。
さらに、ヒントの収束性と親しみやすさの品質属性を測定する自動評価方法を紹介します。
TriviaHG データセットと提案された評価方法を評価するために、10 人の人間に 2,791 個のヒントに注釈を付けるよう依頼し、6 人の人間に提供されたヒントを使用して質問に答えるよう依頼しました。
ヒントの有効性はさまざまで、答えが簡単、中程度、難しい質問の成功率はそれぞれ 96%、78%、36% でした。
さらに、提案された自動評価方法は、アノテーターの結果と強い相関関係を示しました。
最終的に、この調査結果は、未知の質問を解決する際のヒントの促進的な役割、解答の難易度に対するヒントの質の依存性、およびヒントの評価に自動評価方法を採用する実現可能性という 3 つの重要な洞察を強調しています。

要約(オリジナル)

Nowadays, individuals tend to engage in dialogues with Large Language Models, seeking answers to their questions. In times when such answers are readily accessible to anyone, the stimulation and preservation of human’s cognitive abilities, as well as the assurance of maintaining good reasoning skills by humans becomes crucial. This study addresses such needs by proposing hints (instead of final answers or before giving answers) as a viable solution. We introduce a framework for the automatic hint generation for factoid questions, employing it to construct TriviaHG, a novel large-scale dataset featuring 160,230 hints corresponding to 16,645 questions from the TriviaQA dataset. Additionally, we present an automatic evaluation method that measures the Convergence and Familiarity quality attributes of hints. To evaluate the TriviaHG dataset and the proposed evaluation method, we enlisted 10 individuals to annotate 2,791 hints and tasked 6 humans with answering questions using the provided hints. The effectiveness of hints varied, with success rates of 96%, 78%, and 36% for questions with easy, medium, and hard answers, respectively. Moreover, the proposed automatic evaluation methods showed a robust correlation with annotators’ results. Conclusively, the findings highlight three key insights: the facilitative role of hints in resolving unknown questions, the dependence of hint quality on answer difficulty, and the feasibility of employing automatic evaluation methods for hint assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google