Location-Aware Visual Question Generation with Lightweight Models

要約

この研究では、特定の地理的位置に関連するデータから魅力的な質問を生成することを目的とした、位置認識ビジュアル質問生成 (LocaVQG) という新しいタスクが導入されています。
具体的には、このような位置認識情報を周囲の画像と GPS 座標で表現します。
このタスクに取り組むために、GPT-4 を活用して多様で洗練された質問を生成するデータセット生成パイプラインを紹介します。
次に、LocaVQG タスクに対応し、携帯電話などのエッジ デバイスに適合する軽量モデルを学習することを目指します。
この目的を達成するために、位置を認識した情報から魅力的な質問を確実に生成できる手法を提案します。
私たちが提案した方法は、人間による評価（エンゲージメント、グラウンディング、一貫性など）や自動評価指標（BERTScore、ROUGE-2など）に関するベースラインを上回ります。
さらに、データセットの生成とタスクの解決の両方について提案した手法を正当化するために、広範なアブレーション研究を実施しています。

要約(オリジナル)

This work introduces a novel task, location-aware visual question generation (LocaVQG), which aims to generate engaging questions from data relevant to a particular geographical location. Specifically, we represent such location-aware information with surrounding images and a GPS coordinate. To tackle this task, we present a dataset generation pipeline that leverages GPT-4 to produce diverse and sophisticated questions. Then, we aim to learn a lightweight model that can address the LocaVQG task and fit on an edge device, such as a mobile phone. To this end, we propose a method which can reliably generate engaging questions from location-aware information. Our proposed method outperforms baselines regarding human evaluation (e.g., engagement, grounding, coherence) and automatic evaluation metrics (e.g., BERTScore, ROUGE-2). Moreover, we conduct extensive ablation studies to justify our proposed techniques for both generating the dataset and solving the task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google