cPAPERS: A Dataset of Situated and Multimodal Interactive Conversations in Scientific Papers

要約

状況に応じたマルチモーダル対話型会話 (SIMMC) における新たな研究分野には、科学論文でのインタラクションが含まれます。
科学論文は主にテキスト、方程式、図、表で構成されているため、研究科学者が必要とする深い探求と対話をサポートするには、各構成要素に特化した SIMMC メソッドを開発する必要があります。
この研究では、これらの論文コンポーネントと、arXiv で利用可能な科学文書からの関連参考文献に基づいた学術論文のレビューからの会話型の質問と回答のペアのデータセットである Conversational Papers (cPAPERS) を紹介します。
OpenReview からこれらの質問と回答のペアを収集し、それらを LaTeX ソース ファイルのコンテキスト情報と関連付けるデータ収集戦略を紹介します。
さらに、cPAPERS データセットに対処するために、ゼロショット構成と微調整構成の両方で大規模言語モデル (LLM) を利用する一連のベースライン アプローチを紹介します。

要約(オリジナル)

An emerging area of research in situated and multimodal interactive conversations (SIMMC) includes interactions in scientific papers. Since scientific papers are primarily composed of text, equations, figures, and tables, SIMMC methods must be developed specifically for each component to support the depth of inquiry and interactions required by research scientists. This work introduces Conversational Papers (cPAPERS), a dataset of conversational question-answer pairs from reviews of academic papers grounded in these paper components and their associated references from scientific documents available on arXiv. We present a data collection strategy to collect these question-answer pairs from OpenReview and associate them with contextual information from LaTeX source files. Additionally, we present a series of baseline approaches utilizing Large Language Models (LLMs) in both zero-shot and fine-tuned configurations to address the cPAPERS dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google