Investigating Answerability of LLMs for Long-Form Question Answering

要約

LLM の新時代に突入するにつれ、LLM の機能、制限、相違点を理解することがますます重要になっています。
この方向でのさらなる進歩に向けて、私たちは大規模な LLM (ChatGPT など) と、小規模ながら効果的なオープンソース LLM およびそれらの精製された対応物との間のギャップについて、より深い理解を構築するよう努めています。
この目的を達成するために、私たちは長文質問応答 (LFQA) に特に焦点を当てています。これは、LFQA には実用的で影響力のあるアプリケーション (例: トラブルシューティング、顧客サービスなど) がいくつかあるものの、まだ研究が不十分であり、LLM にとっては課題であるためです。
我々は、抽象的な要約から質問を生成する方法を提案し、長い文書の要約からフォローアップの質問を生成すると、LLM が長い文脈から推論し推論するのに困難な設定を生み出す可能性があることを示します。
私たちの実験結果は次のことを裏付けています: (1) 抽象的な要約から質問を生成する私たちの提案方法は、LLM にとって困難な設定を引き起こし、ChatGPT のような LLM とオープンソース LLM (Alpaca、Llama) の間のパフォーマンスのギャップを示しています (2) オープンソース LLM は次のことを示します。
元の文書から生成された質問のコンテキストへの依存度は減少しましたが、要約から生成された質問の生成能力は、特に長いコンテキスト (>1024 トークン) では大幅に低下しました。

要約(オリジナル)

As we embark on a new era of LLMs, it becomes increasingly crucial to understand their capabilities, limitations, and differences. Toward making further progress in this direction, we strive to build a deeper understanding of the gaps between massive LLMs (e.g., ChatGPT) and smaller yet effective open-source LLMs and their distilled counterparts. To this end, we specifically focus on long-form question answering (LFQA) because it has several practical and impactful applications (e.g., troubleshooting, customer service, etc.) yet is still understudied and challenging for LLMs. We propose a question-generation method from abstractive summaries and show that generating follow-up questions from summaries of long documents can create a challenging setting for LLMs to reason and infer from long contexts. Our experimental results confirm that: (1) our proposed method of generating questions from abstractive summaries pose a challenging setup for LLMs and shows performance gaps between LLMs like ChatGPT and open-source LLMs (Alpaca, Llama) (2) open-source LLMs exhibit decreased reliance on context for generated questions from the original document, but their generation capabilities drop significantly on generated questions from summaries — especially for longer contexts (>1024 tokens)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google