Enhancing Textbook Question Answering Task with Large Language Models and Retrieval Augmented Generation

要約

教科書的な質問応答 (TQA) は、コンテキストとマルチモーダル データの複雑な性質により、人工知能における困難なタスクです。
以前の研究によりタスクは大幅に改善されましたが、モデルの推論が弱いことや、長いコンテキストでコンテキスト情報をキャプチャできないことなど、いくつかの制限がまだあります。
大規模言語モデル (LLM) の導入は AI の分野に革命をもたらしましたが、LLM を直接適用すると不正確な答えが得られることがよくあります。
この論文では、検索拡張生成 (RAG) 技術を組み込むことで概念がさまざまなレッスンに広がる TQA のドメイン外シナリオを処理し、転移学習を利用して長いコンテキストを処理し、推論能力を強化する方法論を提案します。
LLM モデル Llama-2 の監視付き微調整と RAG の組み込みにより、当社のアーキテクチャはベースラインを上回り、図表以外の多肢選択問題の検証セットで 4.12%、テスト セットで 9.84% の精度向上を達成しました。

要約(オリジナル)

Textbook question answering (TQA) is a challenging task in artificial intelligence due to the complex nature of context and multimodal data. Although previous research has significantly improved the task, there are still some limitations including the models’ weak reasoning and inability to capture contextual information in the lengthy context. The introduction of large language models (LLMs) has revolutionized the field of AI, however, directly applying LLMs often leads to inaccurate answers. This paper proposes a methodology that handle the out-of-domain scenario in TQA where concepts are spread across different lessons by incorporating the retrieval augmented generation (RAG) technique and utilize transfer learning to handle the long context and enhance reasoning abilities. Through supervised fine-tuning of the LLM model Llama-2 and the incorporation of RAG, our architecture outperforms the baseline, achieving a 4.12% accuracy improvement on validation set and 9.84% on test set for non-diagram multiple-choice questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google