chatIPCC: Grounding Conversational AI in Climate Science

要約

タイトル：「chatIPCC：気候科学に立脚した対話型AI」

要約：
– 大規模言語モデル(LLMs)が近年、質問応答タスク(QA)で驚異的な成果を収めているが、ホールシネーション（空想）と訓練フェーズ後の時代遅れの情報という2つの課題に直面している。
– 気候変動などの重要な領域では、信頼できる情報源から正確で最新の情報を限られた時間で獲得することが困難なため、LLMsに外部の科学的に正確で堅牢な情報源(長期記憶)にアクセスさせることが可能な解決策がある。
– この研究では、最も包括的かつ最新で信頼できる情報源である気候変動に関する政府間パネル（IPCC）の第6次評価報告書からの情報を統合し、GPT-4を強化した会話型AIのプロトタイプを開発した。
– chatIPCCは3つの異なるQAシナリオで正確に難しい質問に答えることができ、hybrid chatIPCCが最も正確な答えを提供することが示された。
– この解決策は、特定の領域のチャットボット向けに簡単にスケーリング可能であり、信頼できる正確な情報を提供することができる。

要約(オリジナル)

Large Language Models (LLMs) have made significant progress in recent years, achieving remarkable results in question-answering tasks (QA). However, they still face two major challenges: hallucination and outdated information after the training phase. These challenges take center stage in critical domains like climate change, where obtaining accurate and up-to-date information from reliable sources in a limited time is essential and difficult. To overcome these barriers, one potential solution is to provide LLMs with access to external, scientifically accurate, and robust sources (long-term memory) to continuously update their knowledge and prevent the propagation of inaccurate, incorrect, or outdated information. In this study, we enhanced GPT-4 by integrating the information from the Sixth Assessment Report of the Intergovernmental (IPCC AR6), the most comprehensive, up-to-date, and reliable source in this domain. We present our conversational AI prototype, available at www.chatclimate.ai/ipcc and demonstrate its ability to answer challenging questions accurately in three different QA scenarios: asking from 1) GPT-4, 2) chatIPCC, and 3) hybrid chatIPCC. The answers and their sources were evaluated by our team of IPCC authors, who used their expert knowledge to score the accuracy of the answers from 1 (very-low) to 5 (very-high). The evaluation showed that the hybrid chatIPCC provided more accurate answers, highlighting the effectiveness of our solution. This approach can be easily scaled for chatbots in specific domains, enabling the delivery of reliable and accurate information.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI