chatClimate: Grounding Conversational AI in Climate Science

要約

【タイトル】conversational AIを気候科学に基づかせるchatClimate

【要約】
– 大規模言語モデル(LLM)は、近年において質問応答タスク(QA)において著しい進歩を遂げてきたが、幻覚と訓練フェーズ後の古い情報という2つの大きな課題を抱えている。
– 気候変動のような重要なドメインでは正確で最新の情報を定時的に得ることが困難であるため、LLMが外部から信頼できる情報源(長期記憶)にアクセスできるようにするという解決策が考えられる。
– 本研究では、IPCC第6次評価報告書を統合してGPT-4を強化し、chatClimateというconversational AIのプロトタイプを開発した。
– chatClimateは、異なるQAシナリオで正確な回答を提供できることを示した。評価には、IPCCの専門家が回答の正確さを1(非常に低い)から5(非常に高い)まで評価した。
– hybrid chatClimateは、より正確な回答を提供し、解決策の効果を示した。
– このアプローチは、特定のドメインのchatbotに簡単に拡張でき、信頼できる正確な情報を提供することができる。

要約(オリジナル)

Large Language Models (LLMs) have made significant progress in recent years, achieving remarkable results in question-answering tasks (QA). However, they still face two major challenges: hallucination and outdated information after the training phase. These challenges take center stage in critical domains like climate change, where obtaining accurate and up-to-date information from reliable sources in a limited time is essential and difficult. To overcome these barriers, one potential solution is to provide LLMs with access to external, scientifically accurate, and robust sources (long-term memory) to continuously update their knowledge and prevent the propagation of inaccurate, incorrect, or outdated information. In this study, we enhanced GPT-4 by integrating the information from the Sixth Assessment Report of the Intergovernmental (IPCC AR6), the most comprehensive, up-to-date, and reliable source in this domain. We present our conversational AI prototype, available at www.chatclimate.ai and demonstrate its ability to answer challenging questions accurately in three different QA scenarios: asking from 1) GPT-4, 2) chatClimate, and 3) hybrid chatClimate. The answers and their sources were evaluated by our team of IPCC authors, who used their expert knowledge to score the accuracy of the answers from 1 (very-low) to 5 (very-high). The evaluation showed that the hybrid chatClimate provided more accurate answers, highlighting the effectiveness of our solution. This approach can be easily scaled for chatbots in specific domains, enabling the delivery of reliable and accurate information.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI