Climate Change from Large Language Models

要約

気候変動は国際社会に重大な課題をもたらしており、気候危機に対する広範な認識を高め、低炭素生活についてユーザーを教育することが不可欠です。
人工知能、特に大規模言語モデル (LLM) は、その広範な知識、広範なユーザー ベース、自然言語対話機能を活用して、気候危機を緩和するための強力なツールとして登場しました。
しかし、気候変動に関する研究は増えているにもかかわらず、LLM 内では気候危機に関する知識の包括的な評価が不足しています。
この論文は、自動評価フレームワークを提案することで、このギャップを解決することを目的としています。
当社では、データ合成と手動収集を組み合わせたハイブリッド アプローチをデータ収集に採用し、気候危機に関連するさまざまな質問をまとめています。
これらの質問は、原因、影響、緩和戦略、適応策など、気候変動のさまざまな側面をカバーしています。
次に、収集した質問と生成された回答に基づいて、迅速なエンジニアリングを通じてモデルの知識を評価します。
私たちは、10 の異なる視点からの指標を組み込んだ、気候危機の知識を評価するための一連の包括的な指標を提案します。
実験結果は、私たちの方法が気候危機に関するLLMの知識を評価するのに効果的であることを示しています。
私たちはいくつかの最先端の LLM を評価しましたが、それらの知識は適時性の点で不十分であることがわかりました。

要約(オリジナル)

Climate change presents significant challenges to the global community, and it is imperative to raise widespread awareness of the climate crisis and educate users about low-carbon living. Artificial intelligence, particularly large language models (LLMs), have emerged as powerful tools in mitigating the climate crisis, leveraging their extensive knowledge, broad user base, and natural language interaction capabilities. However, despite the growing body of research on climate change, there is a lack of comprehensive assessments of climate crisis knowledge within LLMs. This paper aims to resolve this gap by proposing an automatic evaluation framework. We employ a hybrid approach to data acquisition that combines data synthesis and manual collection to compile a diverse set of questions related to the climate crisis. These questions cover various aspects of climate change, including its causes, impacts, mitigation strategies, and adaptation measures. We then evaluate the model knowledge through prompt engineering based on the collected questions and generated answers. We propose a set of comprehensive metrics to evaluate the climate crisis knowledge, incorporating indicators from 10 different perspectives. Experimental results show that our method is effective in evaluating the knowledge of LLMs regarding the climate crisis. We evaluate several state-of-the-art LLMs and find that their knowledge falls short in terms of timeliness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google