Efficient Aspect-Based Summarization of Climate Change Reports with Small Language Models

要約

気候変動対策の意思決定者を支援するための自然言語処理 (NLP) の使用は、社会的利益のための NLP テクノロジーへの広範な推進に沿ったユースケースとして最近注目されています。
これに関連して、関連情報を抽出して要約するアスペクトベースの要約 (ABS) システムは、専門家が厳選したレポートで関連情報を見つける便利な方法を関係者に提供するため、特に役立ちます。
この研究では、気候変動レポートの ABS 用の新しいデータセットをリリースし、さまざまなラージ言語モデル (LLM) といわゆるスモール言語モデル (SLM) を使用して、教師なしの方法でこの問題に取り組みます。
当面の問題を考慮して、SLM が二酸化炭素排出量の削減につながりながら、問題に対してそれほど悪化しないことも示します。
これは、エネルギー効率とタスクパフォ​​ーマンスの両方を考慮した既存のフレームワークを ABS のゼロショット生成モデルの評価に初めて適用することによって実現されます。
全体として、私たちの結果は、大小を問わず最新の言語モデルが気候変動レポートの ABS に効果的に取り組むことができることを示していますが、この問題を検索拡張生成 (RAG) 問題として組み立てる場合にはさらなる研究が必要であり、私たちの研究とデータセットは気候変動レポートの発展に役立ちます。
この方向での努力。

要約(オリジナル)

The use of Natural Language Processing (NLP) for helping decision-makers with Climate Change action has recently been highlighted as a use case aligning with a broader drive towards NLP technologies for social good. In this context, Aspect-Based Summarization (ABS) systems that extract and summarize relevant information are particularly useful as they provide stakeholders with a convenient way of finding relevant information in expert-curated reports. In this work, we release a new dataset for ABS of Climate Change reports and we employ different Large Language Models (LLMs) and so-called Small Language Models (SLMs) to tackle this problem in an unsupervised way. Considering the problem at hand, we also show how SLMs are not significantly worse for the problem while leading to reduced carbon footprint; we do so by applying for the first time an existing framework considering both energy efficiency and task performance to the evaluation of zero-shot generative models for ABS. Overall, our results show that modern language models, both big and small, can effectively tackle ABS for Climate Change reports but more research is needed when we frame the problem as a Retrieval Augmented Generation (RAG) problem and our work and dataset will help foster efforts in this direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google