Optimizing Large Language Models for ESG Activity Detection in Financial Texts

要約

環境、社会、およびガバナンス（ESG）の要因を企業の意思決定に統合することは、持続可能な金融の基本的な側面です。
ただし、ビジネス慣行が進化する規制の枠組みと一致するようにすることは、依然として永続的な課題です。
持続可能性レポートのアラインメントと特定のESGアクティビティの非財務開示を自動的に評価するためのAI駆動型ソリューションは、このプロセスを大幅にサポートする可能性があります。
しかし、このタスクは、ドメイン固有のコンテキストにおける汎用の大規模な言語モデル（LLM）の制限と、構造化された高品質のデータセットの不足により、複雑なままです。
この論文では、環境活動に関連するテキストを識別する現在の世代LLMの能力を調査します。
さらに、元のデータと合成生成されたデータの組み合わせで微調整することで、そのパフォーマンスを大幅に向上させることができることを実証します。
この目的のために、EU ESG分類法に従って分類された1,325のラベル付きテキストセグメントを含むベンチマークデータセットであるESG-Activitiesを紹介します。
私たちの実験結果は、ESG活性性の微調整が分類の精度を大幅に向上させることを示しています。Llama7BやGemma 7Bなどのオープンモデルは、特定の構成で大規模な独自のソリューションを上回ることを示しています。
これらの調査結果は、高度な自然言語処理技術を通じてESGの透明性とコンプライアンスを強化しようとする金融アナリスト、政策立案者、およびAIの研究者に重要な意味を持っています。

要約(オリジナル)

The integration of Environmental, Social, and Governance (ESG) factors into corporate decision-making is a fundamental aspect of sustainable finance. However, ensuring that business practices align with evolving regulatory frameworks remains a persistent challenge. AI-driven solutions for automatically assessing the alignment of sustainability reports and non-financial disclosures with specific ESG activities could greatly support this process. Yet, this task remains complex due to the limitations of general-purpose Large Language Models (LLMs) in domain-specific contexts and the scarcity of structured, high-quality datasets. In this paper, we investigate the ability of current-generation LLMs to identify text related to environmental activities. Furthermore, we demonstrate that their performance can be significantly enhanced through fine-tuning on a combination of original and synthetically generated data. To this end, we introduce ESG-Activities, a benchmark dataset containing 1,325 labelled text segments classified according to the EU ESG taxonomy. Our experimental results show that fine-tuning on ESG-Activities significantly enhances classification accuracy, with open models such as Llama 7B and Gemma 7B outperforming large proprietary solutions in specific configurations. These findings have important implications for financial analysts, policymakers, and AI researchers seeking to enhance ESG transparency and compliance through advanced natural language processing techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google