EaSyGuide : ESG Issue Identification Framework leveraging Abilities of Generative Large Language Models

要約

この文書では、多言語による環境、社会、企業ガバナンスの問題の特定 (ML-ESG) に関する FinNLP-2023 共有タスクへの参加について説明します。
このタスクの目的は、MSCI ESG 格付けガイドラインで定義されている 35 の ESG 主要問題に基づいてニュース記事を分類することです。
私たちのアプローチは英語とフランス語のサブタスクに焦点を当てており、CerebrasGPT、OPT、および Pythia モデルに加えて、ゼロショットおよび GPT3Mix オーグメンテーション技術を採用しています。
RoBERTa、DeBERTa、FinBERT などのさまざまなエンコーダー モデルを利用し、知識の蒸留と追加のトレーニングを行います。
私たちのアプローチは例外的な結果をもたらし、英語テキストサブタスクで F1 スコア 0.69 で 1 位、フランス語テキストサブタスクで F1 スコア 0.78 で 2 位を確保しました。
これらの結果は、さまざまな言語のニュース記事で ESG 問題を特定する際の当社の方法論の有効性を裏付けています。
私たちの調査結果は、ESG トピックの探求に貢献し、ESG 問題の特定に高度な言語モデルを活用する可能性を強調しています。

要約(オリジナル)

This paper presents our participation in the FinNLP-2023 shared task on multi-lingual environmental, social, and corporate governance issue identification (ML-ESG). The task’s objective is to classify news articles based on the 35 ESG key issues defined by the MSCI ESG rating guidelines. Our approach focuses on the English and French subtasks, employing the CerebrasGPT, OPT, and Pythia models, along with the zero-shot and GPT3Mix Augmentation techniques. We utilize various encoder models, such as RoBERTa, DeBERTa, and FinBERT, subjecting them to knowledge distillation and additional training. Our approach yielded exceptional results, securing the first position in the English text subtask with F1-score 0.69 and the second position in the French text subtask with F1-score 0.78. These outcomes underscore the effectiveness of our methodology in identifying ESG issues in news articles across different languages. Our findings contribute to the exploration of ESG topics and highlight the potential of leveraging advanced language models for ESG issue identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google