Integrating Expert Labels into LLM-based Emission Goal Detection: Example Selection vs Automatic Prompt Design

要約

私たちは、企業報告書における排出削減目標の検出に取り組みます。これは、企業の気候変動への取り組みの進捗状況を監視するための重要なタスクです。
具体的には、ラベル付きサンプルパッセージの形式でエキスパートからのフィードバックを LLM ベースのパイプラインに統合する問題に焦点を当て、(1) 数ショットのサンプルの動的な選択と (2) サンプルの自動最適化という 2 つの戦略を比較します。
LLM 自体によるプロンプト。
現実世界のビジネスレポートからの 769 件の気候関連文章の公開データセットに関する私たちの調査結果は、自動即時最適化が優れたアプローチである一方で、両方の方法を組み合わせても効果が限定的であることを示しています。
定性的結果は、最適化されたプロンプトが目標とする排出目標抽出タスクの多くの複雑さを実際に捕らえていることを示しています。

要約(オリジナル)

We address the detection of emission reduction goals in corporate reports, an important task for monitoring companies’ progress in addressing climate change. Specifically, we focus on the issue of integrating expert feedback in the form of labeled example passages into LLM-based pipelines, and compare the two strategies of (1) a dynamic selection of few-shot examples and (2) the automatic optimization of the prompt by the LLM itself. Our findings on a public dataset of 769 climate-related passages from real-world business reports indicate that automatic prompt optimization is the superior approach, while combining both methods provides only limited benefit. Qualitative results indicate that optimized prompts do indeed capture many intricacies of the targeted emission goal extraction task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google