Improving Zero-Shot Text Matching for Financial Auditing with Large Language Models

要約

財務書類の監査は非常に面倒で時間のかかるプロセスです。
現時点では、厳格な会計基準の法的要件ごとに、レポートから関連するテキストの一節を推奨する AI ベースのソリューションを採用することで、この作業をすでに簡素化することができます。
ただし、これらの方法は定期的に微調整する必要があり、豊富な注釈付きデータが必要ですが、産業環境では不足していることがよくあります。
そこで、最先端の大規模言語モデル (LLM) をドメイン固有に最適化されたトランスフォーマー ベースのテキスト マッチング ソリューションと組み合わせて活用する、新しいレコメンダー システムである ZeroShotALI を紹介します。
最初にカスタム BERT ベースのモデルを使用して法的要件ごとに最も一致するドキュメント セクションの数を取得し、次に LLM を使用してこれらの選択をフィルタリングするという 2 段階のアプローチにより、既存のアプローチに比べてパフォーマンスが大幅に向上することがわかりました。

要約(オリジナル)

Auditing financial documents is a very tedious and time-consuming process. As of today, it can already be simplified by employing AI-based solutions to recommend relevant text passages from a report for each legal requirement of rigorous accounting standards. However, these methods need to be fine-tuned regularly, and they require abundant annotated data, which is often lacking in industrial environments. Hence, we present ZeroShotALI, a novel recommender system that leverages a state-of-the-art large language model (LLM) in conjunction with a domain-specifically optimized transformer-based text-matching solution. We find that a two-step approach of first retrieving a number of best matching document sections per legal requirement with a custom BERT-based model and second filtering these selections using an LLM yields significant performance improvements over existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google