Improving Zero-Shot Text Matching for Financial Auditing with Large Language Models

要約

財務書類の監査は非常に面倒で時間のかかるプロセスです。
現時点では、厳格な会計基準の法的要件ごとに、レポートから関連するテキストの一節を推奨する AI ベースのソリューションを採用することで、この作業をすでに簡素化することができます。
ただし、これらの方法は定期的に微調整する必要があり、豊富な注釈付きデータが必要ですが、産業環境では不足していることがよくあります。
そこで、最先端の大規模言語モデル (LLM) をドメイン固有に最適化されたトランスフォーマー ベースのテキスト マッチング ソリューションと組み合わせて活用する、新しいレコメンダー システムである ZeroShotALI を紹介します。
最初にカスタム BERT ベースのモデルを使用して法的要件ごとに最も一致するドキュメント セクションの数を取得し、次に LLM を使用してこれらの選択をフィルタリングするという 2 段階のアプローチにより、既存のアプローチに比べてパフォーマンスが大幅に向上することがわかりました。

要約(オリジナル)

Auditing financial documents is a very tedious and time-consuming process. As of today, it can already be simplified by employing AI-based solutions to recommend relevant text passages from a report for each legal requirement of rigorous accounting standards. However, these methods need to be fine-tuned regularly, and they require abundant annotated data, which is often lacking in industrial environments. Hence, we present ZeroShotALI, a novel recommender system that leverages a state-of-the-art large language model (LLM) in conjunction with a domain-specifically optimized transformer-based text-matching solution. We find that a two-step approach of first retrieving a number of best matching document sections per legal requirement with a custom BERT-based model and second filtering these selections using an LLM yields significant performance improvements over existing approaches.

arxiv情報

著者 Lars Hillebrand,Armin Berger,Tobias Deußer,Tim Dilmaghani,Mohamed Khaled,Bernd Kliem,Rüdiger Loitz,Maren Pielka,David Leonhard,Christian Bauckhage,Rafet Sifa
発行日 2023-08-11 12:55:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL パーマリンク