Large Language Model Prompt Chaining for Long Legal Document Classification

要約

プロンプトは、望ましい結果と一致する適切な応答を生成する際に言語モデルをガイドまたは操作するために使用されます。
チェーン化は、複雑なタスクをより小さく管理しやすいコンポーネントに分解するために使用される戦略です。
この研究では、複雑なドメイン固有の言語とかなりの長さのために困難を伴う広範な法的文書分類タスクにプロンプ​​ト チェーンを利用します。
私たちのアプローチは、元の文書の簡潔な要約を作成することから始まり、続いてトレーニング コーパスから関連する見本テキストとそれに対応する注釈を意味検索します。
最後に、数回のプロンプトからのコンテキスト内学習を活用して、タスクに基づいて割り当てるラベルの入力を求めます。
プロンプト チェーンを通じて、ゼロショットよりもパフォーマンスを向上させるだけでなく、より小さなモデルを使用して、ChatGPT ゼロショットなどのより大きなモデルによって達成されるマイクロ F1 スコアを超えることもできることを実証します。

要約(オリジナル)

Prompting is used to guide or steer a language model in generating an appropriate response that is consistent with the desired outcome. Chaining is a strategy used to decompose complex tasks into smaller, manageable components. In this study, we utilize prompt chaining for extensive legal document classification tasks, which present difficulties due to their intricate domain-specific language and considerable length. Our approach begins with the creation of a concise summary of the original document, followed by a semantic search for related exemplar texts and their corresponding annotations from a training corpus. Finally, we prompt for a label – based on the task – to assign, by leveraging the in-context learning from the few-shot prompt. We demonstrate that through prompt chaining, we can not only enhance the performance over zero-shot, but also surpass the micro-F1 score achieved by larger models, such as ChatGPT zero-shot, using smaller models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google