On the Suitability of pre-trained foundational LLMs for Analysis in German Legal Education

要約

現在のオープンソースの基礎的な LLM は、教育現場での法的分析に十分な指導能力とドイツの法的背景知識を備えていることを示します。
ただし、モデルの機能は、「Gutachtenstil」評価スタイルのコンポーネントの分類などの非常に特殊なタスクや、完全な法的意見などの複雑なコンテキストで分解されます。
拡張されたコンテキストと効果的なプロンプト戦略を使用しても、Bag-of-Words のベースラインに匹敵することはできません。
これに対処するために、高データ可用性シナリオでの予測を大幅に改善する、検索拡張生成ベースのプロンプト サンプル選択方法を導入します。
さらに、引数マイニングと自動エッセイ採点の 2 つの標準タスクで事前トレーニングされた LLM のパフォーマンスを評価し、それがより適切であることがわかりました。
全体を通して、事前トレーニングされた LLM は、ラベル付きデータがほとんどまたはまったくないシナリオで、思考連鎖を使用してベースラインを改善し、ゼロショットの場合にさらに役立ちます。

要約(オリジナル)

We show that current open-source foundational LLMs possess instruction capability and German legal background knowledge that is sufficient for some legal analysis in an educational context. However, model capability breaks down in very specific tasks, such as the classification of ‘Gutachtenstil’ appraisal style components, or with complex contexts, such as complete legal opinions. Even with extended context and effective prompting strategies, they cannot match the Bag-of-Words baseline. To combat this, we introduce a Retrieval Augmented Generation based prompt example selection method that substantially improves predictions in high data availability scenarios. We further evaluate the performance of pre-trained LLMs on two standard tasks for argument mining and automated essay scoring and find it to be more adequate. Throughout, pre-trained LLMs improve upon the baseline in scenarios with little or no labeled data with Chain-of-Thought prompting further helping in the zero-shot case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google