Hallucination is the last thing you need

要約

法律専門家は、情報に基づいた法的解決策を提供するために、個人の経験に基づいた洞察力に富んだ解説と、関連する法律、規制、判例の包括的な理解とを組み合わせた、法的問題の深い理解を総合する多面的なアプローチを必要としています。
。
現在のモデルでは、理解、経験、事実確認手順のこのような複雑な相互作用を統合し、ナビゲートするのに苦労しているため、生成 AI を備えた現在の製品は、これを再現する上で大きな障害となっています。
注目に値するのは、生成型 AI が同様のトピックに関するさまざまな主観的見解の集合体を反映する理解と経験を出力する場合、これによりモデルの注意が重要な法的事実からそらされ、その結果幻覚が生じることがよくあるということです。
したがって、このホワイトペーパーでは、理解、経験、事実に重点を置いた 3 つの独立した LLM の実現可能性を掘り下げ、既存のモノリシックな生成 AI モデルによってもたらされる現在の課題に効果的に対抗するために 1 つの単一のアンサンブル モデルとして合成します。
私たちは、コモンロー判決などの重要な情報資産を保護するために複数長のトークン化のアイデアを導入し、最後に、法的幻覚に関する最も先進的な公的に利用可能なモデルを調査し、いくつかの興味深い結果を得ました。

要約(オリジナル)

The legal profession necessitates a multidimensional approach that involves synthesizing an in-depth comprehension of a legal issue with insightful commentary based on personal experience, combined with a comprehensive understanding of pertinent legislation, regulation, and case law, in order to deliver an informed legal solution. The present offering with generative AI presents major obstacles in replicating this, as current models struggle to integrate and navigate such a complex interplay of understanding, experience, and fact-checking procedures. It is noteworthy that where generative AI outputs understanding and experience, which reflect the aggregate of various subjective views on similar topics, this often deflects the model’s attention from the crucial legal facts, thereby resulting in hallucination. Hence, this paper delves into the feasibility of three independent LLMs, each focused on understanding, experience, and facts, synthesising as one single ensemble model to effectively counteract the current challenges posed by the existing monolithic generative AI models. We introduce an idea of mutli-length tokenisation to protect key information assets like common law judgements, and finally we interrogate the most advanced publicly available models for legal hallucination, with some interesting results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google