Using Large Language Models for Generating Smart Contracts for Health Insurance from Textual Policies

要約

大規模言語モデル (LLM) を使用して、テキストベースの保険契約から健康保険プロセスを自動化するアプリケーション コードを生成する方法を検討します。
私たちは、不変性、検証可能性、拡張性、およびトラストレス設定を提供するブロックチェーンベースのスマート コントラクトをターゲットにしています。スマート コントラクトは何人でも使用でき、事前に相互に信頼関係を確立する必要はありません。
私たちの方法論は、(1) テキストによる要約、(2) 宣言的意思決定ロジック、(3) 単体テストを含むスマート コントラクト コードなど、技術的な詳細のレベルを上げながら出力を生成します。
LLM はタスク (1) に優れており、構造化された出力はタスク (2) と (3) を検証するのに役立ちます。
宣言型言語 (タスク 2) は医療政策を形式化するためによく使用されますが、ブロックチェーン上での実行は簡単ではありません。
したがって、タスク (3) は、スマート コントラクトを使用してプロセスを直接自動化しようとします。
LLM の出力を評価するために、完全性、健全性、明確さ、構文、機能するコードを指標として提案します。
私たちの評価では、メディケアの公式小冊子から難易度を上げながら 3 つの健康保険契約 (シナリオ) を採用しています。
評価には GPT-3.5 Turbo、GPT-3.5 Turbo 16K、GPT-4、GPT-4 Turbo、および CodeLLaMA を使用します。
私たちの調査結果は、LLM がテキストの要約を生成する際に非常にうまく機能することを裏付けています。
タスク (2) ～ (3) の出力は開始点としては役立ちますが、人間による監視が必要です。場合によっては、「実行可能な」コードであっても適切な結果が得られません。
ターゲット言語の人気は出力の品質に影響します。
そして、より複雑なシナリオは依然として遠すぎる橋のように思えます。
それにもかかわらず、私たちの実験は、テキストによるプロセス記述をスマートコントラクトに変換するための LLM の有望性を実証しました。

要約(オリジナル)

We explore using Large Language Models (LLMs) to generate application code that automates health insurance processes from text-based policies. We target blockchain-based smart contracts as they offer immutability, verifiability, scalability, and a trustless setting: any number of parties can use the smart contracts, and they need not have previously established trust relationships with each other. Our methodology generates outputs at increasing levels of technical detail: (1) textual summaries, (2) declarative decision logic, and (3) smart contract code with unit tests. We ascertain LLMs are good at the task (1), and the structured output is useful to validate tasks (2) and (3). Declarative languages (task 2) are often used to formalize healthcare policies, but their execution on blockchain is non-trivial. Hence, task (3) attempts to directly automate the process using smart contracts. To assess the LLM output, we propose completeness, soundness, clarity, syntax, and functioning code as metrics. Our evaluation employs three health insurance policies (scenarios) with increasing difficulty from Medicare’s official booklet. Our evaluation uses GPT-3.5 Turbo, GPT-3.5 Turbo 16K, GPT-4, GPT-4 Turbo and CodeLLaMA. Our findings confirm that LLMs perform quite well in generating textual summaries. Although outputs from tasks (2)-(3) are useful starting points, they require human oversight: in multiple cases, even ‘runnable’ code will not yield sound results; the popularity of the target language affects the output quality; and more complex scenarios still seem a bridge too far. Nevertheless, our experiments demonstrate the promise of LLMs for translating textual process descriptions into smart contracts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google