On the Potential and Limitations of Few-Shot In-Context Learning to Generate Metamorphic Specifications for Tax Preparation Software

要約

米国の所得税法はますます複雑になっているため、納税準備ソフトウェア (以下、税務ソフトウェア) を使用して納税する米国の納税者の数は増え続けています。
米国内国歳入庁 (IRS) によると、2022 年度には納税者の 50% 近くが税務ソフトウェアを使用して個人所得税を申告しました。
納税者が税金を誤って申告した場合の法的影響を考慮すると、税務ソフトウェアの正確性を確保することが最も重要です。
メタモルフィック テストは、正確性の要件や信頼できるデータセットがないため、法的に重要な税務ソフトウェアをテストおよびデバッグするための主要なソリューションとして浮上しています。
変成テストの背後にある重要なアイデアは、1 つの入力とそのわずかに変成された双子の入力との関係の観点からシステムの特性を表現することです。
IRS の税務出版物から変成資産を抽出するのは、退屈で時間のかかるプロセスです。
これに応えて、この論文では、自然言語で表現された税務書類から抽出されたプロパティと対照的な一次論理形式との間の変換タスクとして、変成仕様を生成するタスクを定式化します。
私たちは、このタスクのために大規模言語モデル (LLM) を使用したコンテキスト内学習の可能性と限界について体系的な分析を実行し、納税準備ソフトウェアのメタモーフィック仕様の生成の自動化に向けた研究課題の概要を示します。

要約(オリジナル)

Due to the ever-increasing complexity of income tax laws in the United States, the number of US taxpayers filing their taxes using tax preparation software (henceforth, tax software) continues to increase. According to the U.S. Internal Revenue Service (IRS), in FY22, nearly 50% of taxpayers filed their individual income taxes using tax software. Given the legal consequences of incorrectly filing taxes for the taxpayer, ensuring the correctness of tax software is of paramount importance. Metamorphic testing has emerged as a leading solution to test and debug legal-critical tax software due to the absence of correctness requirements and trustworthy datasets. The key idea behind metamorphic testing is to express the properties of a system in terms of the relationship between one input and its slightly metamorphosed twinned input. Extracting metamorphic properties from IRS tax publications is a tedious and time-consuming process. As a response, this paper formulates the task of generating metamorphic specifications as a translation task between properties extracted from tax documents – expressed in natural language – to a contrastive first-order logic form. We perform a systematic analysis on the potential and limitations of in-context learning with Large Language Models(LLMs) for this task, and outline a research agenda towards automating the generation of metamorphic specifications for tax preparation software.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google