Auditing large language models: a three-layered approach

要約

大規模言語モデル (LLM) は、人工知能 (AI) 研究における大きな進歩を表しています。
しかし、LLM の広範な使用には、重大な倫理的および社会的課題も伴います。
これまでの研究では、AI システムが倫理的、法的、技術的に堅牢な方法で設計および展開されるようにするための有望なガバナンス メカニズムとして監査が指摘されてきました。
しかし、既存の監査手順では、LLM がもたらすガバナンスの課題に対処できていません。LLM は緊急の機能を示し、幅広い下流タスクに適応できます。
この記事では、LLM を監査する方法に関する新しい青写真の概要を説明することで、そのギャップに対処します。
具体的には、ガバナンス監査 (LLM を設計および普及するテクノロジープロバイダーの)、モデル監査 (事前トレーニング後、リリース前の LLM の)、およびアプリケーション監査 (LLM に基づくアプリケーションの) という 3 層のアプローチを提案します。
お互いに補完し合い、情報を伝え合う。
私たちは、監査が 3 つのレベルすべてで構造化され調整された方法で実施された場合、LLM によってもたらされる倫理的および社会的リスクの一部を特定し、管理するための実行可能かつ効果的なメカニズムとなり得ることを示します。
ただし、監査によってどのような成果が期待できるかについて現実的であることが重要です。
したがって、私たちは 3 層のアプローチの限界だけでなく、LLM を監査するという見通し自体の限界についても議論します。
最終的に、この記事は、技術的、倫理的、法律的な観点から LLM を分析および評価したいテクノロジー プロバイダーおよび政策立案者が利用できる方法論的ツールキットを拡張することを目指しています。

要約(オリジナル)

Large language models (LLMs) represent a major advance in artificial intelligence (AI) research. However, the widespread use of LLMs is also coupled with significant ethical and social challenges. Previous research has pointed towards auditing as a promising governance mechanism to help ensure that AI systems are designed and deployed in ways that are ethical, legal, and technically robust. However, existing auditing procedures fail to address the governance challenges posed by LLMs, which display emergent capabilities and are adaptable to a wide range of downstream tasks. In this article, we address that gap by outlining a novel blueprint for how to audit LLMs. Specifically, we propose a three-layered approach, whereby governance audits (of technology providers that design and disseminate LLMs), model audits (of LLMs after pre-training but prior to their release), and application audits (of applications based on LLMs) complement and inform each other. We show how audits, when conducted in a structured and coordinated manner on all three levels, can be a feasible and effective mechanism for identifying and managing some of the ethical and social risks posed by LLMs. However, it is important to remain realistic about what auditing can reasonably be expected to achieve. Therefore, we discuss the limitations not only of our three-layered approach but also of the prospect of auditing LLMs at all. Ultimately, this article seeks to expand the methodological toolkit available to technology providers and policymakers who wish to analyse and evaluate LLMs from technical, ethical, and legal perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google