The Foundation Model Transparency Index

要約

基盤モデルは急速に社会に浸透し、企業と消費者向けのコンテキストにまたがる生成 AI アプリケーションの波を引き起こしています。
基礎モデルの社会的影響が増大する一方で、過去のデジタル技術（ソーシャルメディアなど）を悩ませてきた不透明性を反映して、透明性は低下傾向にあります。
この傾向を逆転させることが不可欠です。透明性は公的説明責任、科学的イノベーション、効果的なガバナンスにとって極めて重要な前提条件です。
基礎モデルのエコシステムの透明性を評価し、時間の経過とともに透明性を向上させるために、基礎モデルの透明性インデックスを導入します。
基盤モデルの透明性インデックスは、基盤モデルの構築に使用される上流のリソース (データ、労力、コンピューティングなど)、モデル自体の詳細 (サイズ、機能、リスクなど) に及ぶ、基盤モデルの透明性を包括的に成​​文化する 100 のきめの細かい指標を指定します。
）、および下流での使用（例：流通チャネル、使用ポリシー、影響を受ける地域）。
私たちは、主要な基盤モデル開発者 10 社 (OpenAI、Google、Meta など) を 100 の指標に対してスコアリングして、その透明性を評価します。
評価を促進し標準化するために、当社は主力基盤モデル (OpenAI の GPT-4、Google の PaLM 2、Meta の Llama 2 など) の実践に関連して開発者をスコアリングします。
私たちは、基盤モデルのエコシステムに関する 10 のトップレベルの調査結果を紹介します。たとえば、ユーザー数、影響を受ける市場セクター、ユーザーが損害の救済を求める方法など、主力モデルの下流への影響に関する重要な情報を開示している開発者は現在いません。
。
全体として、基盤モデルの透明性インデックスは、業界標準と規制介入を通じて基盤モデルのガバナンスの進歩を促進するために、今日の透明性のレベルを確立します。

要約(オリジナル)

Foundation models have rapidly permeated society, catalyzing a wave of generative AI applications spanning enterprise and consumer-facing contexts. While the societal impact of foundation models is growing, transparency is on the decline, mirroring the opacity that has plagued past digital technologies (e.g. social media). Reversing this trend is essential: transparency is a vital precondition for public accountability, scientific innovation, and effective governance. To assess the transparency of the foundation model ecosystem and help improve transparency over time, we introduce the Foundation Model Transparency Index. The Foundation Model Transparency Index specifies 100 fine-grained indicators that comprehensively codify transparency for foundation models, spanning the upstream resources used to build a foundation model (e.g data, labor, compute), details about the model itself (e.g. size, capabilities, risks), and the downstream use (e.g. distribution channels, usage policies, affected geographies). We score 10 major foundation model developers (e.g. OpenAI, Google, Meta) against the 100 indicators to assess their transparency. To facilitate and standardize assessment, we score developers in relation to their practices for their flagship foundation model (e.g. GPT-4 for OpenAI, PaLM 2 for Google, Llama 2 for Meta). We present 10 top-level findings about the foundation model ecosystem: for example, no developer currently discloses significant information about the downstream impact of its flagship model, such as the number of users, affected market sectors, or how users can seek redress for harm. Overall, the Foundation Model Transparency Index establishes the level of transparency today to drive progress on foundation model governance via industry standards and regulatory intervention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google