The Responsible Foundation Model Development Cheatsheet: A Review of Tools & Resources

要約

基礎モデルの開発には、急速に拡大する貢献者、科学者、アプリケーションが集まります。
責任ある開発実践の形成を支援するために、ファウンデーション モデル開発チートシートを導入しました。これは、テキスト、ビジョン、音声モダリティにわたる 250 以上のツールとリソースのコレクションです。
私たちは、情報に基づいたデータの選択、処理、理解、正確で制限を意識したアーティファクトの文書化、効率的なモデルのトレーニング、高度な分析をサポートするリソース (ソフトウェア、ドキュメント、フレームワーク、ガイド、実用的なツールなど) を調査するために、これまでの膨大な作業を利用しています。
トレーニングによる環境への影響の認識、機能、リスク、およびクレームの慎重なモデル評価、および責任あるモデルのリリース、ライセンスおよび展開の実践。
この厳選されたリソースのコレクションが、より責任ある開発を導く一助となることを願っています。
このリストを整理するプロセスにより、AI 開発エコシステムをレビューすることができ、既存の実践においてどのツールが決定的に不足しているか、誤用されているか、過剰に使用されているかを明らかにすることができました。
私たちは、(i) データ調達、モデルの評価、およびモニタリングのためのツールが倫理的および現実世界のニーズを著しく満たしていない、(ii) モデルの安全性、機能、および環境への影響の評価がすべて再現性と透明性に欠けている、(iii) ことを発見しました。
テキスト、特に英語を中心とした分析は、引き続き多言語およびマルチモーダル分析よりも優勢であり、(iv) 能力と影響を状況に応じて評価できるように、単なるモデルではなくシステムの評価が必要です。

要約(オリジナル)

Foundation model development attracts a rapidly expanding body of contributors, scientists, and applications. To help shape responsible development practices, we introduce the Foundation Model Development Cheatsheet: a growing collection of 250+ tools and resources spanning text, vision, and speech modalities. We draw on a large body of prior work to survey resources (e.g. software, documentation, frameworks, guides, and practical tools) that support informed data selection, processing, and understanding, precise and limitation-aware artifact documentation, efficient model training, advance awareness of the environmental impact from training, careful model evaluation of capabilities, risks, and claims, as well as responsible model release, licensing and deployment practices. We hope this curated collection of resources helps guide more responsible development. The process of curating this list, enabled us to review the AI development ecosystem, revealing what tools are critically missing, misused, or over-used in existing practices. We find that (i) tools for data sourcing, model evaluation, and monitoring are critically under-serving ethical and real-world needs, (ii) evaluations for model safety, capabilities, and environmental impact all lack reproducibility and transparency, (iii) text and particularly English-centric analyses continue to dominate over multilingual and multi-modal analyses, and (iv) evaluation of systems, rather than just models, is needed so that capabilities and impact are assessed in context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google