Evaluating a Methodology for Increasing AI Transparency: A Case Study

要約

人工知能 (AI) の潜在的な害に対する懸念の高まりに反応して、社会は AI モデルとシステムがどのように作成され使用されるかについての透明性の向上を要求し始めています。
これらの懸念に対処するために、いくつかの取り組みで、モデル開発者が回答する質問を含むドキュメント テンプレートが提案されています。
これらのテンプレートは便利な出発点となりますが、単一のテンプレートではさまざまなドキュメント利用者のニーズに対応できません。
ただし、本当に役立つドキュメントを生成するための反復可能な方法論を作成することは原理的には可能です。
リチャーズら。
[25] は、特定の文書化のニーズを特定し、それらのニーズに対応するテンプレートを作成するための方法論を提案しました。
これは有望な提案ですが、まだ評価されていません。
このペーパーでは、このユーザー中心の方法論の実際の最初の評価を示し、いくつかの AI モデルの透明性を高めるためにこの方法論を採用した医療用 AI の領域のチームの経験について報告します。
この方法論は、ユーザー中心の手法のトレーニングを受けていない開発者でも使用できることが判明し、さまざまなモデルやユースケースで再利用可能でありながら、消費者の特定のニーズに対応するドキュメント テンプレートを作成することができます。
この方法論の利点とコストの分析がレビューされ、方法論とサポート ツールの両方におけるさらなる改善のための提案がまとめられます。

要約(オリジナル)

In reaction to growing concerns about the potential harms of artificial intelligence (AI), societies have begun to demand more transparency about how AI models and systems are created and used. To address these concerns, several efforts have proposed documentation templates containing questions to be answered by model developers. These templates provide a useful starting point, but no single template can cover the needs of diverse documentation consumers. It is possible in principle, however, to create a repeatable methodology to generate truly useful documentation. Richards et al. [25] proposed such a methodology for identifying specific documentation needs and creating templates to address those needs. Although this is a promising proposal, it has not been evaluated. This paper presents the first evaluation of this user-centered methodology in practice, reporting on the experiences of a team in the domain of AI for healthcare that adopted it to increase transparency for several AI models. The methodology was found to be usable by developers not trained in user-centered techniques, guiding them to creating a documentation template that addressed the specific needs of their consumers while still being reusable across different models and use cases. Analysis of the benefits and costs of this methodology are reviewed and suggestions for further improvement in both the methodology and supporting tools are summarized.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google