A moving target in AI-assisted decision-making: Dataset shift, model updating, and the problem of update opacity

要約

機械学習（ML）システムは、データセットのシフトにより、時間の経過とともにパフォーマンスの低下に対して脆弱です。
この問題に対処するために、専門家はしばしば、MLシステムを定期的に更新して、継続的なパフォーマンスの安定性を確保する必要があることを示唆しています。
いくつかの学術文献は、さまざまな更新方法に関連する認識論的および倫理的課題に対処し始めました。
ただし、これまでのところ、MLアシストの意思決定プロセス自体、特にAI倫理およびAI認識論文献におけるモデル更新の影響にはほとんど注意が払われていません。
この記事は、文献のこのギャップに対処することを目的としています。
モデルの更新により、MLアシストの意思決定に不透明度の新しいサブタイプのサブタイプが導入されていると主張しています。これは、ユーザーが更新がMLシステムの推論または動作をどのように、または変更したかを理解できないときに発生します。
このタイプの不透明度は、MLのブラックボックスの問題に利用可能なソリューションが対処するのがほとんど装備されていないという、さまざまな独特の認識論的および安全性の懸念を示しています。
双幕の説明、動的モデルの報告、互換性の更新など、不透明度をより直接的に更新する問題に対処するために、さまざまな代替戦略を開発または追求することができます。
ただし、これらの戦略のそれぞれは、独自のリスクを提示するか、重大な制限をもたらします。
モデルの更新に関連する認識と安全性の懸念に対処し、今後の不透明度の更新に対処するには、さらなる研究が必要になります。

要約(オリジナル)

Machine learning (ML) systems are vulnerable to performance decline over time due to dataset shift. To address this problem, experts often suggest that ML systems should be regularly updated to ensure ongoing performance stability. Some scholarly literature has begun to address the epistemic and ethical challenges associated with different updating methodologies. Thus far, however, little attention has been paid to the impact of model updating on the ML-assisted decision-making process itself, particularly in the AI ethics and AI epistemology literatures. This article aims to address this gap in the literature. It argues that model updating introduces a new sub-type of opacity into ML-assisted decision-making — update opacity — that occurs when users cannot understand how or why an update has changed the reasoning or behaviour of an ML system. This type of opacity presents a variety of distinctive epistemic and safety concerns that available solutions to the black box problem in ML are largely ill-equipped to address. A variety of alternative strategies may be developed or pursued to address the problem of update opacity more directly, including bi-factual explanations, dynamic model reporting, and update compatibility. However, each of these strategies presents its own risks or carries significant limitations. Further research will be needed to address the epistemic and safety concerns associated with model updating and update opacity going forward.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google