要約
ほとんどの AI システムは、与えられた入力に対して適切な出力を生成するブラック ボックスです。
ただし、一部のドメインには、これらのアプローチでは直接満たすことができない説明可能性と信頼性の要件があります。
したがって、トレーニング後にブラックボックス モデルを解釈するためのさまざまな方法が開発されています。
この論文では、モデルが透明で説明可能なものであるという代替アプローチを提唱しています。
このアプローチである EVOTER は、単純な論理式に基づいてルールセットを進化させます。
このアプローチは、サロゲートの有無にかかわらず、いくつかの予測/分類および処方/ポリシー検索ドメインで評価されます。
ブラックボックス モデルと同様に機能する意味のあるルール セットを発見することが示されています。
ルールはドメインへの洞察を提供し、データに隠されたバイアスを明示することができます。
直接編集してバイアスを削除し、制約を追加することも可能です。
したがって、EVOTER は、将来の実世界のアプリケーション向けに信頼できる AI システムを構築するための有望な基盤を形成します。
要約(オリジナル)
Most AI systems are black boxes generating reasonable outputs for given inputs. Some domains, however, have explainability and trustworthiness requirements that cannot be directly met by these approaches. Various methods have therefore been developed to interpret black-box models after training. This paper advocates an alternative approach where the models are transparent and explainable to begin with. This approach, EVOTER, evolves rule-sets based on simple logical expressions. The approach is evaluated in several prediction/classification and prescription/policy search domains with and without a surrogate. It is shown to discover meaningful rule sets that perform similarly to black-box models. The rules can provide insight into the domain, and make biases hidden in the data explicit. It may also be possible to edit them directly to remove biases and add constraints. EVOTER thus forms a promising foundation for building trustworthy AI systems for real-world applications in the future.
arxiv情報
著者 | Hormoz Shahrzad,Babak Hodjat,Risto Miikkulainen |
発行日 | 2024-10-25 15:27:18+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google