Performance is not enough: the story told by a Rashomon quartet

要約

教師あり学習の通常の目標は、最適なモデル、つまり特定のパフォーマンス測定を最適化するモデルを見つけることです。
しかし、すべてのモデルが同様に良好な適合統計を持っているにもかかわらず、このモデルによって提供される説明が別のモデルとは完全に異なり、さらに別のモデルとも異なる場合はどうなるでしょうか?
同様に効果的なモデルが、データ内のさまざまな関係にスポットライトを当てる可能性はあるでしょうか?
アンスコムのカルテットに触発されたこの論文では、羅生門カルテット、つまり、実質的に同一の予測性能を持つ合成データセットに基づいて構築された 4 つのモデルのセットを紹介します。
ただし、視覚的に調査すると、データ内の関係の明確な説明が明らかになります。
この説明的な例は、パフォーマンスを超えて予測モデルを比較するためのモデル視覚化手法の使用を奨励することを目的としています。

要約(オリジナル)

The usual goal of supervised learning is to find the best model, the one that optimizes a particular performance measure. However, what if the explanation provided by this model is completely different from another model and different again from another model despite all having similarly good fit statistics? Is it possible that the equally effective models put the spotlight on different relationships in the data? Inspired by Anscombe’s quartet, this paper introduces a Rashomon Quartet, i.e. a set of four models built on a synthetic dataset which have practically identical predictive performance. However, the visual exploration reveals distinct explanations of the relations in the data. This illustrative example aims to encourage the use of methods for model visualization to compare predictive models beyond their performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google