TRIVEA: Transparent Ranking Interpretation using Visual Explanation of Black-Box Algorithmic Rankers

要約

ランキング スキームは、どこで勉強するか、誰を雇うか、何を買うかなど、現実世界の多くの決定を左右します。これらの決定の多くは、大きな結果を伴うことがよくあります。
たとえば、トップkリストに掲載されていない大学は権威が低いとみなされる可能性があり、消費者は購入者に推奨されない製品を検討することさえしない可能性があります。
これらの決定の中心には、データ エンティティの順序を決定する不透明なランキング スキームがありますが、その内部ロジックはアクセスできないか、独自のものです。
ランキングの違いについて推論することは、順位決定者 (つまり、製品会社などのランク付けされる主体) や意思決定者 (つまり、バイヤーなどのランキングを使用する者) などの利害関係者にとっては、推測ゲームのようなものです。
このペーパーでは、利用可能なデータから学習するアルゴリズム ランカーを使用し、説明可能な AI (XAI) 手法を使用して学習したランキングの違いについて人間による推論を可能にすることにより、ランキング解釈の透明性を実現することを目指しています。
この目的を実現するために、人間とデータのインタラクションの探索と説明のパラダイムを活用して、人間の関係者がモデルの適合性とランキングに対する属性の影響を視覚的に説明することで、複雑な複数属性のランキング データのサブセットとグループを探索できるようにします。
私たちは、TRIVEA で透明なランキング解釈のためのこの説明パラダイムを実現します。TRIVEA は、以下によって推進される視覚分析システムです。i) 利用可能なデータから属性とランキングの間の関連性を学習するアルゴリズム ランカーから得られるモデル フィットの視覚化、および ii) XAI から得られる視覚的な説明
さまざまなランキング範囲における属性の相対的な影響など、重要なパターンを抽象化するのに役立つメソッド。
TRIVEA を使用すると、データ サイエンスのトレーニングを受けていないエンド ユーザーでも、ブラック ボックスのランキング モデルを開いたり、その結果として得られる属性ベースの推論に自信を持ったりすることなく、ランキングのグローバルおよびローカルの動作について透過的に推論することができます。
私たちは、複数の使用シナリオと、さまざまな分野の専門知識を持つ研究者からの主観的なフィードバックを使用して、TRIVEA の有効性を実証します。
キーワード: ビジュアル分析、ランク付け学習、説明可能な ML、ランキング

要約(オリジナル)

Ranking schemes drive many real-world decisions, like, where to study, whom to hire, what to buy, etc. Many of these decisions often come with high consequences. For example, a university can be deemed less prestigious if not featured in a top-k list, and consumers might not even explore products that do not get recommended to buyers. At the heart of most of these decisions are opaque ranking schemes, which dictate the ordering of data entities, but their internal logic is inaccessible or proprietary. Drawing inferences about the ranking differences is like a guessing game to the stakeholders, like, the rankees (i.e., the entities who are ranked, like product companies) and the decision-makers (i.e., who use the rankings, like buyers). In this paper, we aim to enable transparency in ranking interpretation by using algorithmic rankers that learn from available data and by enabling human reasoning about the learned ranking differences using explainable AI (XAI) methods. To realize this aim, we leverage the exploration-explanation paradigm of human-data interaction to let human stakeholders explore subsets and groupings of complex multi-attribute ranking data using visual explanations of model fit and attribute influence on rankings. We realize this explanation paradigm for transparent ranking interpretation in TRIVEA, a visual analytic system that is fueled by: i) visualizations of model fit derived from algorithmic rankers that learn the associations between attributes and rankings from available data and ii) visual explanations derived from XAI methods that help abstract important patterns, like, the relative influence of attributes in different ranking ranges. Using TRIVEA, end users not trained in data science have the agency to transparently reason about the global and local behavior of the rankings without the need to open black-box ranking models and develop confidence in the resulting attribute-based inferences. We demonstrate the efficacy of TRIVEA using multiple usage scenarios and subjective feedback from researchers with diverse domain expertise. Keywords: Visual Analytics, Learning-to-Rank, Explainable ML, Ranking

arxiv情報

提供元, 利用サービス

arxiv.jp, Google