A constraints-based approach to fully interpretable neural networks for detecting learner behaviors

要約

教育における複雑な機械学習モデルの使用の増加は、その解釈可能性に関する懸念につながり、それがモデルの内部の仕組みに忠実で人間のエンドユーザーにわかりやすい説明性技術を開発することに関心を促しました。
この論文では、設計によって解釈可能なニューラルネットワークベースの動作検出モデルを作成するための新しいアプローチについて説明します。
私たちのモデルは完全に解釈可能です。つまり、説明のために抽出するパラメーターは明確な解釈を持ち、関心のある学習者の行動に関するモデルの学習された知識を完全にキャプチャし、忠実で理解しやすい説明を作成するために使用できます。
これを達成し、モデルに一連の制約を実装し、推論プロセスを簡素化し、目前のタスクの人間の概念に近づけることもできます。
モデルをトレーニングして、ゲームザシステムの動作を検出し、このタスクでのパフォーマンスを評価し、その学習パターンを人間の専門家によって特定されたパターンと比較します。
我々の結果は、モデルが完全に解釈可能な説明の証拠を提供しながら、システムのシステムの動作を示すパターンを成功させることができることを示しています。
アプローチの意味について説明し、人間に基づいたアプローチを使用して説明可能性を評価する方法を提案します。

要約(オリジナル)

The increasing use of complex machine learning models in education has led to concerns about their interpretability, which in turn has spurred interest in developing explainability techniques that are both faithful to the model’s inner workings and intelligible to human end-users. In this paper, we describe a novel approach to creating a neural-network-based behavior detection model that is interpretable by design. Our model is fully interpretable, meaning that the parameters we extract for our explanations have a clear interpretation, fully capture the model’s learned knowledge about the learner behavior of interest, and can be used to create explanations that are both faithful and intelligible. We achieve this by implementing a series of constraints to the model that both simplify its inference process and bring it closer to a human conception of the task at hand. We train the model to detect gaming-the-system behavior, evaluate its performance on this task, and compare its learned patterns to those identified by human experts. Our results show that the model is successfully able to learn patterns indicative of gaming-the-system behavior while providing evidence for fully interpretable explanations. We discuss the implications of our approach and suggest ways to evaluate explainability using a human-grounded approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google