Tempo: Helping Data Scientists and Domain Experts Collaboratively Specify Predictive Modeling Tasks

要約

一時的な予測モデルは、ヘルスケア、公共サービス、その他のドメインの意思決定を改善する可能性がありますが、多くの場合、意思決定者を効果的にサポートすることができません。
以前の文献は、モデルの行動と意思決定者の期待との間の多くの不整合が、モデル仕様の問題、すなわち、どのように、いつ、誰の予測が行われるかに起因することを示しています。
ただし、予測タスクのモデル仕様は非常に技術的であり、DATA非科学者の利害関係者が解釈し批判することは困難です。
この課題に対処するために、データサイエンティストとドメインの専門家がモデル仕様を共同で反復的に反復するのに役立つインタラクティブシステムであるTempoを開発しました。
Tempoのシンプルでありながら正確な一時的なクエリ言語を使用して、データサイエンティストは、前処理の選択に関する透明性を高めて、仕様を迅速にプロトタイプ化できます。
さらに、ドメインの専門家は、データサブグループ内のパフォーマンスを評価して、そのモデルが予想どおりに動作することを検証できます。
3つのケーススタディを通じて、Tempoが学際的なチームが実行不可能な仕様を迅速に迅速に整理し、より有望な方向を探求する方法を特定する方法を示します。

要約(オリジナル)

Temporal predictive models have the potential to improve decisions in health care, public services, and other domains, yet they often fail to effectively support decision-makers. Prior literature shows that many misalignments between model behavior and decision-makers’ expectations stem from issues of model specification, namely how, when, and for whom predictions are made. However, model specifications for predictive tasks are highly technical and difficult for non-data-scientist stakeholders to interpret and critique. To address this challenge we developed Tempo, an interactive system that helps data scientists and domain experts collaboratively iterate on model specifications. Using Tempo’s simple yet precise temporal query language, data scientists can quickly prototype specifications with greater transparency about pre-processing choices. Moreover, domain experts can assess performance within data subgroups to validate that models behave as expected. Through three case studies, we demonstrate how Tempo helps multidisciplinary teams quickly prune infeasible specifications and identify more promising directions to explore.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google