Dataset Interfaces: Diagnosing Model Failures Using Controllable Counterfactual Generation

要約

分布の変化は、展開された機械学習モデルの失敗の主な原因です。
ただし、分布シフトの下でモデルの信頼性を評価することは、特に特定のシフトを示す反事実の例を取得するのが難しい場合があるため、困難な場合があります。
この作業では、データセット インターフェイスを紹介します。これは、ユーザーが特定のデータセットからそのような反事実の例をスケーラブルに合成できるようにするフレームワークです。
具体的には、入力データセットの各クラスを、テキストから画像への拡散モデルのテキスト スペース内のカスタム トークンとして表します。
これらのトークンを自然言語プロンプトに組み込むことで、目的の分布シフトの下でそのデータセット内のオブジェクトのインスタンス化を生成できます。
フレームワークを ImageNet データセットに適用することで、背景、照明、オブジェクト自体の属性のバリエーションなど、さまざまなシフトにわたってモデルの動作を研究できることを示します。
コードは https://github.com/MadryLab/dataset-interfaces で入手できます。

要約(オリジナル)

Distribution shifts are a major source of failure of deployed machine learning models. However, evaluating a model’s reliability under distribution shifts can be challenging, especially since it may be difficult to acquire counterfactual examples that exhibit a specified shift. In this work, we introduce dataset interfaces: a framework which allows users to scalably synthesize such counterfactual examples from a given dataset. Specifically, we represent each class from the input dataset as a custom token within the text space of a text-to-image diffusion model. By incorporating these tokens into natural language prompts, we can then generate instantiations of objects in that dataset under desired distribution shifts. We demonstrate how applying our framework to the ImageNet dataset enables us to study model behavior across a diverse array of shifts, including variations in background, lighting, and attributes of the objects themselves. Code available at https://github.com/MadryLab/dataset-interfaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google