Out-of-Distribution Detection and Selective Generation for Conditional Language Models

要約

通常、機械学習アルゴリズムは、トレーニング時とテスト時に、独立した同一分布のサンプルを想定しています。
多くの研究により、高性能の ML 分類器は大幅に劣化し、特に分布外 (OOD) の入力に対して、過度に自信を持った誤った分類予測を提供する可能性があることが示されています。
条件付き言語モデル (CLM) は、主に出力シーケンス内の次のトークンを分類するようにトレーニングされており、予測が多くのステップで自己回帰的に行われるため、OOD 入力でさらに悪化する可能性があります。
さらに、任意のテキストが生成される可能性があるため、潜在的な低品質の出力のスペースが大きくなり、生成された出力をいつ信頼するかを知ることが重要です。
CLM の非常に正確で軽量な OOD 検出方法を提示し、抽象化された要約と翻訳に対するその有効性を示します。
また、高品質の出力の選択的生成 (分類の選択的予測に類似) の分布シフトの一般的で現実的な設定の下で、低品質のものを自動的に控え、生成言語のより安全な展開を可能にする方法を示します。
モデル。

要約(オリジナル)

Machine learning algorithms typically assume independent and identically distributed samples in training and at test time. Much work has shown that high-performing ML classifiers can degrade significantly and provide overly-confident, wrong classification predictions, particularly for out-of-distribution (OOD) inputs. Conditional language models (CLMs) are predominantly trained to classify the next token in an output sequence, and may suffer even worse degradation on OOD inputs as the prediction is done auto-regressively over many steps. Furthermore, the space of potential low-quality outputs is larger as arbitrary text can be generated and it is important to know when to trust the generated output. We present a highly accurate and lightweight OOD detection method for CLMs, and demonstrate its effectiveness on abstractive summarization and translation. We also show how our method can be used under the common and realistic setting of distribution shift for selective generation (analogous to selective prediction for classification) of high-quality outputs, while automatically abstaining from low-quality ones, enabling safer deployment of generative language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google