disco: a toolkit for Distributional Control of Generative Models

要約

事前にトレーニングされた言語モデルやその他の生成モデルは、NLP とその先に革命をもたらしました。
ただし、これらのモデルは、トレーニング データに存在する望ましくないバイアスを再現する傾向があります。
また、重要だが把握するのが難しいパターンを見落とす可能性があります。
これらの制限に対処するために、研究者は分布制御技術を導入しました。
これらの手法は、言語に限定されず、モデルの出力で関心のある機能の普及 (つまり、期待) を制御できます。
その可能性にもかかわらず、これらの手法の広範な採用は、複雑で分断されたコードを適応させることが困難なために妨げられてきました。
ここでは、これらの手法をより広く一般に公開するオープンソースの Python ライブラリである disco を紹介します。

要約(オリジナル)

Pre-trained language models and other generative models have revolutionized NLP and beyond. However, these models tend to reproduce undesirable biases present in their training data. Also, they may overlook patterns that are important but challenging to capture. To address these limitations, researchers have introduced distributional control techniques. These techniques, not limited to language, allow controlling the prevalence (i.e., expectations) of any features of interest in the model’s outputs. Despite their potential, the widespread adoption of these techniques has been hindered by the difficulty in adapting complex, disconnected code. Here, we present disco, an open-source Python library that brings these techniques to the broader public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google