Towards Mode Balancing of Generative Models via Diversity Weights

要約

タイトル：多様性ウェイトを通じた生成モデルのモードバランスへの向けて

要約：

– 大規模なデータ駆動型のイメージモデルは、クリエイティブな芸術作品を支えるために幅広く使用されている。
– 現在主流の分布適合パラダイムでは、データセットは最も近似しなければならないground truthとして扱われる。
– しかし、多くのクリエイティブなアプリケーションでは、多様な出力が必要であり、作成者はしばしば与えられたデータ分布から積極的に逸脱することを求める。
– より高い出力多様性の目標を達成するために、モードカバレッジからモードバランスへのモデリング目的の調整が必要であると主張する。
– 我々は、トレーニングデータセット内のモードをバランスさせることにより、モデルの出力多様性を増加させるトレーニングスキームである多様性ウェイトを提案している。
– 制御された設定での最初の実験は、我々の方法のポテンシャルを示している。
– 最後に、我々の貢献を幅広い議論であるバイアス、公平性、生成機械学習における表現における多様性の文脈に置くことにより締めくくっている。

要約(オリジナル)

Large data-driven image models are extensively used to support creative and artistic work. Under the currently predominant distribution-fitting paradigm, a dataset is treated as ground truth to be approximated as closely as possible. Yet, many creative applications demand a diverse range of output, and creators often strive to actively diverge from a given data distribution. We argue that an adjustment of modelling objectives, from pure mode coverage towards mode balancing, is necessary to accommodate the goal of higher output diversity. We present diversity weights, a training scheme that increases a model’s output diversity by balancing the modes in the training dataset. First experiments in a controlled setting demonstrate the potential of our method. We conclude by contextualising our contribution to diversity within the wider debate on bias, fairness and representation in generative machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI