Ethical-Lens: Curbing Malicious Usages of Open-Source Text-to-Image Models

要約

Midjourney や DALLE 3 などのイノベーションに代表される、テキストから画像へのモデルの急成長は、さまざまな分野にわたるコンテンツ作成に革命をもたらしました。
ただし、これらの進歩は、特に社会規範に違反するコンテンツを生成するオープンソース モデルの悪用に関して、重大な倫理的懸念を引き起こします。
これに対処するために、内部モデルの改訂を必要とせずに、テキストから画像へのツールの価値に合わせた使用を促進するように設計されたフレームワークである Ethical-Lens を紹介します。
Ethical-Lens は、ユーザー コマンドを調整し、モデル出力を修正することにより、毒性とバイアスの次元全体でテキストから画像へのモデルの値の整合性を確保します。
GPT4-V、HEIM、FairFace スコアを組み合わせた体系的な評価指標により、アライメント能力を評価します。
私たちの実験では、Ethical-Lens が位置合わせ機能を DALLE 3 などの市販モデルと同等以上のレベルに強化し、画質を維持しながらユーザー作成コンテンツが倫理基準に準拠していることを確認しました。
この研究は、オープンソースのテキストから画像へのツールの持続可能な開発と社会への有益な統合を保証する Ethical-Lens の可能性を示しています。
私たちのコードは https://github.com/yuzhu-cai/Ethical-Lens で入手できます。

要約(オリジナル)

The burgeoning landscape of text-to-image models, exemplified by innovations such as Midjourney and DALLE 3, has revolutionized content creation across diverse sectors. However, these advancements bring forth critical ethical concerns, particularly with the misuse of open-source models to generate content that violates societal norms. Addressing this, we introduce Ethical-Lens, a framework designed to facilitate the value-aligned usage of text-to-image tools without necessitating internal model revision. Ethical-Lens ensures value alignment in text-to-image models across toxicity and bias dimensions by refining user commands and rectifying model outputs. Systematic evaluation metrics, combining GPT4-V, HEIM, and FairFace scores, assess alignment capability. Our experiments reveal that Ethical-Lens enhances alignment capabilities to levels comparable with or superior to commercial models like DALLE 3, ensuring user-generated content adheres to ethical standards while maintaining image quality. This study indicates the potential of Ethical-Lens to ensure the sustainable development of open-source text-to-image tools and their beneficial integration into society. Our code is available at https://github.com/yuzhu-cai/Ethical-Lens.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google