Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation

要約

大規模言語モデル (LLM) と生成モデルの最近の進歩を、新興のセマンティック コミュニケーション (SC) パラダイムに統合することにより、この記事では、言語指向のセマンティック コミュニケーション (LSC) の新しいフレームワークを提案します。
LSC では、マシンは人間の言語メッセージを使用して通信します。このメッセージは、SC 効率を高めるための自然言語処理 (NLP) 技術によって解釈および操作できます。
LSC の可能性を実証するために、3 つの革新的なアルゴリズムを導入します。1) セマンティック ソース コーディング (SSC) は、プロンプトのコンテキストを維持するために出現順序を維持しながら、プロンプトの構文上の本質を捕捉する重要な見出し語にテキスト プロンプトを圧縮します。
2) 見出し語をより長い同義語に置き換えることにより、エラーに対する堅牢性を向上させるセマンティック チャネル コーディング (SCC)。
3) リスナーの言語スタイルをコンテキスト内で学習することにより、リスナーにカスタマイズされたプロンプトを生成する意味論的知識蒸留 (SKD)。
プログレッシブなテキストから画像への生成のための通信タスクにおいて、提案された方法は、ノイズの多い通信チャネルでの堅牢性を高めながら、少ない送信でより高い知覚的類似性を達成します。

要約(オリジナル)

By integrating recent advances in large language models (LLMs) and generative models into the emerging semantic communication (SC) paradigm, in this article we put forward to a novel framework of language-oriented semantic communication (LSC). In LSC, machines communicate using human language messages that can be interpreted and manipulated via natural language processing (NLP) techniques for SC efficiency. To demonstrate LSC’s potential, we introduce three innovative algorithms: 1) semantic source coding (SSC) which compresses a text prompt into its key head words capturing the prompt’s syntactic essence while maintaining their appearance order to keep the prompt’s context; 2) semantic channel coding (SCC) that improves robustness against errors by substituting head words with their lenghthier synonyms; and 3) semantic knowledge distillation (SKD) that produces listener-customized prompts via in-context learning the listener’s language style. In a communication task for progressive text-to-image generation, the proposed methods achieve higher perceptual similarities with fewer transmissions while enhancing robustness in noisy communication channels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google