In-Context Learning for MIMO Equalization Using Transformer-Based Sequence Models

要約

トランスフォーマーベースのアーキテクチャなどの大規模な事前トレーニング済みシーケンス モデルには、コンテキスト内学習 (ICL) を実行する能力があることが最近示されました。
ICL では、新しい入力に関する決定は、入力と、タスクのコンテキストとして機能する指定されたタスクからのいくつかの例を出力変数に直接マッピングすることによって行われます。
新しいタスクに合わせて決定を調整するために、モデル パラメーターを明示的に更新する必要はありません。
メタ学習の一種に相当する事前トレーニングは、いくつかの関連タスクの例の観察に基づいています。
これまでの研究では、線形回帰に対する ICL の機能が示されています。
この研究では、ICL を活用して、パイロット シンボルによって与えられたコンテキストに基づいた多入力多出力 (MIMO) 等化の逆問題に対処します。
タスクは、未知のフェージング チャネルと、既知の信号対雑音比 (SNR) レベルによって定義されます。
このアプローチの実用的な可能性を強調するために、受信信号の量子化の存在を考慮します。
数値結果を通じて、トランスベースの ICL にはしきい値動作があることを示します。これにより、事前トレーニング タスクの数が増加するにつれて、パフォーマンスが、事前トレーニング タスクによって決定された事前分布を持つ最小平均二乗誤差 (MMSE) イコライザーのパフォーマンスから切り替わります。
真のデータ生成事前学習を使用してタスクを MMSE イコライザーのタスクにトレーニングします。

要約(オリジナル)

Large pre-trained sequence models, such as transformer-based architectures, have been recently shown to have the capacity to carry out in-context learning (ICL). In ICL, a decision on a new input is made via a direct mapping of the input and of a few examples from the given task, serving as the task’s context, to the output variable. No explicit updates of model parameters are needed to tailor the decision to a new task. Pre-training, which amounts to a form of meta-learning, is based on the observation of examples from several related tasks. Prior work has shown ICL capabilities for linear regression. In this study, we leverage ICL to address the inverse problem of multiple-input and multiple-output (MIMO) equalization based on a context given by pilot symbols. A task is defined by the unknown fading channel and by the signal-to-noise ratio (SNR) level, which may be known. To highlight the practical potential of the approach, we allow for the presence of quantization of the received signals. We demonstrate via numerical results that transformer-based ICL has a threshold behavior, whereby, as the number of pre-training tasks grows, the performance switches from that of a minimum mean squared error (MMSE) equalizer with a prior determined by the pre-trained tasks to that of an MMSE equalizer with the true data-generating prior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google