DualTime: A Dual-Adapter Multimodal Language Model for Time Series Representation

要約

最近の言語モデル (LM) の急速な発展は、マルチモーダル時系列モデリングを含む時系列の分野で注目を集めています。
ただし、現在の時系列マルチモーダル手法には偏りがあり、多くの場合、1 つのモダリティに主な役割が割り当てられ、もう 1 つは二次的な役割を引き受けることに注意します。
彼らは、さまざまな手段の相互利益と補完性を見落としています。
たとえば、発作の診断では、テキストの臨床報告のみに依存すると、疾患の領域と種類を正確に特定することが困難になります。一方、脳波 (EEG) だけでは、症状を考慮せずに正確な診断を行うことはできません。
本研究では、時系列マルチモーダルデータの補完情報マイニングに基づいて、時間主モデリングとテキスト主モデリングを同時に実装する時系列表現のためのデュアルアダプターマルチモーダル言語モデルである DualTime を提案します。
軽量のアダプテーション トークンを注入することにより、デュアル アダプターで共有される LM パイプラインは埋め込み調整を促進し、効率的な微調整を実現します。
経験的に、私たちの方法は教師あり設定と教師なし設定の両方で最先端のモデルを上回っており、さまざまなモダリティの相補的な利点が強調されています。
さらに、数ショットのラベル転送実験を行い、提案する DualTime の転送可能性と表現力をさらに検証します。

要約(オリジナル)

The recent rapid development of language models (LMs) has attracted attention in the field of time series, including multimodal time series modeling. However, we note that current time series multimodal methods are biased, often assigning a primary role to one modality while the other assumes a secondary role. They overlook the mutual benefits and complementary of different modalities. For example, in seizure diagnosis, relying solely on textual clinical reports makes it difficult to pinpoint the area and type of the disease, while electroencephalograms (EEGs) alone cannot provide an accurate diagnosis without considering the symptoms. In this study, based on the complementary information mining of time series multimodal data, we propose DualTime, a Dual-adapter multimodal language model for Time series representation implementing temporal-primary and textual-primary modeling simultaneously. By injecting lightweight adaption tokens, the LM pipeline shared by dual adapters encourages embedding alignment and achieves efficient fine-tuning. Empirically, our method outperforms state-of-the-art models in both supervised and unsupervised settings, highlighting the complementary benefits of different modalities. In addition, we conduct few-shot label transfer experiments, which further verifies the transferability and expressiveness of our proposed DualTime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google