The first step is the hardest: Pitfalls of Representing and Tokenizing Temporal Data for Large Language Models

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって顕著な一般化を示しており、個人がパーソナル アシスタントやユニバーサル コンピューティング エンジンとして LLM を使用することが増えています。
それにもかかわらず、ウェアラブルや電子健康記録から得たデータなどの数値/時間データをこれらのモデルにフィードする場合、顕著な障害が生じます。
LLM は、テキストをより小さな単位に分割するトークナイザーを入力に採用します。
ただし、トークナイザーは数値を表すように設計されていないため、連続する値を個別のトークンとして扱い、それらの一時的な関係を無視するため、繰り返しのパターンとコンテキストを理解するのに苦労する可能性があります。
ここでは、モバイルヘルスセンシングなどの人間中心のタスクに LLM を採用した最近の研究について説明し、一般的な LLM が時間データを誤ってトークン化していることを示すケーススタディを紹介します。
これに対処するために、この「モダリティ ギャップ」を埋めるのに役立つ、軽量の埋め込みレイヤーやマルチモーダル アダプターを使用した迅速な調整などの潜在的なソリューションを強調します。
微調整を最小限またはまったく行わずに他のモダリティに一般化できる言語モデルの機能は興味深いものですが、この論文では、入力のニュアンスにつまずいた場合、その出力が意味をなさないという事実を強調しています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable generalization across diverse tasks, leading individuals to increasingly use them as personal assistants and universal computing engines. Nevertheless, a notable obstacle emerges when feeding numerical/temporal data into these models, such as data sourced from wearables or electronic health records. LLMs employ tokenizers in their input that break down text into smaller units. However, tokenizers are not designed to represent numerical values and might struggle to understand repetitive patterns and context, treating consecutive values as separate tokens and disregarding their temporal relationships. Here, we discuss recent works that employ LLMs for human-centric tasks such as in mobile health sensing and present a case study showing that popular LLMs tokenize temporal data incorrectly. To address that, we highlight potential solutions such as prompt tuning with lightweight embedding layers as well as multimodal adapters, that can help bridge this ‘modality gap’. While the capability of language models to generalize to other modalities with minimal or no finetuning is exciting, this paper underscores the fact that their outputs cannot be meaningful if they stumble over input nuances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google