OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens

要約

OlmoTraceを提示します。これは、言語モデルの出力を完全な数兆トークントレーニングデータにリアルタイムで追跡する最初のシステムです。
OlmoTraceは、言語モデルの出力のセグメントとトレーニングテキストコーパのドキュメント間で逐語的な一致を見つけて表示します。
拡張バージョンのInfini-Gram（Liu et al。、2024）を搭載したこのシステムは、数秒以内にトレース結果を返します。
OlmoTraceは、トレーニングデータのレンズを介して言語モデルの動作をユーザーに理解するのに役立ちます。
言語モデルのファクトチェック、幻覚、および創造性を探求するためにそれを使用する方法を紹介します。
OlmoTraceは公開されており、完全にオープンソースです。

要約(オリジナル)

We present OLMoTrace, the first system that traces the outputs of language models back to their full, multi-trillion-token training data in real time. OLMoTrace finds and shows verbatim matches between segments of language model output and documents in the training text corpora. Powered by an extended version of infini-gram (Liu et al., 2024), our system returns tracing results within a few seconds. OLMoTrace can help users understand the behavior of language models through the lens of their training data. We showcase how it can be used to explore fact checking, hallucination, and the creativity of language models. OLMoTrace is publicly available and fully open-source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google