Arctic-TILT. Business Document Understanding at Sub-Billion Scale

要約

LLM を採用するワークロードの大部分には、PDF またはスキャン コンテンツに基づいた質問への回答が含まれます。
これらのユースケースにおいて、そのサイズの 1000$\time$ のモデルと同等の精度を実現する Arctic-TILT を紹介します。
微調整して単一の 24GB GPU に導入できるため、最大 400,000 トークンを使用して視覚的にリッチなドキュメントを処理しながら運用コストを削減できます。
このモデルは、7 つの多様な Document Understanding ベンチマークで最先端の結果を確立するだけでなく、大規模または時間に敏感なエンタープライズ環境でファイルを処理するために不可欠な、信頼性の高い信頼スコアと迅速な推論を提供します。

要約(オリジナル)

The vast portion of workloads employing LLMs involves answering questions grounded on PDF or scan content. We introduce the Arctic-TILT achieving accuracy on par with models 1000$\times$ its size on these use cases. It can be fine-tuned and deployed on a single 24GB GPU, lowering operational costs while processing Visually Rich Documents with up to 400k tokens. The model establishes state-of-the-art results on seven diverse Document Understanding benchmarks, as well as provides reliable confidence scores and quick inference, which are essential for processing files in large-scale or time-sensitive enterprise environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google