Transformer Explainer: Interactive Learning of Text-Generative Models

要約

トランスフォーマーは機械学習に革命をもたらしましたが、その内部の仕組みは多くの人にとって依然として不透明です。
Transformer Explainer は、GPT-2 モデルを通じてトランスフォーマーについて非専門家が学習できるように設計されたインタラクティブな視覚化ツールです。
私たちのツールは、モデルの概要を統合し、数学的演算とモデル構造の抽象化レベル間のスムーズな移行を可能にすることで、ユーザーが複雑な Transformer の概念を理解するのに役立ちます。
ライブ GPT-2 インスタンスをユーザーのブラウザーでローカルに実行し、ユーザーが独自の入力を実験し、Transformer の内部コンポーネントとパラメーターがどのように連携して次のトークンを予測するかをリアルタイムで観察できるようにします。
私たちのツールはインストールや特別なハードウェアを必要とせず、最新の生成 AI 技術への教育アクセスを一般の人々に広げます。
弊社のオープンソース ツールは https://poloclub.github.io/transformer-explainer/ で入手できます。
ビデオデモは https://youtu.be/ECR4oAwocjs でご覧いただけます。

要約(オリジナル)

Transformers have revolutionized machine learning, yet their inner workings remain opaque to many. We present Transformer Explainer, an interactive visualization tool designed for non-experts to learn about Transformers through the GPT-2 model. Our tool helps users understand complex Transformer concepts by integrating a model overview and enabling smooth transitions across abstraction levels of mathematical operations and model structures. It runs a live GPT-2 instance locally in the user’s browser, empowering users to experiment with their own input and observe in real-time how the internal components and parameters of the Transformer work together to predict the next tokens. Our tool requires no installation or special hardware, broadening the public’s education access to modern generative AI techniques. Our open-sourced tool is available at https://poloclub.github.io/transformer-explainer/. A video demo is available at https://youtu.be/ECR4oAwocjs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google