Visual Analytics for Generative Transformer Models

要約

トランスベースのモデルは、さまざまな分類および生成タスクにおいて最先端の結果を達成していますが、そのブラックボックスの性質により、解釈が難しくなります。
この研究では、変圧器ベースの生成ネットワークの分析をサポートする新しい視覚的分析フレームワークを紹介します。
主にエンコーダベースのモデルに焦点を当てていた以前の研究とは対照的に、私たちのフレームワークは、生成および分類タスクのためのトランスフォーマベースのエンコーダ/デコーダ モデルおよびデコーダのみのモデルの分析のサポートに特化した最初のフレームワークの 1 つです。
したがって、ユーザーがインタラクティブな視覚化を通じてモデルのさまざまな側面を探索できる直感的な概要を提供します。
私たちのフレームワークの実現可能性と有用性を実証するために、実際の NLP 研究問題に基づいた 3 つの詳細なケーススタディを紹介します。

要約(オリジナル)

While transformer-based models have achieved state-of-the-art results in a variety of classification and generation tasks, their black-box nature makes them challenging for interpretability. In this work, we present a novel visual analytical framework to support the analysis of transformer-based generative networks. In contrast to previous work, which has mainly focused on encoder-based models, our framework is one of the first dedicated to supporting the analysis of transformer-based encoder-decoder models and decoder-only models for generative and classification tasks. Hence, we offer an intuitive overview that allows the user to explore different facets of the model through interactive visualization. To demonstrate the feasibility and usefulness of our framework, we present three detailed case studies based on real-world NLP research problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google