RoTaR: Efficient Row-Based Table Representation Learning via Teacher-Student Training

要約

既存のテーブル表現学習方法が直面する効率性とスケーラビリティの問題に対処するために、行ベースのテーブル表現学習方法である RoTaR を提案します。
RoTaR の重要なアイデアは、クエリ固有の集計によって再利用できるクエリに依存しない行表現を生成することです。
行ベースのアーキテクチャに加えて、RoTaR モデルのパフォーマンスを向上させるために、セル認識位置埋め込み、教師と生徒のトレーニング パラダイム、選択的逆方向などのいくつかの手法を導入します。

要約(オリジナル)

We propose RoTaR, a row-based table representation learning method, to address the efficiency and scalability issues faced by existing table representation learning methods. The key idea of RoTaR is to generate query-agnostic row representations that could be re-used via query-specific aggregation. In addition to the row-based architecture, we introduce several techniques: cell-aware position embedding, teacher-student training paradigm, and selective backward to improve the performance of RoTaR model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google