Tabby: Синтез табличных данных с использованием языковых моделей

Tabby: Tabular Data Synthesis with Language Models

March 4, 2025

Авторы: Sonia Cromp, Satya Sai Srinath Namburi GNVV, Mohammed Alkhudhayri, Catherine Cao, Samuel Guo, Nicholas Roberts, Frederic Sala

cs.AI

Аннотация

Хотя достижения в области больших языковых моделей (LLM) значительно повысили качество синтетических текстовых данных в последние годы, синтез табличных данных получил относительно меньше внимания. Мы устраняем этот разрыв с помощью Tabby — простого, но мощного изменения стандартной архитектуры языковой модели Transformer, применяемого после обучения, что позволяет использовать её для синтеза табличных наборов данных. Tabby позволяет представлять различия между столбцами с использованием Gated Mixture-of-Experts, с наборами параметров, специфичными для каждого столбца. Эмпирически Tabby обеспечивает качество данных, близкое или равное качеству реальных данных. Сочетая нашу новую методику обучения LLM для таблиц, Plain, с Tabby, мы наблюдаем улучшение качества до 44% по сравнению с предыдущими методами. Мы также показываем, что Tabby выходит за рамки таблиц и применим к более общим структурированным данным, достигая паритета с реальными данными на наборе данных с вложенной структурой JSON.

English

While advances in large language models (LLMs) have greatly improved the quality of synthetic text data in recent years, synthesizing tabular data has received relatively less attention. We address this disparity with Tabby, a simple but powerful post-training modification to the standard Transformer language model architecture, enabling its use for tabular dataset synthesis. Tabby enables the representation of differences across columns using Gated Mixture-of-Experts, with column-specific sets of parameters. Empirically, Tabby results in data quality near or equal to that of real data. By pairing our novel LLM table training technique, Plain, with Tabby, we observe up to a 44% improvement in quality over previous methods. We also show that Tabby extends beyond tables to more general structured data, reaching parity with real data on a nested JSON dataset as well.