이진 확산을 이용한 표 형식 데이터 생성

Tabular Data Generation using Binary Diffusion

September 20, 2024

저자: Vitaliy Kinakh, Slava Voloshynovskiy

cs.AI

초록

합성 탭러 데이터 생성은 머신 러닝에서 중요한데, 실제 데이터가 제한적이거나 민감할 때 특히 중요합니다. 전통적인 생성 모델은 종종 탭러 데이터의 고유한 특성으로 인해 도전에 직면하며, 이는 혼합 데이터 유형과 다양한 분포 등을 포함하며 복잡한 전처리나 대규모 사전 훈련 모델이 필요합니다. 본 논문에서는 모든 탭러 데이터를 고정 크기의 이진 표현으로 변환하는 새로운 손실 없는 이진 변환 방법을 소개하고, Binary Diffusion이라는 새로운 생성 모델을 소개합니다. Binary Diffusion은 이진 데이터에 특별히 설계된 모델로, XOR 연산의 간편함을 활용하여 노이즈 추가 및 제거를 수행하고 훈련을 위해 이진 교차 엔트로피 손실을 사용합니다. 저희 방법은 복잡한 전처리, 복잡한 노이즈 매개변수 조정, 대규모 데이터셋 사전 훈련의 필요성을 제거합니다. 저희 모델을 몇 가지 인기 있는 탭러 벤치마크 데이터셋에서 평가하여, Binary Diffusion이 Travel, Adult Income, Diabetes 데이터셋에서 기존의 최첨단 모델을 능가하면서 크기가 훨씬 작음을 보여줍니다.

English

Generating synthetic tabular data is critical in machine learning, especially when real data is limited or sensitive. Traditional generative models often face challenges due to the unique characteristics of tabular data, such as mixed data types and varied distributions, and require complex preprocessing or large pretrained models. In this paper, we introduce a novel, lossless binary transformation method that converts any tabular data into fixed-size binary representations, and a corresponding new generative model called Binary Diffusion, specifically designed for binary data. Binary Diffusion leverages the simplicity of XOR operations for noise addition and removal and employs binary cross-entropy loss for training. Our approach eliminates the need for extensive preprocessing, complex noise parameter tuning, and pretraining on large datasets. We evaluate our model on several popular tabular benchmark datasets, demonstrating that Binary Diffusion outperforms existing state-of-the-art models on Travel, Adult Income, and Diabetes datasets while being significantly smaller in size.