Самминг: Обучение модели языка речи на одном GPU за один день

Slamming: Training a Speech Language Model on One GPU in a Day

February 19, 2025

Авторы: Gallil Maimon, Avishai Elmakies, Yossi Adi

cs.AI

Аннотация

Мы представляем Slam - рецепт для обучения высококачественных моделей речевого языка (SLM) на одном академическом GPU за 24 часа. Мы достигаем этого через эмпирический анализ инициализации модели и архитектуры, синтетических данных для обучения, оптимизации предпочтений с синтетическими данными и настройки всех остальных компонентов. Мы эмпирически демонстрируем, что этот метод обучения также хорошо масштабируется с увеличением вычислительных ресурсов, достигая результатов, сопоставимых с ведущими SLM при доле вычислительных затрат. Мы надеемся, что эти исследования сделают обучение и исследования SLM более доступными. В контексте законов масштабирования SLM наши результаты значительно превосходят предсказанную оптимальную производительность вычислений, что дает оптимистичное представление о возможности применения SLM. См. код, данные, модели, образцы по ссылке - https://pages.cs.huji.ac.il/adiyoss-lab/slamming.

English

We introduce Slam, a recipe for training high-quality Speech Language Models (SLMs) on a single academic GPU in 24 hours. We do so through empirical analysis of model initialisation and architecture, synthetic training data, preference optimisation with synthetic data and tweaking all other components. We empirically demonstrate that this training recipe also scales well with more compute getting results on par with leading SLMs in a fraction of the compute cost. We hope these insights will make SLM training and research more accessible. In the context of SLM scaling laws, our results far outperform predicted compute optimal performance, giving an optimistic view to SLM feasibility. See code, data, models, samples at - https://pages.cs.huji.ac.il/adiyoss-lab/slamming .