AutoTrain: Training van state-of-the-art modellen zonder code

AutoTrain: No-code training for state-of-the-art models

October 21, 2024

Auteurs: Abhishek Thakur

cs.AI

Samenvatting

Met de vooruitgang in open-source modellen is het trainen (of finetunen) van modellen op aangepaste datasets een cruciaal onderdeel geworden van het ontwikkelen van oplossingen die zijn afgestemd op specifieke industriële of open-source toepassingen. Toch is er geen enkele tool die het proces van training over verschillende soorten modaliteiten of taken vereenvoudigt. We introduceren AutoTrain (ook bekend als AutoTrain Advanced) - een open-source, no-code tool/bibliotheek die kan worden gebruikt om modellen te trainen (of finetunen) voor verschillende soorten taken zoals: finetuning van grote taalmodellen (LLM), tekstclassificatie/regressie, tokenclassificatie, sequentie-taak, finetuning van zintransformatoren, finetuning van visuele taalmodellen (VLM), beeldclassificatie/regressie en zelfs classificatie- en regressietaken op tabulaire gegevens. AutoTrain Advanced is een open-source bibliotheek die best practices biedt voor het trainen van modellen op aangepaste datasets. De bibliotheek is beschikbaar op https://github.com/huggingface/autotrain-advanced. AutoTrain kan worden gebruikt in volledig lokale modus of op cloudmachines en werkt met tienduizenden modellen die worden gedeeld op het Hugging Face Hub en hun varianten.

English

With the advancements in open-source models, training (or finetuning) models on custom datasets has become a crucial part of developing solutions which are tailored to specific industrial or open-source applications. Yet, there is no single tool which simplifies the process of training across different types of modalities or tasks. We introduce AutoTrain (aka AutoTrain Advanced) -- an open-source, no code tool/library which can be used to train (or finetune) models for different kinds of tasks such as: large language model (LLM) finetuning, text classification/regression, token classification, sequence-to-sequence task, finetuning of sentence transformers, visual language model (VLM) finetuning, image classification/regression and even classification and regression tasks on tabular data. AutoTrain Advanced is an open-source library providing best practices for training models on custom datasets. The library is available at https://github.com/huggingface/autotrain-advanced. AutoTrain can be used in fully local mode or on cloud machines and works with tens of thousands of models shared on Hugging Face Hub and their variations.