Rapporto Tecnico completamente Open Source su Moxin-7B

Fully Open Source Moxin-7B Technical Report

December 8, 2024

Autori: Pu Zhao, Xuan Shen, Zhenglun Kong, Yixin Shen, Sung-En Chang, Timothy Rupprecht, Lei Lu, Enfu Nan, Changdi Yang, Yumei He, Xingchen Xu, Yu Huang, Wei Wang, Yue Chen, Yong He, Yanzhi Wang

cs.AI

Abstract

Recentemente, i Large Language Models (LLM) hanno subito una significativa trasformazione, contraddistinta da un rapido aumento sia della loro popolarità che delle capacità. A guidare questa evoluzione sono LLM proprietari come GPT-4 e GPT-o1, che hanno catturato ampia attenzione nella comunità di intelligenza artificiale grazie alle loro prestazioni e versatilità straordinarie. Allo stesso tempo, i LLM open-source, come LLaMA e Mistral, hanno apportato grandi contributi alla crescente popolarità dei LLM grazie alla facilità di personalizzazione e distribuzione dei modelli in diverse applicazioni. Sebbene i LLM open-source offrano opportunità senza precedenti per l'innovazione e la ricerca, la commercializzazione dei LLM ha sollevato preoccupazioni riguardo alla trasparenza, riproducibilità e sicurezza. Molti LLM open-source non soddisfano i requisiti fondamentali di trasparenza trattenendo componenti essenziali come codice di addestramento e dati, e alcuni utilizzano licenze restrittive pur dichiarandosi "open-source", il che potrebbe ostacolare ulteriori innovazioni sui LLM. Per mitigare questo problema, presentiamo Moxin 7B, un LLM completamente open-source sviluppato in conformità con il Model Openness Framework (MOF), un sistema di classificazione graduato che valuta i modelli di intelligenza artificiale in base alla completezza e apertura del modello, attenendosi ai principi di scienza aperta, open source, open data e open access. Il nostro modello raggiunge il più alto livello di classificazione MOF di "scienza aperta" attraverso il rilascio completo del codice e delle configurazioni di pre-addestramento, dei dataset di addestramento e raffinamento, e dei checkpoint intermedi e finali. Gli esperimenti mostrano che il nostro modello ottiene prestazioni superiori nella valutazione zero-shot rispetto ai modelli 7B popolari e si comporta in modo competitivo nella valutazione few-shot.

English

Recently, Large Language Models (LLMs) have undergone a significant transformation, marked by a rapid rise in both their popularity and capabilities. Leading this evolution are proprietary LLMs like GPT-4 and GPT-o1, which have captured widespread attention in the AI community due to their remarkable performance and versatility. Simultaneously, open-source LLMs, such as LLaMA and Mistral, have made great contributions to the ever-increasing popularity of LLMs due to the ease to customize and deploy the models across diverse applications. Although open-source LLMs present unprecedented opportunities for innovation and research, the commercialization of LLMs has raised concerns about transparency, reproducibility, and safety. Many open-source LLMs fail to meet fundamental transparency requirements by withholding essential components like training code and data, and some use restrictive licenses whilst claiming to be "open-source," which may hinder further innovations on LLMs. To mitigate this issue, we introduce Moxin 7B, a fully open-source LLM developed in accordance with the Model Openness Framework (MOF), a ranked classification system that evaluates AI models based on model completeness and openness, adhering to principles of open science, open source, open data, and open access. Our model achieves the highest MOF classification level of "open science" through the comprehensive release of pre-training code and configurations, training and fine-tuning datasets, and intermediate and final checkpoints. Experiments show that our model achieves superior performance in zero-shot evaluation compared with popular 7B models and performs competitively in few-shot evaluation.