Kanana: Вычислительно эффективные двуязычные языковые модели

Kanana: Compute-efficient Bilingual Language Models

February 26, 2025

Авторы: Kanana LLM Team, Yunju Bak, Hojin Lee, Minho Ryu, Jiyeon Ham, Seungjae Jung, Daniel Wontae Nam, Taegyeong Eo, Donghun Lee, Doohae Jung, Boseop Kim, Nayeon Kim, Jaesun Park, Hyunho Kim, Hyunwoong Ko, Changmin Lee, Kyoung-Woon On, Seulye Baeg, Junrae Cho, Sunghee Jung, Jieun Kang, EungGyun Kim, Eunhwa Kim, Byeongil Ko, Daniel Lee, Minchul Lee, Miok Lee, Shinbok Lee, Gaeun Seo

cs.AI

Аннотация

Мы представляем Kanana, серию двуязычных языковых моделей, демонстрирующих выдающуюся производительность на корейском языке и конкурентоспособные результаты на английском. Вычислительные затраты Kanana значительно ниже, чем у современных моделей аналогичного размера. В отчете подробно описаны методы, использованные на этапе предварительного обучения для создания вычислительно эффективных, но конкурентоспособных моделей, включая фильтрацию данных высокого качества, поэтапное предварительное обучение, масштабирование глубины, а также обрезку и дистилляцию. Кроме того, в отчете изложены методологии, применяемые на этапе пост-обучения моделей Kanana, такие как контролируемая тонкая настройка и оптимизация предпочтений, направленные на повышение их способности к бесшовному взаимодействию с пользователями. Наконец, в отчете рассматриваются возможные подходы к адаптации языковых моделей к конкретным сценариям, включая встраивание, генерацию с усилением за счет извлечения и вызов функций. Серия моделей Kanana охватывает диапазон от 2,1 млрд до 32,5 млрд параметров, при этом модели с 2,1 млрд параметров (базовая, инструктивная и для встраивания) публично выпущены для содействия исследованиям в области корейских языковых моделей.

English

We introduce Kanana, a series of bilingual language models that demonstrate exceeding performance in Korean and competitive performance in English. The computational cost of Kanana is significantly lower than that of state-of-the-art models of similar size. The report details the techniques employed during pre-training to achieve compute-efficient yet competitive models, including high quality data filtering, staged pre-training, depth up-scaling, and pruning and distillation. Furthermore, the report outlines the methodologies utilized during the post-training of the Kanana models, encompassing supervised fine-tuning and preference optimization, aimed at enhancing their capability for seamless interaction with users. Lastly, the report elaborates on plausible approaches used for language model adaptation to specific scenarios, such as embedding, retrieval augmented generation, and function calling. The Kanana model series spans from 2.1B to 32.5B parameters with 2.1B models (base, instruct, embedding) publicly released to promote research on Korean language models.