Оптимизация обучения и повышение эффективности генерации текста на основе LLaMa

В работе дается подробное описание методологии для эффективного дообучения и использования открытой архитектуры LLaMa. Для ускорения процесса дообучения предлагается использовать технологию LoRa (Low-Rank Adaptation), которая интегрирует ограниченное количество весов, сосредотачивая обучение на ключевых параметрах и сокращая время и объем памяти, который необходим для обучения. Дополнительное уменьшение объема памяти достигается с использованием битовых оптимизаторов и методов квантования, обрезая значения с плавающей точкой. Важным аспектом является разработка эффективной стратегии сбора данных. Она включает в себя фильтрацию набора данных для минимизации повторений в ответах и предотвращения риска переобучения. Работа также подчеркивает важность правильного выбора запроса. Этот запрос должен четко определять характеристики модели, области вопросов и способы ответа. Правильный выбор запроса играет ключевую роль в определении, какие аспекты модели будут рассмотрены, какие вопросы будут рассмотрены и как будут предоставлены ответы. Проведенные в ходе работы эксперименты выявили проблемы, связанные с нехваткой данных и переобучения, для решения которых предлагаются методы тщательной фильтрации обучающей выборки и аугментации данных с использованием обратного перевода и замены контекстными синонимами. В рамках данного исследования была разработана и применена комплексная методология, предоставляющая эффективные решения для оптимизации процесса обучения и повышения качества генерации текста при использовании архитектуры LLaMa.

The paper provides a detailed description of the methodology for effective fine-tuning and the use of the open LLaMa architecture. To speed up the fine-tuning process, it is proposed to use LoRa (Low-Rank Adaptation) technology, which integrates a limited number of weights, focusing training on key parameters and reducing the time and memory required for training. Additional memory reduction is achieved using bit optimizers and quantization methods, trimming floating-point values. An important aspect is the development of an efficient data collection strategy, including dataset filtering to minimize repetition in responses and prevent the risk of overfitting. The paper also underscores the importance of choosing the right query, which should clearly define the model's characteristics, question domains, and response methods. The proper selection of a query plays a key role in determining which aspects of the model will be considered, which questions will be addressed, and how responses will be provided. Experiments conducted during the study identified issues related to insufficient data and overfitting. To address these problems, methods of thorough training set filtering and data augmentation using back translation and context synonym replacement are proposed. The study introduces a comprehensive methodology that offers effective solutions to optimize the training process and enhance text generation quality when utilizing the LLaMa architecture.