Использование предобученной нейросети (VGG16) для решениязадачи переноса стиля изображения

Задача переноса стиля изображения состоит в создании нового, ранее не существующего изображения путем комбинирования двух данных изображений - оригинального и стилевого. Оригинальное изображение формирует структуру, основные геометрические линии и формы результирующего изображения, в то время как стилевое изображение задает цвет и текстуру результата. Суть данного подхода заключается в том, что некая картинка преобразуется в новую с другим стилем, который был задан. Для решения таких задач обычно используют сверточные нейронные сети. На входе нейронной сети подаются две картинки: контент и стиль. Например, фотографию, а стилевое - картину знаменитого художника. Результирующим изображением в таком случае будет сцена, изображенная на исходной фотографии, выполненная в стилистике данной картины. Современные алгоритмы переноса стиля позволяют добиться хороших результатов, но результат работы таких алгоритмов оказывается либо неприемлемым ввиду чрезмерного искажения черт лица, либо слабо выраженным, не носящим характерные черты стилевого изображения. В этой работе мы рассмотрим, как адаптировать предобученную модель в решение задачи классификации и переноса изображения так, чтобы в результате было получено изображение, которое разукрасится в соответствии с исходным изображением. Наш основной вклад - это предложение нового метода обработки и переноса стиля изображений, основанного на предобученной модели VGG16.

The task of image style transfer is to create a new, previously non-existent image by combining two given images - the original image and the styled image. The original image forms the structure, basic geometric lines and shapes of the resulting image, while the styled image sets the colour and texture of the result. The essence of this approach is that a certain image is transformed into a new one with a different style that has been set. To solve such problems, convolutional neural networks are usually used. The input to the neural network is two pictures: content and style. For example, a photograph, and the style is a painting by a famous artist. The resulting image would then be the scene depicted in the original picture, styled in the style of that picture. Modern style transfer algorithms give good results, but the result of such algorithms is either unacceptable due to excessive distortion of facial features, or weakly expressed, not bearing the characteristic features of the style image. In this paper, we consider how to adapt a pre-trained model in solving the image classification and transfer problem, so that the result is an image that is coloured according to the original image and highly pronounced. Our main contribution is to propose a new method for image processing and style transfer based on the pre-trained VGG16 model.