Анализ эффективности трансформеров для решения некоторых задач NLP

Архитектура «Трансформер» (включает механизм внимания) представляет собой одну из самых передовых архитектур нейронных сетей для решения задач обработки естественного языка. Она позволяет работать моделям (трансформерам) со всем текстом одновременно (параллельно), исключая необходимость учёта последовательности (порядка) слов в нём. Архитектура данной сети была опубликована в 2017 году, а уже в 2018 появились 2 большие предобученные модели - GPT и BERT, а в дальнейшем - различные модификации этих подходов. GPT-подобные модели часто называют авторегрессионными трансформерами, в то время как BERT-подобные модели - автокодирующими трансформерами. В данной работе рассмотрены (проведён сравнительный анализ) актуальные подходы к решению некоторых задач обработки естественного языка, а также продемонстрирована целесообразность использования данных методов и возможности оптимизации.

Efficiency analysis of transformers for some NLP tasks

The “Transformer” architecture (includes the attention mechanism) is one of the most advanced neural network architectures for natural language processing tasks. It allows models (transformers) to work with the entire text simultaneously (in parallel), eliminating the need to take into account the sequence (order) of words in it. The architecture of this network was published in 2017, and already in 2018 there were 2 large pre-trained models - GPT and BERT, and later - various modifications of these approaches. GPT-like models are often called autoregressive transformers, while BERT-like models are called autocoding transformers. In this paper, we have considered (carried out a comparative analysis) current approaches to solving some natural language processing tasks, the expediency of using these methods and optimization possibilities.