Об эволюции классических вероятностных моделей языка в естественно-языковых приложениях

В работе предпринята попытка систематизировать основные этапы эволюции моделей языка, связать их с развитием персональных электронно-вычислительных средств и математического аппарата моделирования. Рассмотрены наиболее востребованные на сегодняшний день статистические и нейросетевые модели языка, которые активно используются на практике в естественно-языковых приложениях, связанных с задачами распознавания (распознавание речи, оптические системы распознавания, коррекция искаженных текстов и др.). Отмечено, что развитие технологий языкового моделирования привело к существенному снижению перплексии и энтропии разрабатываемых моделей, что, в свою очередь, позволило существенно повысить эффективность распознавания и коррекции.

The paper attempts to systematize the main stages of the evolution of language models, to link them with the development of personal electronic computing tools and mathematical modeling apparatus. The most popular, to date, statistical and neural network models of language are considered, which are actively used in practice in natural language applications related to recognition tasks (speech recognition, optical recognition systems, correction of distorted texts, etc.). It is noted that the development of language modeling technologies has led to a significant decrease in the perplexity and entropy of the developed models, which, in turn, has significantly improved the efficiency of recognition and correction.