ОСОБЕННОСТИ СЕГМЕНТАЦИИ ПРЕДЛОЖЕНИЙ КИТАЙСКОГО ЯЗЫКА В ПРОЦЕССЕ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА. СИМВОЛЬНЫЙ АЛГОРИТМ И АЛГОРИТМ МАКСИМАЛЬНОГО СООТВЕТСТВИЯ

В статье объясняется влияние особенностей китайского языка на сегментацию текстов в процессе обработки естественного языка. Цель работы - сделать анализ основных способов сегментации китайских текстов и объяснить принцип их функционирования. Материалом стали исследования специалистов по вычислительной лингвистике, анализу языковых данных и программированию. Данная работа может быть использована для внедрения специалистов по китайскому языку в основы функционирования машинного перевода и анализа лингвистических данных компьютером. Настоящая статья также может послужить подспорьем для дальнейшего исследования способов обработки текстов на китайском языке с помощью современных технологий.

CHINESE WORD SEGMENTATION CHALLENGES FOR NATURAL LANGUAGE PROCESSING. CHARACTER-BASED APPROACH AND MAXIMUM MATCHING METHOD

This article explains the influence of the Chinese language characteristics on text segmentation for Natural Language Processing. The purpose of the work is to analyze the main methods of segmenting Chinese texts and explain the principles of their operation. The material for this article is the research of specialists in computational linguistics, language data analysis and programming. This work can be used to introduce Chinese language specialists into the basis of machine translation and analysis of linguistic data by machines. This article can also serve as a support for further research on how to process texts in Chinese using modern technologies.