Cognitive complexity measures for educational texts: Empirical validation of linguistic parameters

The article presents a study conducted within the framework of discourse complexology - an integral scientific domain that has united linguists, cognitive scientists, psychologists and programmers dealing with the problems of discourse complexity. The issue of cognitive complexity of texts is one of the central issues in discourse complexology. The paper presents the results of the study aimed to identify and empirically validate a list of educational texts’ complexity predictors. The study aims to identify discriminant linguistic parameters sufficient to assess cognitive complexity of educational texts. We view text cognitive complexity as a construct, based on the amount of presented information and the success of reader-text interactions. The idea behind the research is that text cognitive complexity notably increases across middle and high schools. The research dataset comprises eight biology textbooks with the total size of 219,319 tokens. Metrics of text linguistic features were estimated with the help of automatic analyzer RuLingva (rulingva.kpfu.ru). Linguistic and statistical analysis confirmed the hypothesis that text syntactic and lexical parameters are discriminative enough to classify different levels of cognitive complexity of educational texts used in middle and high schools. Text parameters that manifest variance in cognitive complexity include lexical diversity (TTR); local argument overlap; abstractness index; number of polysyllabic words, Flesch-Kincaid Grade Level; number of nouns and number of adjectives per sentence. Empirical evidence indicates that the proposed approach outperforms existing methods of text complexity assessment. The research results can be implemented in the system of scientific and educational content expertise for Russian school textbooks. They can also be of some use in the development of educational resources and further research in the field of text complexity.

В статье представлено исследование, проведенное в рамках дискурсивной комплексологии - интегрального научного направления, объединяющего лингвистов, когнитологов, психологов и программистов, которые занимаются проблемами сложности дискурса. Проблема когнитивной сложности текстов является одной из центральных в дискурсивной комплексологии. В работе показаны результаты исследования по выявлению и эмпирической валидации перечня предикторов сложности учебных текстов. Цель данного исследования - выявить дискриминантные лингвистические параметры, достаточные для установления уровня когнитивной сложности учебных текстов. Мы рассматриваем когнитивную сложность текста как конструкт, в основе которого лежит объем представленной информации и успешность взаимодействия читателя с текстом. В основе данного подхода - идея о том, что когнитивная сложность текста заметно возрастает в средних и старших классах общеобразовательной школы. Набор исследовательских данных включает восемь учебников по биологии общим размером 219 319 токенов. Метрики языковых особенностей текста оценивались с помощью автоматического анализатора RuLingva (rulingva.kpfu.ru). Лингвистический и статистический анализ подтвердил гипотезу о том, что синтаксические и лексические параметры текста достаточно различны, чтобы позволить классифицировать различные уровни когнитивной сложности учебных текстов, используемых в средней и старшей школе. Параметры, манифестирующие различия в когнитивной сложности, включают лексическое разнообразие (TTR), локальную связность, индекс абстрактности, количество многосложных слов и индекс Флеша-Кинкейда, количество существительных и количество прилагательных в предложении. Эмпирические данные показывают, что предлагаемый подход является более эффективным по сравнению с другими существующими методами оценки сложности текста. Результаты исследования могут быть внедрены в систему экспертизы научно-образовательного содержания российских школьных учебников. Они также могут быть полезны при разработке образовательных ресурсов и дальнейших исследованиях в области сложности текста.