Validation of situational tasks to assess the competence of orthodontists (using the example of cases of combined jaw deformity); [Validatsiya situatsionnykh zadach dlya otsenki kompetentnosti vrachei-ortodontov (na primere sluchaev sochetannoi deformatsii chelyustei)]

THE AIM THE STUDY: The choice of situational tasks to assess the knowledge of orthodontists about the management of patients with combined jaw deformities. MATERIALS AND METHODS: An expert assessment of 13 situational tasks was carried out in relation to three categories: validity - compliance with real cases in clinical practice, clarity - a complete and adequate description of the case; complexity - the difficulty of solving the problem. The assessment by category was performed on a rating six-point scale based on a calculated integral coefficient (IC) equal to the sum of the ratings by category. RESULTS: The values of the Integral coefficient of the first round of estimates differ significantly, p≤0.001. The Duncan test identifies 9 homogeneous subsets. The estimates of tasks No. 10, 1, 9, 4, 3, 11 simultaneously form 4 groups of subsets for which a second round of evaluation is made. The integral coefficient of the points of the second round of the expert assessment is significantly different, p≤0.001. The Duncan test identifies 2 homogeneous subsets. The experts rated task No. 3 significantly higher (M=10.9). The integral coefficient of the third round of assessments of tasks 3.12.13 is significantly different, p=0.023, «reasonableness» (p=0.815) and «clarity» (p= 0.082) do not differ, the "complexity" of task 13 is higher than that of task 3 (p=0.026), differences in the "complexity" of tasks 3 and 12 (p=0.209), 12 and 13 (p=0.383) no. In the first round, the reasonableness (3.23±1.34 points), complexity (3.15±1.26), clarity (3.04±1.15) of the tasks did not significantly differ (0.055≤p≤0.422). In the second round, the reasonableness (2.98±0.89) of the tasks is higher than their complexity (2.52±0.86) and clarity (2.54±0.74), (p=0.005 and p=0.003), but the complexity and clarity of the tasks are the same (t=0.18, p=0.860). Reasonableness (5.67±0.48), complexity (5.38±0.49) and clarity (5.62±0.49) do not differ in the third round (0.058≤p≤0.763). CONCLUSION: The situational tasks selected in the study are distinguished by an integral coefficient of validity, complexity and clarity higher than other evaluated tasks, which allows for a multi-level assessment of the knowledge of orthodontists in the management of patients with combined dental anomalies. Expert assessment is acceptable for validating situational tasks when identifying assessment categories.; ЦЕЛЬ ИССЛЕДОВАНИЯ: Выбор ситуационных задачи для оценки знаний врачей-ортодонтов по ведению пациентов с сочетанными деформациями челюстей. МАТЕРИАЛ И МЕТОДЫ: Проведена экспертная оценка 13 ситуационных задач относительно трех категорий: обоснованность — соответствие реальным случаям в клинической практике, ясность — полное и адекватное описание случая; сложность — трудность решения задачи. Оценка по категориям выполнялась по рейтинговой шестибалльной шкале на основании рассчитанного интегрального коэффициента (ИК), равного сумме оценок по категориям. РЕЗУЛЬТАТЫ: Значение ИК первого этапа оценок значимо отличаются, p≤0,001. Апостериорный тест Дункана выделяет 9 однородных подмножеств, оценки задач №10, 1, 9, 4, 3, 11 образуют одновременно 4 группы подмножеств, для которых сделан второй этап оценки. ИК баллов второго этапа экспертной оценки значимо отличаются, p≤0,001. Апостериорный тест Дункана выделяет 2 однородных подмножества. Значимо выше оценена экспертами задача №3 (М=10,9). ИК третьего этапа оценок задач №3, 12, 13 значимо отличается p=0,023, их «обоснованность» (p=0,815) и «ясность» (p=0,082) не отличаются, «сложность» задачи №13 выше, чем задачи 3 (p=0,026), разницы «сложности» задач №3 и №12 (p=0,209), №12 и №13 (p=0,383) нет. На первом этапе обоснованность (3,23±1,34 балла), сложность (3,15±1,26), ясность (3,04±1,15) задач значимо не отличается (0,055≤p≤0,422), на втором этапе обоснованность задач выше (2,98±0,89), чем их сложность (2,52±0,86) и ясность (2,54±0,74), (p=0,005 и p=0,003), а сложность и ясность задач одинаковы (t=0,18, p=0,860). Обоснованность (5,67±0,48), сложность (5,38±0,49) и ясность (5,62±0,49) на третьем этапе оценок одинаковы (0,058≤p≤0,763). ЗАКЛЮЧЕНИЕ: Выбранные в исследовании ситуационные задачи отличает более высокий, чем иные оцениваемые задачи, интегральный коэффициент обоснованности, сложности и ясности, что позволяет провести разноуровневую оценку знаний врачей-ортодонтов по ведению пациентов с сочетанными зубочелюстными аномалиями. Экспертная оценка приемлема для валидации ситуационных задач при выделении категорий оценки.