МЕТОДЫ ОЦЕНКИ ИНТЕРПРЕТАЦИЙ МОДЕЛЕЙ КОМПЬЮТЕРНОГО ЗРЕНИЯ

В статье исследуется проблема интерпретируемости моделей компьютерного зрения. Автор отмечает, что хотя существует множество методов, предназначенных для объяснения принимаемых глубокими нейронными сетями решений, мало усилий было приложено для обеспечения объективной релевантности этих объяснений. В статье доказана корреляция между качеством модели и качеством ее интерпретации, рассмотрены метрики для оценки интерпретаций, взятые из области алгоритмической стабильности: среднее обобщение (MeGe) и относительная согласованность (ReCo), а также предложена новая метрика для оценки качества интерпретаций моделей компьютерного зрения, учитывающая качество работы исходной модели.

The article examines the problem of interpretability of computer vision models. The author notes that although there are many methods designed to explain the decisions made by deep neural networks, little effort has been made to ensure that these explanations are objectively relevant. The article proves the correlation between the quality of a model and the quality of its interpretation, considers metrics for assessing interpretations taken from the field of algorithmic stability: average generalization (MeGe) and relative consistency (ReCo), and also proposes a new metric for assessing the quality of interpretations of computer vision models, taking into account quality of the original model.