Относительная эллиптическая теория или, как её назвал в своих работах Б.Ю. Стернин, «проблема Соболева», состоит в том, что в категории гладких пар многообразий (M,X), одно из которых X гладко вложено в другое M, построить фредгольмову эллиптическую теорию и найти формулу индекса для неё. С точки зрения (псевдо)дифференциальных уравнений задача Соболева состоит в том, что рассматривается сравнение Du ≡ f(modX), где D - псевдодифференциальный оператор, а символ « ≡» означает равенство левой и правой части с точностью до распределений сосредоточенных на подмногообразии X. Очевидно, в случае, когда размерность подмногообразия больше единицы, сравнение, о котором говорится выше, не определяет фредгольмов оператор, именно ядро этого сравнения является бесконечномерным. Оказывается, что если добавить к рассматриваемому сравнению ещё некоторые операторы B, определённые на подмногообразии X, связанные некоторым алгебраическим условием (типа коэрцитивности) с оператором D, то полученный оператор (D,B) уже будет фредгольмовым в соответствующих пространствах Соболева. Замечательным фактом при этом является то, что это условие может быть сформулировано инвариантным образом как условие эллиптичности некоторого оператора, индуцированного задачей на подмногообразии X и, таким образом, условия эллиптичности оператора D и оператора (D,B) вместе доставляют нам фредгольмов оператор. Эта теорема вместе с формулой индекса была в своё время доказана Б.Ю. Стерниным. Напомним, что все операторы, участвующие в построении указанной теории, были псевдодифференциальными. В частности, псевдодифференциальным был оператор (D,B), что, между прочим, и позволило дать определение его эллиптичности. Совершенно по другому обстоит дело в ситуации, когда на многообразии M имеется дополнительная структура, например, действие группы Ли. В этом случае оператор (D,B) уже не будет, вообще говоря, псевдодифферециальным оператором и, следовательно, вопрос о его эллиптичности, формально говоря, не может быть даже поставлен. Тем не менее, в нашей работе при определённых условиях мы можем изучить полученный оператор (D,B), дать определение его символа и доказать его фредгольмовость. Более того, мы предъявляем формулу индекса в этой более общей ситуации. Этому и посвящена настоящая работа.
In relative elliptic theory or “Sobolev” problem as B. Yu. Sternin named it in his works one is required to construct a Fredholm elliptic theory and find an index formula in the category of smooth pairs of manifolds (M,X), where X is a submanifold in M. From the point of view of (pseudo)differential equations the Sobolev problem deals with the comparison Du ≡ f(modX), where D is a pseudodifferential operator, while the sign “ ≡” means that the left and right hand sides are equal modulo distributions supported on X. Obviously, if the dimension of the submanifold is greater than one, the comparison written above does not define a Fredholm operator, since its kernel is infinite-dimensional. It turns out, that if we add to the comparison some operators B defined on X, which are related by an algebraic condition (of coercitivity type) with operator D, then the obtained operator (D,B) is already Fredholm in appropriate Sobolev spaces. Remarkably, this condition can be formulated invariantly as an ellipticity condition of some operator, which is induced by the problem on the submanifold X. Hence, the ellipticity conditions of operators D and (D,B) together give us a Fredholm operator. This theorem and the corresponding index formula were proved by B.Yu. Sternin. Note that all operators appearing in this theory are pseudodifferential. In particular, (D,B) is a pseudodifferential operator, meanwhile, this enabled one to define its ellipticity. We have a quite different situation, if the manifold M is endowed with an additional structure, for example, if it carries a Lie group action. In this case, (D,B) is in general no longer a pseudodifferential operator and, hence, the question of its ellipticity, formally speaking, can not even be rised. However, in our work, under certain conditions, we can examine the resulting operator (D,B), define its symbol and prove its Fredholm property. Moreover, we give an index formula in this more general situation. This is the subject of this work.