Управление двумерной марковской цепью с непрерывным ограниченным множеством состояний, приводящее к заданному стационарному распределению

Рассмотрим цепь Маркова с дискретным временем и непрерывным множеством состояний, представляющим собой квадрат [0 , 1] × [0 , 1], и некоторую заданную на этом множестве вероятностную плотность ρ . Значение цепи на очередном шаге определяется некоторым однородным правилом, заданным с помощью двух функций f , g , зависящих от текущего положения цепи. В предположении, что стационарное распределение цепи существует, ставится задача нахождения такой стратегии управления, то есть таких функций f и g , при которых стационарная плотность максимально приближена к ρ . Приводится мотивация постановки задачи и обсуждается её решение.

Shaping the density of the two-dimensional discrete-time Markov chain according to the given stationary distribution

Consideration is given to the two-dimensional discrete-time Markov chain with the state space X = [0 , 1]×[0 , 1] and a probability density ρ defined on X . Each transition of the chain is simultaneously governed by two single-variable functions, say f and g , with the former depending on the abscissa value and the latter depending on the ordinate value of the chain. One seeks such control policy i.e. functions f and g , under which the stationary density of the chain (assuming that it exists) is as close as possible to the given density ρ . Motivation for this problem is illustrated through the example.