впервые попадает в , так называемое время первого достижения. Матрица средних времен достижения определяется по формуле:

(16),

где

 — фундаментальная матрица (15);

 — диагональная матрица, образованная фундаментальной заменой всех элементов, кроме диагональных, нулями;

D — диагональная матрица с диагональными элементами, ;

Е — матрица, все элементы которой равны единице.

Матрица дисперсий времени первого достижения имеет несколько более сложный вид:

(17),

где, кроме уже упомянутых обозначений, встречается новое — ( , обозначающее диагональную матрицу, полученную из матричного произведения матриц .

4.3. Управляемые марковские цепи

Как указывалось выше, под управляемыми марковскими процессами понимают такие, у которых имеется возможность до определенной степени управлять значениями переходных вероятностей. В качестве примеров таких процессов можно привести любые торговые операции, у которых вероятность сбыта и получения эффекта может зависеть от рекламы, мероприятий по улучшению качества, выбора покупателя или рынка сбыта и т. д.

Очевидно, что при создании математических моделей в данном случае должны фигурировать следующие компоненты:

· конечное множество решений (альтернатив) , где  — номер состояния системы;

· матрицы переходов соответствующие тому или иному принятому k-му решению;

· матрицы доходов (расходов) , также отражающие эффективность данного решения.