Плотность вероятности для уравнения чепмена колмогорова

Марковские случайные процессы. Уравнения Колмогорова для вероятностей состояний.

Наиболее полное исследование процесса функционирования систем получается, если известны явные математические зависимости, связывающие искомые показатели с начальными условиями, параметрами и переменными исследуемой системы. Для многих современных систем, являющихся объектами моделирования, такие математические зависимости отсутствуют или малопригодны, и следует применять другое моделирование, как правило, имитационное.

Большой класс случайных процессов составляют процессы без последействия, которые в математике называют марковскими процессами в честь Андрея Андреевича Маркова — старшего (1856 — 1922), выдающегося русского математика, разработавшего основы теории таких процессов.

Случайный процесс называется марковским, если вероятность перехода системы в новое состояние зависит только от состояния системы в настоящий момент и не зависит от того, когда и каким образом система перешла в это состояние.

Практически любой случайный процесс является марковским или может быть сведен к марковскому. В последнем случае достаточно в понятие состояния включить всю предысторию смен состояний системы.

Марковские процессы делятся на два класса:

· дискретные марковские процессы (марковские цепи);

· непрерывные марковские процессы.

Дискретной марковской цепьюназывается случайный процесс, при котором смена дискретных состояний происходит в определенные моменты времени.

Непрерывным марковским процессомназывается случайный процесс, при котором смена дискретных состояний происходит в случайные моменты времени.

Рассмотрим ситуацию, когда моделируемый процесс обладает следующими особенностями.

Система имеет возможных состояний: , . . Вообще говоря, число состояний может быть бесконечным. Однако модель, как правило, строится для конечного числа состояний.

Смена состояний происходит, будем считать, мгновенно и в строго определенные моменты времени . В дальнейшем будем называть временные точки шагами.

Известны вероятности перехода системы за один шаг из состояния в состояние .

Цель моделирования: определить вероятности состояний системы после -го шага.

Обозначим эти вероятности (не путать с вероятностями ).

Если в системе отсутствует последействие, то есть вероятности не зависят от предыстории нахождения системы в состоянии , а определяются только этим состоянием, то описанная ситуация соответствует модели дискретной марковской цепи.

Марковская цепь называется однородной, если переходные вероятности от времени не зависят, то есть от шага к шагу не меняются. В противном случае, то есть если переходные вероятности зависят от времени, марковская цепь называется неоднородной.

Значения обычно сводятся в матрицу переходных вероятностей:

Значения могут также указываться на графе состояний системы. На рис. показан размеченный граф для четырех состояний системы. Обычно вероятности переходов «в себя» — , и т. д. на графе состояний можно не проставлять, так как их значения дополняют до 1 сумму переходных вероятностей, указанных на ребрах (стрелках), выходящих из данного состояния.

Не указываются также нулевые вероятности переходов. Например, на рис. это вероятности , и др.

Математической моделью нахождения вероятностей состояний однородной марковской цепи является рекуррентная зависимость

где — вероятность -го состояния системы после -го шага, ;

— вероятность -го состояния системы после -го шага, ;

— число состояний системы;

-переходные вероятности.

Рис.Размеченный граф состояний системы

Для неоднородной марковской цепи вероятности состояний системы находятся по формуле:

где — значения переходных вероятностей для -го шага.

Сформулируем методику моделирования по схеме дискретных марковских процессов (марковских цепей).

1. Зафиксировать исследуемое свойство системы.

Определение свойства зависит от цели исследования. Например, если исследуется объект с целью получения характеристик надежности, то в качестве свойства следует выбрать исправность. Если исследуется загрузка системы, то — занятость. Если состояния объектов, то — поражен или непоражен.

2. Определить конечное число возможных состояний системы и убедиться в правомерности моделирования по схеме дискретных марковских процессов.

3. Составить и разметить граф состояний.

4. Определить начальное состояние.

5. По рекуррентной зависимости определить искомые вероятности.

В рамках изложенной методики моделирования исчерпывающей характеристикой поведения системы является совокупность вероятностей .

При моделировании состояния систем с непрерывными марковскими процессами мы уже не можем воспользоваться переходными вероятностями , так как вероятность «перескока» системы из одного состояния в другое точно в момент времени равна нулю (как вероятность любого отдельного значения непрерывной случайной величины).

Поэтому вместо переходных вероятностей вводятся в рассмотрение плотности вероятностей переходов :

где — вероятность того, что система, находившаяся в момент времени в состоянии за время перейдет в состояние .

С точностью до бесконечно малых второго порядка из приведенной формулы можно представить:

Непрерывный марковский процесс называется однородным,если плотности вероятностей переходов не зависят от времени (от момента начала промежутка ). В противном случае непрерывный марковский процесс называется неоднородным.

Целью моделирования,как и в случае дискретных процессов, является определение вероятностей состояний системы Эти вероятности находятся интегрированием системы дифференциальных уравнений Колмогорова.

Сформулируем методику моделирования по схеме непрерывных марковских процессов.

1. Определить состояния системы и плотности вероятностей переходов .

2. Составить и разметить граф состояний.

3. Составить систему дифференциальных уравнений Колмогорова. Число уравнений в системе равно числу состояний. Каждое уравнение формируется следующим образом.

4. B левой части уравнения записывается производная вероятности -го состоянии

5. В правой части записывается алгебраическая сумма произведений и . Число произведений столько, сколько стрелок связано с данным состоянием. Если стрелка графа направлена в данное состояние, то соответствующее произведение имеет знак плюс, если из данного состояния — минус.

6. Определить начальные условия и решить систему дифференциальных уравнений.

Пример. Составить систему дифференциальных уравнений Колмогорова для нахождения вероятностей состояний системы, размеченный граф состояний которой представлен на рисунке.

Рис. Размеченный граф состояний

Очевидно, .

Поэтому любое из первых трех уравнений можно исключить, как линейно зависимое.

Для решения уравнений Колмогорова необходимо задать начальные условия. Для рассмотренного примера можно задать такие начальные условия: , .

Дата добавления: 2015-04-03 ; просмотров: 7848 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ

Уравнения Колмогорова — Чепмена

Дата добавления: 2014-04-25 ; просмотров: 6149 ; Нарушение авторских прав

Переходные вероятности Р_ij(t) удовлетворяют уравнению Колмогорова – Чепмена

Это уравнение отражает тот факт, что марковская система, переходя из состояния i в состояние j за время t+s, сначала за время s из состояния i переходит в некоторое промежуточное состояние k, a затем за время t из состояния k переходит в состояние j, причем вероятность второго перехода не зависит от того, каким образом было достигнуто состояние k.

Докажем уравнение Колмогорова — Чепмена. С помощью формулы полной вероятности пишем

Здесь четвертое равенство написано на основании марковского свойства и свойства однородности процесса X(t). В матричной форме уравнение Колмогорова — Чепмена записывается как

Для безусловных вероятностей состояний р_j(t) = Pt) = j>, j = 0, ±1, ±2. справедливо уравнение

которое можно вывести из (4.1), если в (4.1) слева и справа умножить на р_i (0) и затем просуммировать по всем индексам i = 0, ±1 , ±2 . Если в (4.3) s = 0, то

Не нашли то, что искали? Google вам в помощь!

Уравнение Колмогорова — Чепмена

Уравнение Колмогорова — Чепмена для однопараметрического семейства непрерывных линейных операторов P(t) » t> 0в топологическом векторном пространстве выражает полугрупповое свойство:

Чаще всего этот термин используется в теории однородных марковскихслучайных процессов, где P(t) — оператор, преобразующий распределение вероятностей в начальный момент времени в распределение вероятности в момент времени t (P(0)=1).

Для неоднородных процессов рассматриваются двухпараметрические семейства операторов t > 0 » />, преобразующих распределение вероятностей в момент времени t > 0в распределение вероятности в момент времени h > t > 0. Для них уравнение Колмогорова—Чепмена имеет вид

h > t > 0.» />

Для систем с дискретным временем параметры t,h,s принимаютнатуральные значения.

Прямое и обратное уравнения Колмогорова

Формально дифференцируя уравнение Колмогорова—Чепмена по sпри s = 0 получаем прямое уравнение Колмогорова:

Формально дифференцируя уравнение Колмогорова — Чепмена по tпри t = 0 получаем обратное уравнение Колмогорова

Необходимо подчеркнуть, что для бесконечномерных пространств оператор Q уже не обязательно непрерывен, и может быть определен не всюду, например, быть дифференциальным оператором в пространстве распределений.

Примеры

Рассмотрим однородные марковские случайные процессы в R n для которых оператор переходных вероятностей P(t) задаётся переходной плотностью p(t,x,y): вероятность перехода из области U в область Wза время t есть . Уравнение Колмогорова—Чепмена для плотностей имеет вид:

При 0, \, t \to 0″ /> переходная плотность p(t,x,y) стремится к δ-функции (в смысле слабого предела обобщенных функций): . Это означает, что Пусть существует предел (также обобщённая функция)

Тогда оператор действует на функции f(x), определённые на как и прямое уравнение Колмогорова принимает вид

а обратное уравнение Колмогорова

Пусть оператор — дифференциальный оператор второго порядка с непрерывными коэффициентами:

(это означает, что q(x,y) есть линейная комбинация первых и вторых производных δ(x − y) с непрерывными коэффициентами). Матрицаaij симметрична. Пусть она положительно определена в каждой точке (диффузия). Прямое уравнение Колмогорова имеет вид

Это уравнение называется уравнением Фоккера — Планка. Вектор bjв физической литературе называется вектором сноса, а матрица aij —тензором диффузии Обратное уравнение Колмогорова в этом случае

Модели СМО, описываемые типа «гибель и размножение», их характеристики

В теории массового обслуживания широкое распространение имеет специальный класс случайных процессов – так называемый процесс гибели и размножения.

Название этого процесса связано с рядом биологических задач, где он является математической моделью изменения численности биологических популяций.

Граф состояний процесса гибели и размножения имеет вид, показанный на рис.1:

Рассмотрим упорядоченное множество состояний системы :

Переходы могут осуществляться из любого состояния только в состояния с соседними номерами, т.е. из состояния S_k возможны переходы только в состояние S_k-1, либо в состояние S_k+1.* (При анализе численности популяций считают, что состояние S_k соответствует численности популяции равной k, и переход системы из состояния S_k в состояние S_k+1 происходит при рождении одного члена популяции, а переход в состояние S_k-1 – при гибели одного члена популяции. )

Предположим, что все потоки событий, переводящие систему по стрелкам графа, простейшие с соответствующими интенсивностями λ_k,k+1 или λ_k+1,k.

По графу, представленному на рис. 1, составим и решим алгебраические уравнения для предельных вероятностей состояний (их существование вытекает из возможности перехода из каждого состояния в каждое другое и конечности числа состояний).

В соответствии с правилом составления таких уравнений получим:

для состояния S₀

для состояния S₁ – (λ₁₂ + λ₁₀ ) p₁ = λ₀₁ p₀ + λ₂₁ p₂, которое с учетом (1) приводится к виду

Аналогично, записывая уравнения для предельных вероятностей других состояний, можно получить следующую систему уравнений:

к которой добавляется нормировочное условие

Решая систему (3), (4), можно получить:

Подставляя p1, p2. pn в нормировочное условие, получим:

Легко заметить, что в формулах (5) для p1, p2,…, pn коэффициенты при p0 есть слагаемые, стоящие после единицы в формуле (6). Числители этих коэффициентов представляют произведение всех интенсивностей, стоящих у стрелок, ведущих слева направо до данного состояния S_k (k=1, 2, …, n), а знаменатели – произведение всех интенсивностей, стоящих у стрелок, ведущих справа налево до состояния S_k