01 - CMTD Semana 5 PE Ok

Comportamiento Límite de una CMTD

[ PROGRAMACIÓN ESTOCÁSTICA ]

SEMANA 5

2 [ POLITÉCNICO GRANCOLOMBIANO ]

SEMANA CINCO LECTURA UNO: COMPORTAMIENTO LÍMITE DE UNA CMTD Para entender mejor el comportamiento límite de las Cadenas de Markov en Tiempo Discreto, primero veremos ciertas definiciones y propiedades importantes: Definición 0: un estado ! es accesible desde un estado ! si para algún ! ≥ 0, existe un !!"(!) > 0. Si un estado ! es accesible desde !, nosotros lo representamos de siguiente manera: ! → ! !!!(!) = ! ! → ! ∀! Note que la definición de accesibilidad no depende de la magnitud de !!"(!). La accesibilidad sólo depende de que !!"(!) sea cero, o que sea diferente de cero. Clasificación de estados de una CMTD Sea !!, ! ≥ 0 un proceso estocástico con espacio de estados ! = {1, 2, 3, 4, 5, 6, 7, 8}como se muestra a continuación:

Gráfico 1: Representación gráfica de una CMTD

Fuente: Elaboración Propia

Definición 1: un camino de ! a ! es una secuencia de transiciones, todas con probabilidad mayor que cero, que inician en ! y terminan en !. Definición Dos: sean ! y ! dos estados que pertenecen a ! ( !, ! ∈ ! ), se dice que ! y ! se comunican si existe un camino desde ! hasta ! y existe un camino desde ! hasta !. Si un estado i se comunica con un estado j lo representamos de la siguiente manera: ! ↔ ! Ejemplo: • 2 ↔ 3 • 1 ↔ 3 Definición Tres: un subconjunto ! ∈ ! es una clase comunicantes i Que ningún estado por fuera de ! se pueda alcanzar desde !. Ejemplo: • ! = {1, 2, 3} • ! = {6, 7, 8}

1

2

3

4 5 6

8

7

3 [ PROGRAMACIÓN ESTOCÁSTICA ]

Definición Cuatro: un estado ! ∈ ! es absorbente si {!} es una clase comunicante cerrada. ! Es absorbente si !!! = 1 Definición Cinco: un estado ! es transitorio si existe algún estado ! (! ≠ !), tal que ! → !, pero que ! → !. “Puedo estar dando vueltas en el estado transitorio, pero en algún momento voy a salir y no regresaré” Definición Seis: un estado es recurrente si no es transitorio. Definición Siete: sea ! ∈ ! un estado recurrente, ! ! : Número de pasos !, tales que iniciando en !, la cadena puede devolverse en ! pasos a !. Definición Ocho: sea ! ∈ ! recurrente, el periodo de !, !(!), se define: ! ! = !. !.!. {! ! }, !. !.!:!á!"#$ !"#ú! !"#$%&#'!$( ! Es aperiódico si ! ! = 1 Ejemplo: • ! 1 = 1 • ! 3 = 2 • ! 6 = 3. Definición Nueve: una CMTD es irreducible si es una clase comunicante cerrada. Resultados: sea !, ! ∈ ! y ! → ! entonces, 1. Si ! es recurrente, entonces ! es recurrente. 2. ! ! = ! ! si ! es recurrente Definición 10: una cadena irreducible es aperiódica si todos sus estados son recurrentes y aperiódicos. Resultados: una cadena irreducible es aperiódica si existe al menos un estado recurrente y aperiódico. Definición Once: una cadena es ergódica si 1. La cadena es irreducible 2. La cadena es aperiódica. Sea !�, ! ≥ 0 una CMTD con espacio de estados ! = {1, 2,… ,!}. Si la cadena es ergódica, entonces existe el estado estable. Nota: si la cadena no es ergódica, puede que se dé el caso en que exista el estado estable. COMPORTAMIENTO LÍMITE Ya definidas las clases, estados, propiedades y demás elementos de la CMTD, podemos estudiar el comportamiento límite de esta. Formalmente vamos a definirlo de la siguiente manera:


Sea ! = [!!,!!,… ,!!] el vector renglón de probabilidad en estado estable. Si la cadena es ergódica, entonces este vector existe, es único y se le conoce como la distribución límite o distribución de estado estable. Para calcularla, se resuelve el siguiente sistema: ! = !ℙ Ahora, como todas las probabilidades deben sumar 1, debemos agregar una ecuación de normalización:

!!!∈!

= !

Donde !! es la probabilidad de encontrarse en el estado ! cuando se está en estado estable. Ejemplo Uno: Calcule las probabilidades de estado estable para una CMTD ergódica con la siguiente matrizℙ:

ℙ =1/4 1/2 1/40 3/4 1/43/4 0 1/4

Resolviendo el sistema ! = !ℙ, nacen las siguientes ecuaciones de balance:

[!!,!!,!!] = !!,!!,!!1/4 1/2 1/40 3/4 1/43/4 0 1/4

1. !! = 14!! + 0!! +

34!!

2. !! = 12!! +

34!! + 0!!

3. !! = 14!! +

14!! +

14!!

4. !! + !! + !! = 1 Note que π = πℙ es equivalente a !! = !!"!!

!∈!

Ahora podemos resolver el sistema de ecuaciones para encontrar la distribución límite. De la ecuación 1 tenemos que: 34!! =

34!!

!! = !! De la ecuación dos sacamos 12!! =

14!!

!! = 2!! Reemplazando en la ecuación cuatro: !! + 2!! + !! = 1 4!! = 1 !! = !

! Ahora, con !!, podemos decir que: !! = 2 1

4 !! = !

!


Y finalmente, !! = !

! Es decir, que para esta CMTD, existe una distribución límite con las siguientes probabilidades de estado: ! = !

! ,!! ,!!

Ejemplo Dos: Suponga que !!, ! ≥ 0 es una CMTD con espacio de estados ! = {1, 2, 3} y con matriz de probabilidades de transición de un paso dada por:

ℙ =0 2/3 1/31/2 0 1/20 3/4 1/4

Gráfica 2: Grafo de tasas de transición del ejemplo dos

Fuente: ElaboraciónPropia

Todos los estados se comunican entre sí. La cadena es una clase comunicante cerrada, por lo tanto decimos que la cadena es irreducible. Además, el estado tres es aperiódico, luego la cadena es aperiódica. Cumplidas las condiciones, podemos afirmar que esta CMTD es ergódica. Luego, su distribución límite existe. a. Halle la proporción de tiempo, en estado estable, que la cadena gasta en el estado Dos. Para hallar cualquier proporción o probabilidad del sistema en estado estable, debemos calcular las ecuaciones de balance: ! = !ℙ

[!!,!!,!!] = !!,!!,!!0 2/3 1/31/2 0 1/20 3/4 1/4

1. !! = 12!!

2. !! = 23!! +

34!!

3. !! = 13!! +

12!! +

14!!

1 3 2

3/4

1/2

1/4

1/2

2/3

1/3


4. !! + !! + !! = 1 Reemplazando la ecuación 1 en la ecuación 2: !! = 2

312!! + 3 4!!

!! = 89!!

Reemplazando en la ecuación 4, obtenemos la proporción de tiempo, en estado estable, que la cadena gasta en el estado 2: 12!! + !! +

89!! = 1

!! = !"!"

a. Halle la probabilidad, en estado estable, de que la cadena esté en el estado tres. Con el valor de !!, ya es posible calcular la probabilidad, en estado estable, de que la cadena esté en el estado tres: !! = 8

9!! = !! = 8918

43 !! = !"

!" a. Halle la probabilidad, en estado estable, de que la cadena esté en el estado tres, dado que comenzó en el estado uno. Si la cadena es irreducible y aperiódica, entonces se cumple que: !"#!→!

!(!! = !|!! = !) = !"#!→!

! !! = ! = !!

!"#!→!

!(!! = !|!! = !) = !! = !"!"

Ejemplo Tres: A Laura le encanta el café. Ella alterna entre las siguientes 3 marcas de café. Nescafé, Oma y Juan Valdez, de semana en semana, de acuerdo con una CMTD como se muestra a continuación en la matriz de probabilidades de transición:

ℙ =0.1 0.3 0.60.1 0.5 0.40.3 0.2 0.5

a. ¿Qué fracción del tiempo, en el largo plazo, Laura consume de la marca Nescafé? Para cualquier cálculo del largo plazo, calcularemos la distribución límite de la CMTD: ! = !ℙ

[!! ,!! ,!!] = !! ,!! ,!!0.1 0.3 0.60.1 0.5 0.40.3 0.2 0.5

1. !! = 0.1!! + 0.1!! + 0.3!! 2. !! = 0.3!! + 0.5!! + 0.2!! 3. !! = 0.6!! + 0.4!! + 0.5!! 4. !! + !! + !! = 1 Resolviendo el sistema de ecuaciones obtenemos la siguiente distribución: ! = 0.198, 0.314, 0.489 Luego, en el largo plazo, Laura consumirá, el 19.8% del tiempo, café de la marca Nescafé.


a. Suponga que el costo por libra de café es de $6000, $8000 y 15000 según la marca, respectivamente. Suponga que ella consume una libra de café por semana en el largo plazo. ¿Cuál es el valor esperado del costo por café por semana? Como ya tenemos la distribución límite, podemos decir que fracción del tiempo, de una semana, ella consumirá de cada marca de café. Por lo tanto, a partir de ese tiempo y los costos por marca, podemos calcular un costo esperado para Laura, en el largo plazo:

!! ∗ !"#$"! = 0.198 $6000 + 0.314 $8000 + 0.489 $15000 = $!!""+ $!"#!+ $!"#$ = $!!"#".

01 - CMTD Semana 5 PE Ok

Documents

Transcript of 01 - CMTD Semana 5 PE Ok