Estadística y Procesos Estocásticos Tema 4. Cadenas de Markov

class: center, middle, inverse, title-slide

# Estadística y Procesos Estocásticos Tema 4. Cadenas de Markov
### Grado en Ingeniería en Tecnologías de la Telecomunicación

---

background-image: url(http://www.dma.ulpgc.es/profesores/personal/stat/webEyPE/imagenes/darkGaussianBlur.jpg)
background-size: cover
class: inverse, center, middle

# Cadenas de Markov

---
## Cadenas de Markov

Consideremos:

* Un espacio de probabilidad `$\left(\Omega,S,P\right)$`

* Una sucesión de variables aleatorias `$\left\{ X_{n}:\Omega\to E, n\in\mathbb{N}\right\}$`

* `$E$` finito o numerable

.resalta[

`$X_n$` cumple la .red[ __condición de Markov__] si

`$\forall n\in N;\,i_{0},\,i_{1},\,\cdots,\,i,\,j\in E$`

`$$P\left[X_{n+1}=j\left|X_{0}=i_{0},\,X_{1}=i_{1},\,\ldots,\,X_{n}=i\right.\right]=P\left[X_{n+1}=j\left|X_{n}=i\right.\right]$$`
]

Es decir, .red[conocer el pasado] `$(X_0,\,X_{1},\,\ldots,\,X_{n-1})$` .red[no aporta información para la predicción del futuro] ( `$X_{n+1}$` ) .red[ __una vez que se conoce el presente__] ( `$X_{n}$` ).

Las sucesiones `$X_n$` que verifican la condición anterior reciben el nombre de .red[ __cadenas de Markov en tiempo discreto y con espacio de estados E__].

---
background-image: url(http://www.dma.ulpgc.es/profesores/personal/stat/webEyPE/imagenes/darkGaussianBlur.jpg)
background-size: cover
class: inverse, center, middle

# Cadenas de Markov homogéneas

---

##   Cadenas de Markov homogéneas

Una cadena de Markov se dice .red[ __homogénea__] cuando para cualesquiera estados `$i,j\in E$`, la probabilidad de ir de `$\large i$` a `$\large j$` .red[__no depende de la etapa _n_ __] considerada, esto es:
 
`$$P\left[X_{n+1}=j\left|X_{n}=i\right.\right]= p_{ij}$$`

Dada una cadena de Markov homogénea, se define la .red[ __matriz de probabilidades de transición en una etapa__] como aquella matriz `$P$` que en la posición `$(i,j)$` contiene la probabilidad `$p_{ij}$`:

.resalta[
`$$P=\left( p_{ij} \right)_{i,j\in E}$$`
]

---

### .blue[Ejemplo: [la maravillosa tierra de Oz (Frank Baum, 1904)](https://es.wikipedia.org/wiki/La_maravillosa_tierra_de_Oz)]

.centerImage[![](imagenes/oz.jpg)]

_"La Tierra de Oz ha sido bendecida con muchas cosas, pero no con un buen tiempo. Nunca tiene dos días soleados seguidos. Si tiene un día soleado, es igual de probable que al día siguiente haya tanto nieve como lluvia. Si un día nieva o llueve, al día siguiente hay la misma probabilidad de que el tiempo siga igual o de  que cambie. Si cambia, sólo la mitad de las veces cambia a soleado."_

¡¡Vamos a modelizar el tiempo de la tierra de Oz mediante una cadena de Markov!! ![:scale 3%](imagenes/emoji-sonrisa.png)

---
### .blue[Ejemplo: [la maravillosa tierra de Oz (Frank Baum, 1904)](https://es.wikipedia.org/wiki/La_maravillosa_tierra_de_Oz)]

#### .blue[Espacio de Estados:]

`$$E=\left\{ \,S,\,L,\,N\right\}$$`

siendo _S="Soleado"_, _L="Lluvioso"_ y _N="Nieve"_

---
### .blue[Ejemplo: [la maravillosa tierra de Oz (Frank Baum, 1904)](https://es.wikipedia.org/wiki/La_maravillosa_tierra_de_Oz)]

#### .blue[Matriz de Transición:]
--

`$$\Large{
P=\begin{array}{c}
S\\
L\\
N
\end{array}\stackrel{\begin{array}{ccc}
\huge{S}\,\,\,\,\,\,\,\,\,\,\,\,\, & \huge{L}\,\,\,\,\,\,\,\,\,\,\,\,\,\, & \huge{N}\end{array}}{\left(\begin{array}{ccc}
0 & 0.5 & 0.5\\
0.25 & 0.5 & 0.25\\
0.25 & 0.25 & 0.5
\end{array}\right)}}$$`

---
### .blue[Ejemplo: [la maravillosa tierra de Oz (Frank Baum, 1904)](https://es.wikipedia.org/wiki/La_maravillosa_tierra_de_Oz)]

* Si hoy hace soleado ¿cuál es la probabilidad de que en dos días vuelva a hacer soleado?

Aplicando el teorema de la probabilidad total:

`$$p^{(2)}_S=P\left(X_{2}=S\right)=P\left(\left.X_{2}=S\right|X_{1}=S\right)P\left(X_{1}=S\right)+P\left(\left.X_{2}=S\right|X_{1}=L\right)P\left(X_{1}=L\right)+$$`
`$$+P\left(\left.X_{2}=S\right|X_{1}=N\right)P\left(X_{1}=N\right)=$$`
--

.red[.small[Llamando]] `$\scriptsize p_{ij}=P(X_2=j | X_1=i)$` .red[.small[y]] `$\scriptsize p^{(1)}_i=P(X_1=i)$`:

`$$=p^{(1)}_S\cdot p_{SS}+p^{(1)}_L\cdot p_{LS}+p^{(1)}_N\cdot p_{NS}=$$`
--

en forma matricial:

`$$=\left(p^{(1)}_S,p^{(1)}_L,p^{(1)}_N)\right)\cdot\left(\begin{array}{c}
p_{SS}\\
p_{LS}\\
p_{NS}
\end{array}\right)=p^{(1)}\cdot\left(\begin{array}{c}
p_{SS}\\
p_{LS}\\
p_{NS}
\end{array}\right)$$`

--

Ahora necesitamos calcular `$p^{(1)}=\left(P(X_1=S), P(X_1=L), P(X_1=N)\right)$`

---
### .blue[Ejemplo: [la maravillosa tierra de Oz (Frank Baum, 1904)](https://es.wikipedia.org/wiki/La_maravillosa_tierra_de_Oz)]

Tenemos:

`$$p^{(1)}_S=P\left(X_{1}=S\right)=P\left(\left.X_{1}=S\right|X_{0}=S\right)P\left(X_{0}=S\right)+
P\left(\left.X_{1}=S\right|X_{0}=L\right)P\left(X_{0}=L\right)+$$`
`$$+P\left(\left.X_{1}=S\right|X_{0}=N\right)P\left(X_{0}=N\right)=$$`
--

`$$=\left(P\left(X_{0}=S\right),P\left(X_{0}=L\right),P\left(X_{0}=N\right)\right)\cdot\left(\begin{array}{c}
p_{SS}\\
p_{LS}\\
p_{NL}
\end{array}\right)=\left(p_{S}^{\left(0\right)},p_{L}^{\left(0\right)},p_{N}^{\left(0\right)}\right)\cdot\left(\begin{array}{c}
p_{SS}\\
p_{LS}\\
p_{NL}
\end{array}\right)$$`

--
Análogamente:

`$$p^{(1)}_L=P\left(X_{1}=L\right)=\left(p_{S}^{\left(0\right)},p_{L}^{\left(0\right)},p_{N}^{\left(0\right)}\right)\cdot\left(\begin{array}{c}
p_{SL}\\
p_{LL}\\
p_{NL}
\end{array}\right)$$`
--

`$$p^{(1)}_N=P\left(X_{1}=N\right)=\left(p_{S}^{\left(0\right)},p_{L}^{\left(0\right)},p_{N}^{\left(0\right)}\right)\cdot\left(\begin{array}{c}
p_{SN}\\
p_{LN}\\
p_{NN}
\end{array}\right)$$`

---
### .blue[Ejemplo: [la maravillosa tierra de Oz (Frank Baum, 1904)](https://es.wikipedia.org/wiki/La_maravillosa_tierra_de_Oz)]

Podemos expresar las tres probabilidades anteriores en una única expresión matricial:

`$$p^{(1)}=\left(p_{S}^{\left(1\right)},p_{L}^{\left(1\right)},p_{N}^{\left(1\right)}\right)=\left(P\left(X_{1}=S\right),P\left(X_{1}=L\right),P\left(X_{1}=N\right)\right)=$$`
--

`$$\left(P\left(X_{0}=S\right),P\left(X_{0}=L\right),P\left(X_{0}=N\right)\right)\cdot \left(\begin{array}{ccc}
p_{SS} & p_{SL} & p_{SN}\\
p_{LS} & p_{LL} & p_{LN}\\
p_{NS} & p_{NL} & p_{NN}
\end{array}\right)=$$`

--

`$$=\left(p_{S}^{\left(0\right)},p_{L}^{\left(0\right)},p_{N}^{\left(0\right)}\right)\cdot\left(\begin{array}{ccc}
p_{SS} & p_{SL} & p_{SN}\\
p_{LS} & p_{LL} & p_{LN}\\
p_{NS} & p_{NL} & p_{NN}
\end{array}\right)=p^{\left(0\right)}\cdot P$$`

---
### .blue[Ejemplo: [la maravillosa tierra de Oz (Frank Baum, 1904)](https://es.wikipedia.org/wiki/La_maravillosa_tierra_de_Oz)]

El mismo razonamiento nos permite concluir que:

`$$p^{(2)}=\left(p_{S}^{\left(2\right)},p_{L}^{\left(2\right)},p_{N}^{\left(2\right)}\right)=\left(P\left(X_{2}=S\right),P\left(X_{2}=L\right),P\left(X_{2}=N\right)\right)=$$`
--

`$$\left(P\left(X_{1}=S\right),P\left(X_{1}=L\right),P\left(X_{1}=N\right)\right)\cdot \left(\begin{array}{ccc}
p_{SS} & p_{SL} & p_{SN}\\
p_{LS} & p_{LL} & p_{LN}\\
p_{NS} & p_{NL} & p_{NN}
\end{array}\right)=$$`

--
 
`$$=\left(p_{S}^{\left(1\right)},p_{L}^{\left(1\right)},p_{N}^{\left(1\right)}\right)\cdot\left(\begin{array}{ccc}
p_{SS} & p_{SL} & p_{SN}\\
p_{LS} & p_{LL} & p_{LN}\\
p_{NS} & p_{NL} & p_{NN}
\end{array}\right)=$$`

--

`$$=p^{(1)}\cdot P=(p^{(0)} \cdot P)\cdot P=p^{(0)}\cdot P^2$$`

---
### .blue[Ejemplo: [la maravillosa tierra de Oz (Frank Baum, 1904)](https://es.wikipedia.org/wiki/La_maravillosa_tierra_de_Oz)]

Como hoy (día 0) está soleado, la .red[ __distribución inicial__] de la cadena es:

`$$p^{\left(0\right)}=\left(P\left(X_{0}=S\right),P\left(X_{0}=L\right),P\left(X_{0}=N\right)\right)=(1,0,0)$$`

--

y por tanto la probabilidad de cada posible estado ( `$S$`, `$L$` ó `$N$`) dentro de dos días es:

`$$p^{(2)}=p^{(0)}\cdot P^2=\left(1,0,0\right)\cdot \left(\begin{array}{ccc}
0 & 0.5 & 0.5\\
0.25 & 0.5 & 0.25\\
0.25 & 0.25 & 0.5
\end{array}\right)^2=$$`

`$$=\left(1,0,0\right)\cdot \left(\begin{array}{ccc}
0.25 & 0.375 & 0.375\\
0.1875 & 0.4375 & 0.375\\
0.1875 & 0.375 & 0.4375
\end{array}\right)=\left(0.25, 0.375, 0.375\right)$$`

Así pues, la probabilidad de que dentro de dos días el tiempo esté soleado es `$P(X_2=S)=0.25$`

---
### .blue[Ejemplo: [la maravillosa tierra de Oz (Frank Baum, 1904)](https://es.wikipedia.org/wiki/La_maravillosa_tierra_de_Oz)]

#### .blue[Para resolver:]

* Si hoy es un día lluvioso ¿cuál es la probabilidad de que en dos días haga un día soleado?

* Si hoy es un día de nieve ¿cuál es la probabilidad de que en dos días haga un día soleado?

* Si hoy es un día de sol ¿cuál es la probabilidad de que en __tres__ días haya un día de nieve?

---
### .blue[Ejemplo: [la maravillosa tierra de Oz (Frank Baum, 1904)](https://es.wikipedia.org/wiki/La_maravillosa_tierra_de_Oz)]

* Calcular la distribución de probabilidad del tiempo en la tierra de Oz dos días después de un día en el que se supone que la distribución de la cadena es: `$$p^{(0)}=\left(\frac{1}{3},\frac{1}{3},\frac{1}{3}\right)$$`

En este caso:

`$$p^{\left(2\right)}=p^{\left(0\right)}P^{2}=\left(\frac{1}{3},\frac{1}{3},\frac{1}{3}\right)\left(\begin{array}{ccc}
0.25 & 0.375 & 0.375\\
0.1875 & 0.4375 & 0.375\\
0.1875 & 0.375 & 0.4375
\end{array}\right)=\left(0.20833,0.39583,0.39583\right)$$`

---

### .blue[Ejemplo]

Sea una cadena de Markov homogénea con espacio de estados `$E=\left\{ 0,1,2,3\right\}$` y matriz de transición:

<table class="table table-striped" style="margin-left: auto; margin-right: auto;">
 <thead>
 <tr>
 <th style="text-align:left;"> Estado </th>
 <th style="text-align:right;"> 0 </th>
 <th style="text-align:right;"> 1 </th>
 <th style="text-align:right;"> 2 </th>
 <th style="text-align:right;"> 3 </th>
 </tr>
 </thead>
<tbody>
 <tr>
 <td style="text-align:left;font-weight: bold;"> 0 </td>
 <td style="text-align:right;"> 0.0 </td>
 <td style="text-align:right;"> 1.0 </td>
 <td style="text-align:right;"> 0.0 </td>
 <td style="text-align:right;"> 0.0 </td>
 </tr>
 <tr>
 <td style="text-align:left;font-weight: bold;"> 1 </td>
 <td style="text-align:right;"> 0.3 </td>
 <td style="text-align:right;"> 0.2 </td>
 <td style="text-align:right;"> 0.5 </td>
 <td style="text-align:right;"> 0.0 </td>
 </tr>
 <tr>
 <td style="text-align:left;font-weight: bold;"> 2 </td>
 <td style="text-align:right;"> 0.0 </td>
 <td style="text-align:right;"> 0.3 </td>
 <td style="text-align:right;"> 0.2 </td>
 <td style="text-align:right;"> 0.5 </td>
 </tr>
 <tr>
 <td style="text-align:left;font-weight: bold;"> 3 </td>
 <td style="text-align:right;"> 0.0 </td>
 <td style="text-align:right;"> 0.0 </td>
 <td style="text-align:right;"> 1.0 </td>
 <td style="text-align:right;"> 0.0 </td>
 </tr>
</tbody>
</table>

Calcular `$P\left(X_{1}=3\right)$` sabiendo que inicialmente la cadena puede estar, con la misma probabilidad, en cualquiera de sus cuatro estados.

La distribución inicial de la cadena es entonces:  `$p^{\left(0\right)}=\left(0.25,0.25,0.25,0.25\right)$`

Utilizando el Teorema de la Probabilidad Total

`$$P\left(X_{1}=3\right)=p^{(0)}_0 \cdot p_{03}+p^{(0)}_1 \cdot p_{13}+p^{(0)}_2 \cdot p_{23}+p^({0)}_3 \cdot p_{33}=$$`

`$$=0.25 \cdot 0+0.25 \cdot 0+ 0.25 \cdot 0.5+ 0.25 \cdot 0=0.125$$`

---

### Elementos que determinan una cadena de Markov homogénea

Una cadena de Markov homogénea está, pues, determinada por tres elementos, a saber:

* El espacio de estados E (conjunto finito o numerable)

* La matriz de probabilidades de transición `$P=\left(p_{ij}\right)$` siendo `$p_{ij}=P\left(X_{n+1}=j\left|X_{n}=i\right.\right)$`

* La distribución inicial `$p^{\left(0\right)}=\left(p_{i}^{\left(0\right)}\right)_{i\in E}$`

---

## Distribuciones marginales

Dada una cadena homogénea de Markov `$\left\{ X_{n};n\in\mathbb{N}\right\}$`, representaremos la distribución marginal de `$X_{n}$` mediante:

`$$p_{i}^{\left(n\right)}=P\left(X_{n}=i\right)$$`
--

Dado el vector de probabilidades en la etapa `$n$`,  `${p}^{\left(n\right)}=\left(p_{i}^{\left(n\right)};\,i\in E\right)$`, se tiene que:

`$${p}^{\left(n\right)}={p}^{\left(n-1\right)}\cdot\mathbf{P}$$`

--
 
Como hemos visto en el ejemplo del tiempo en Oz, este resultado se deduce directamente aplicando el teorema de la probabilidad total:

`$$P\left(X_{n}=i\right)=\sum\limits _{k\in E}P\left(X_{n-1}=k\right)P\left(X_{n}=i\left|X_{n-1}=k\right.\right)=\sum\limits _{k\in E}p_{k}^{\left(n-1\right)}p_{k,i}$$`
--

y por tanto:
.resalta[
`$${p}^{\left(n\right)}={p}^{\left(n-1\right)}\cdot\mathbf{P}$$`
]

---
## Distribuciones marginales

Si aplicamos recursivamente la relación:

`$$\mathbf{p}^{\left(n\right)}=\mathbf{p}^{\left(n-1\right)}\cdot\mathbf{P}$$`
--

tenemos:

`$$\mathbf{p}^{\left(n\right)}=\mathbf{p}^{\left(n-2\right)}\cdot\mathbf{P^2}$$`

`$$\mathbf{p}^{\left(n\right)}=\mathbf{p}^{\left(n-3\right)}\cdot\mathbf{P^3}$$`

`$$\vdots$$`

--
.resalta[
`$$\mathbf{p}^{\left(n\right)}=\mathbf{p}^{\left(0\right)}\cdot\mathbf{P}^{n}$$`
]

---

### Probabilidad de transición en _n_ etapas: Ecuación de Chapman Kolmogorov

Sea `$\left\{ X_{n};\,n\in\mathbb{N}\right\}$` una cadena de Markov homogénea con espacios de estados `$E$`. La probabilidad de ir del estado `$i$` al estado `$j$` en `$n$` etapas se expresa como:

`$$p_{ij}^{\left(n\right)}=\Pr\left(X_{m+n}=j\left|X_{m}=i\right.\right)$$`
--

Obviamente al ser la cadena de Markov homogénea, esta probabilidad es independiente de m. Dispondremos estas probabilidades en la .red[ __matriz de transición en n etapas__]:

`$$\mathbf{P}^{\left(n\right)}=\left(p_{i,j}^{\left(n\right)}\right)_{i,j\in E}$$`
---
### Probabilidad de transición en _n_ etapas: Ecuación de Chapman Kolmogorov

Ahora bien:

`$$p_{i,j}^{\left(n+1\right)}=\Pr\left(X_{n+1}=j\left|X_{0}=i\right.\right)=\frac{\Pr\left(X_{0}=i,X_{n+1}=j\right)}{\Pr\left(X_{0}=i\right)}=$$`

`$$=\frac{1}{\Pr\left(X_{0}=i\right)}\sum\limits _{k\in E}\Pr\left(X_{0}=i,X_{1}=k,X_{n+1}=j\right)=$$`

`$$=\frac{1}{\Pr\left(X_{0}=i\right)}\sum\limits _{k\in E}\Pr\left(X_{0}=i\right)\Pr\left(X_{1}=k\left|X_{0}=i\right.\right)\cdot\Pr\left(X_{n+1}=j\left|X_{0}=i,X_{1}=k\right.\right)=$$`

`$$=\sum\limits _{k\in E}\Pr\left(X_{1}=k\left|X_{0}=i\right.\right)\Pr\left(X_{n+1}=j\left|X_{1}=k\right.\right)=\sum\limits _{k\in E}p_{i,k}p_{k,j}^{\left(n\right)}$$`
---
### Probabilidad de transición en _n_ etapas: Ecuación de Chapman Kolmogorov

El resultado anterior puede expresarse en forma matricial:
.resalta[
`$$\Large{\mathbf{P}^{(n)}=P\cdot \mathbf{P}^{(n-1)}},\;\;\forall n$$`
]

Aplicando reiteradamente esta igualdad se obtiene la .red[ __Ecuación de Chapman-Kolmogorov__]:

.resalta[
`$$\Large{\mathbf{P}^{\left(n\right)}=P^{n}}$$`
]

---

## Distribuciones estacionarias.

Una distribución de probabilidad `$\pi=\left(\pi_{i}\right)_{i\in E}$` es una distribución estacionaria para `$\left\{ X_{n};n\in\mathbb{N}\right\}$` si verifica

.resalta[
`$$\Large{\pi\cdot P=\pi}$$`
con

`$$\Large{\sum_{i\in E}\pi_{i}=1}$$`
]

No todas las cadenas de Markov poseen alguna distribución estacionaria.

---
### .blue[Ejercicio]

_Calcular la distribución estacionaria del tiempo meteorológico en la tierra de Oz._

La distribución estacionaria es de la forma `$\pi =\left(\pi_{S},\pi_{L},\pi_{N}\right)$`, cumpliendo que `$\pi\cdot P=\pi$`, esto es:
`$$\left(\pi_{S},\pi_{L},\pi_{N}\right)\left(\begin{array}{ccc}
0 & 0.5 & 0.5\\
0.25 & 0.5 & 0.25\\
0.25 & 0.25 & 0.5
\end{array}\right)=\left(\pi_{S},\pi_{L},\pi_{N}\right)$$`

y que `$\pi_S+\pi_L+\pi_N=1$`

Si llamamos `$I$` a la matriz identidad, la ecuación `$\pi \cdot P=\pi$` se puede expresar como `$\pi \cdot P=\pi\cdot I$`, o lo que es lo mismo:

`$$\pi\cdot (P-I)=0$$`
---
### .blue[Ejercicio]

En este caso, la matriz `$P-I$` es:
`$$P-I=\left(\begin{array}{ccc}
-1 & 0.5 & 0.5\\
0.25 & -0.5 & 0.25\\
0.25 & 0.25 & -0.5
\end{array}\right)$$`

Por tanto todas las filas suman 0; es fácil ver que el rango de `$P-I$` es 2.
--

Ello significa que en el sistema `$\pi\cdot (P-I)=0$` sólo hay dos ecuaciones independientes.

Si nos quedamos con las dos primeras y le añadimos la condición `$\pi_S+\pi_L+\pi_N=1$`, nos queda el sistema:

`$$\left.\begin{array}{ccc}
-\pi_{s}+0.25\pi_{L}+0.25\pi_{N} & = & 0\\
0.5\pi_{S}-0.5\pi_{L}+0.25\pi_{N} & = & 0\\
\pi_{S}+\pi_{L}+\pi_{N} & = & 1
\end{array}\right\}$$`

Tanto el rango de la matriz de coeficientes como el de la ampliada son iguales a 3 e iguales al número de incógnitas; por tanto este sistema tiene una única solución.
---

### .blue[Ejercicio]

Expresando nuevamente el sistema de forma matricial:

`$$\left.\begin{array}{ccc}
-\pi_{s}+0.25\pi_{L}+0.25\pi_{N} & = & 0\\
0.5\pi_{S}-0.5\pi_{L}+0.25\pi_{N} & = & 0\\
\pi_{S}+\pi_{L}+\pi_{N} & = & 1
\end{array}\right\} \Rightarrow\left(\pi_{S},\pi_{L},\pi_{N}\right)\left(\begin{array}{ccc}
-1 & 0.5 & 1\\
0.25 & -0.5 & 1\\
0.25 & 0.25 & 1
\end{array}\right)=\left(0,0,1\right)$$`

obtenemos que su solución (distribución estacionaria) es:

`$$\left(\pi_{S},\pi_{L},\pi_{N}\right)=\left(0,0,1\right)\left(\begin{array}{ccc}
-1 & 0.5 & 1\\
0.25 & -0.5 & 1\\
0.25 & 0.25 & 1
\end{array}\right)^{-1}=\left(0.2,0.4,0.4\right)$$`

Podemos comprobar que, efectivamente, `$\pi\cdot P=\pi$`:

`$$\left(0.2,0.4,0.4\right)\left(\begin{array}{ccc}
0 & 0.5 & 0.5\\
0.25 & 0.5 & 0.25\\
0.25 & 0.25 & 0.5
\end{array}\right)=\left(0.2,0.4,0.4\right)$$`

---

### .blue[Ejercicio]

El sistema de ecuaciones anterior puede resolverse fácilmente utilizando _octave/matlab_:

```octave
A= [  -1  0.5  1
    0.25 -0.5  1
    0.25  0.25 1];

b=[0 0 1];

b*inv(A)

```

```
>> ans =
>> 
>>    0.20000   0.40000   0.40000
```

---

### .blue[Ejercicio]

También podemos obtener la distribución estacionaria partiendo directamente de la matriz de transición P mediante el código siguiente:

```octave
P= [   0  0.5  0.5
    0.25  0.5  0.25
    0.25  0.25 0.5 ];

[P' - eye(size(P)); ones(1, length(P))] \ [zeros(length(P), 1); 1]

```

```
>> ans =
>> 
>>    0.20000
>>    0.40000
>>    0.40000
```

---

## Distribuciones estacionarias.

* Supongamos que una cadena de Markov `$X_i, i=0, 1, 2, ...$` tiene una distribución estacionaria `$\pi$`.

* Si en alguna etapa `$k$`, la cadena de Markov la alcanza, esto es `$p^{\left(k\right)}=\pi$` entonces:

`$$p^{\left(k+1\right)}=p^{\left(k\right)}P=\pi P=\pi$$`

`$$p^{\left(k+2\right)}=p^{\left(k+1\right)}P=\pi P=\pi$$`
--

$$ \vdots $$
--

* Por tanto `$p^{\left(n\right)}=\pi\;\;\;\forall n\ge k$`

* En el caso particular de que `$p^{\left(0\right)}=\pi$`, entonces `$p^{\left(n\right)}=\pi\,\,\,\,\forall n$`.

---

# Distribución límite o de equilibrio

Se denomina .red[ __distribución límite o de equilibrio__ ] de una cadena de Markov a la distribución de probabilidad:

.resalta[
`$$\Large{\pi_{j}=\lim_{n\to\infty}p_{i,j}^{(n)}\,\,\,,\,\,\forall j\in E}$$`
]

* La distribución límite .red[ __no tiene por qué existir siempre__]. En caso de existir, implica que .blue[ _independientemente del estado de partida, transcurrido un número de etapas muy grande, existe una probabilidad fija de que la cadena se encuentre en cada uno de sus posibles estados._ ]

* Cuando existe la distribución límite, la cadena de Markov se dice .red[ __ergódica__ ]

* La distribución límite, cuando existe, es estacionaria.

---

# Cálculo de la distribución límite

* De acuerdo con la ecuación de Chapman-Kolmogorov, `$P^{(n)}=P^n$`. Por tanto, la probabilidad `$p^{(n)}_{i,j}$` es igual al término `$(i,j)$` de la matriz `$P^n$`.

* En caso de que la matriz de transición `$P$` sea .blue[diagonalizable], entonces llamando `$D$` a la matriz diagonal de sus autovalores y `$C$` a la matriz cuyas columnas son los autovectores correspondientes, se tiene:

`$$P = C\cdot D \cdot C^{-1}$$`

* Por tanto, en tal caso:

`$$P^n=C\cdot D^n \cdot C^{-1}$$`

* y la distribución límite puede obtenerse a partir de:

`$$\large{\lim_{n\to\infty}P^{n}=C\cdot\left(\lim_{n\to\infty}D^{n}\right)\cdot C^{-1}}$$`

---

## .blue[Ejemplo:]

Utilizaremos _matlab/octave_ para calcular los autovalores y autovectores de la matriz de transición `$P$` del tiempo en Oz:

```octave
P= [   0  0.5  0.5
    0.25  0.5  0.25
    0.25  0.25 0.5 ];

[C,D]=eig(P);

D
```

```
>> D =
>> 
>> Diagonal Matrix
>> 
>>   -0.25000         0         0
>>          0   1.00000         0
>>          0         0   0.25000
```

---

## .blue[Ejemplo:]

```r
>> C
C =
  -9.4281e-01   5.7735e-01  -1.5701e-16
   2.3570e-01   5.7735e-01  -7.0711e-01
   2.3570e-01   5.7735e-01   7.0711e-01

>> inv(C)
ans =

-8.4853e-01   4.2426e-01   4.2426e-01
   3.4641e-01   6.9282e-01   6.9282e-01
   2.7756e-17  -7.0711e-01   7.0711e-01
```

---
## .blue[Ejemplo:]

Por tanto:

`$\large{P=C\cdot D\cdot C^{-1}=}$`

`$$=\left(\begin{array}{ccc}
-0.9428 & 0.57735 & 0\\
\,\,\,0.2357 & 0.57735 & -0.7071\\
\,\,\,0.2357 & 0.57735 & \,\,\,0.7071
\end{array}\right)\left(\begin{array}{ccc}
-0.25 & 0 & 0\\
0 & 1 & 0\\
0 & 0 & 0.25
\end{array}\right)\left(\begin{array}{ccc}
-0.8485 & 0.4243 & 0.4243\\
\,\,\,0.3464 & 0.6928 & 0.6928\\
0 & -0.7071 & 0.7071
\end{array}\right)$$`

`$\large{P^n=C\cdot D^n\cdot C^{-1}=}$`

`$$=\left(\begin{array}{ccc}
-0.9428 & 0.57735 & 0\\
\,\,\,0.2357 & 0.57735 & -0.7071\\
\,\,\,0.2357 & 0.57735 & \,\,\,0.7071
\end{array}\right)\left(\begin{array}{ccc}
(-0.25)^n & 0 & 0\\
0 & 1^n & 0\\
0 & 0 & 0.25^n
\end{array}\right)\left(\begin{array}{ccc}
-0.8485 & 0.4243 & 0.4243\\
\,\,\,0.3464 & 0.6928 & 0.6928\\
0 & -0.7071 & 0.7071
\end{array}\right)$$`

Cuando `$n\to\infty$`: `$\;\;\;\left(-0.25\right)^{n}\rightarrow0$`, `$\;\;\;1^{(n)}\rightarrow 1\;\;\;$` y `$\;\;\;\left(0.25\right)^{n}\rightarrow0$`
---
## .blue[Ejemplo:]

Por tanto, al tomar límite cuando `$n\to\infty$`:

`$\large{\lim_{n\to\infty}P^{n}=C\cdot\left(\lim_{n\to\infty}D^{n}\right)\cdot C^{-1}=}$`

--

`$$=\left(\begin{array}{ccc}
-0.9428 & 0.57735 & 0\\
\,\,\,0.2357 & 0.57735 & -0.7071\\
\,\,\,0.2357 & 0.57735 & \,\,\,0.7071
\end{array}\right)\left(\begin{array}{ccc}
0 & 0 & 0\\
0 & 1 & 0\\
0 & 0 & 0
\end{array}\right)\left(\begin{array}{ccc}
-0.8485 & 0.4243 & 0.4243\\
\,\,\,0.3464 & 0.6928 & 0.6928\\
0 & -0.7071 & 0.7071
\end{array}\right)$$`

`$$=\left(\begin{array}{ccc}
0.2 & 0.4 & 0.4\\
0.2 & 0.4 & 0.4\\
0.2 & 0.4 & 0.4
\end{array}\right)$$`

--

Ahora, cualquiera que sea la distribución inicial `$p^{(0)}$`:

`$$p^{(0)}\cdot \left(\begin{array}{ccc}
0.2 & 0.4 & 0.4\\
0.2 & 0.4 & 0.4\\
0.2 & 0.4 & 0.4
\end{array}\right) = \left(0.2, 0.4, 0.4\right)$$`

Por tanto `$\left(0.2, 0.4, 0.4\right)$` es la distribución de equilibrio.

---
## .blue[Ejemplo:]

__Nota:__ el cálculo anterior realizado en _octave/matlab_:

```r
>> limD=[ 0 0 0
          0 1 0
          0 0 0 ];

>> C*limD*inv(C)
ans =

0.20000   0.40000   0.40000
   0.20000   0.40000   0.40000
   0.20000   0.40000   0.40000
```