viernes, 3 de junio de 2011

TEORÍA DE DECISIONES

TEORÍA DE DECISIONES




DEFINICIÓN

Una decisión es una elección consciente y racional, orientada a conseguir un objetivo, que se realiza entre diversas posibilidades de actuación (o alternativas). Antes de tomar una decisión deberemos calcular cual será el resultado de escoger una alternativa. En función de las consecuencias previsibles para cada alternativa se tomará la decisión. Así, los elementos que constituyen la estructura de la decisión son: los objetivos de quién decide y las restricciones para conseguirlos; las alternativas posibles y potenciales; las consecuencias de cada alternativa; el escenario en el que se toma la decisión y las preferencias de quien decide.


MÉTODOS Y MODELOS PARA LA TOMA DE DECISIONES

Existen diversas situaciones en las que deben tomarse decisiones empresariales: situaciones de certeza, incertidumbre y riesgo.


Decisiones en situación de certeza

Una situación de certeza es aquella en la que un sujeto tiene información completa sobre una situación determinada, sobre cómo evolucionará y conoce el resultado de su decisión. Ej: decisiones sobre compras cuando se conoce la demanda, de distribución de personal cuando se conoce el coste por persona y operación, etc. La toma de decisiones en un marco de certeza no implica dificultad alguna, más allá de las relacionadas con la gestión empresarial.


Decisiones en situación de riesgo

Son situaciones en la que los datos se describen mediante distribuciones de probabilidad. Se enfrentan a situaciones en donde se corre un riesgo al tomar una decisión. En este tipo de situaciones conocemos la probabilidad de que ocurra cada situación. Se trata de analizar beneficios y pérdidas ponderados por las probabilidades de que sucedan.


Decisiones en situación de incertidumbre

Una situación de incertidumbre es aquella en la que un sujeto toma la decisión sin conocer del todo la situación y existen varios resultados para cada estrategia. Pueden ser decisiones no competitivas y competitivas.


Decisiones no competitivas

En las decisiones no competitivas nadie se opone a la estrategia del sujeto que decide.
Ej: vendedores de periódicos (se quiere conocer la cantidad a adquirir de acuerdo con las ventas). Para decidir existen una serie de criterios de elección:

- Maximin, pesimista o Wald
- Máximax, optimista o Hurwicz
- Coeficiente de optimismo-pesimismo
- Razón suficiente o Laplace
- Mínimax, coste de oportunidad o Savage

a) El criterio maximin supone maximizar el resultado mínimo, es decir el decisor quiere asegurarse la elección mejor en caso que se dé la situación más desfavorable. Es pesimista. Es útil en situaciones muy inciertas, si quieren evitarse riesgos o si existe conflicto.

b) El criterio maximax consiste en maximizar el máximo; escoger el resultado máximo entre los mejores de cada alternativa. El decisor es optimista.

c) El criterio del coeficiente de optimismo-pesimismo se sitúa entre los dos anteriores. Partimos de un grado de optimismo y de pesimismo relacionados del siguiente modo:

Coeficiente de optimismo= p; coeficiente de pesimismo= (1-p)= q; donde p+q= 1 y 0<p<1.
Dentro de la misma alternativa o estrategia consideraremos el resultado mayor de cada alternativa como p mientras que el resultado menor será q. Se escoge el mayor tras ponderar los resultados esperados por los coeficientes de optimismo y pesimismo.

d) El criterio del principio de razón suficiente espera que todas las situaciones de futuro tendrán la misma probabilidad de suceder. Ante esta situación se elige el resultado medio más elevado.

e) El criterio minimax plantea elegir en función de lo que se dejará de ganar. Por tanto, en primer lugar debe calcularse el máximo coste de oportunidad de cualquier opción y, en segundo lugar, elegir el menor de ellos.


EJEMPLO:

Supongamos que una empresa quiere realizar una campaña publicitaria. Se le presentan 3 posibilidades: radio (15 minutos de lunes a jueves en un espacio), TV (1 spot cada semana sobre las 12h) y prensa (1 anuncio 2 días a la semana los lunes y los jueves). Como han hecho campañas anteriormente se han podido valorar los resultados de las diferentes posibilidades del siguiente modo:


Ej: si la demanda de mercado se mantiene alta, la campaña publicitaria en la radio garantiza los mejores resultados. Si la demanda de mercado se mantiene baja, la campaña publicitaria que garantiza los mejores resultados es la prensa. ¿Qué medio de comunicación elegiríais?

a) El pesimista adoptará el MAXIMIN, es decir, escoger el mejor resultado de entre la peor situación. El peor escenario (o peor situación) es que la demanda sea baja. El mejor resultado en el peor escenario es: PRENSA.


b) El optimista adoptará el criterio MAXIMAX, el mejor de los mejores. El mejor escenario es la demanda alta. El mejor de los mejores es: RADIO.


c) Puede escogerse una situación intermedia entre optimismo y pesimismo (CRITERIO OPTIMISMO-PESIMISMO). Debe suponerse un determinado grado de optimismo (p). Si suponemos:

p= 60% = 0,6 ; q=0,4: Radio : p * max + q * min = 100 * 0,6 + 20 * 0,4 = 68
T.V. : p * max + q * min = 80 * 0,6 + 5 * 0,4 = 50
Prensa: p * max + q * min = 90 * 0,6 + 25 * 0,4 = 64
Escogerá la RADIO, al ser el resultado mayor de entre las distintas alternativas.


d) Si creemos que todas las situaciones tienen la misma posibilidad de suceder se escogerá el resultado medio más elevado (LAPLACE).

Resultado medio radio = (100+40+20)/3 = 53,3
Resultado medio TV = (80+20+5)/3 = 35
Resultado medio prensa = (90+35+25)/3= 50.
Escogerá RADIO


e) Con el MINIMAX se escoge el mínimo de los máximos costes de oportunidad posibles.
Calculamos la matriz de costes de oportunidad:


Aquí les dejo otro ejemplo de teoría de decisiones: EJEMPLO_2




TEORÍA DE JUEGOS

TEORÍA DE JUEGOS




La Teoría de Juegos se desarrollo con el simple hecho de que un individuo se relacione con otro u otros. Hoy en día se enfrenta cotidianamente a esta teoría, en cualquier momento. Para el hombre la importancia que representa la Teoría de Juegos es evidente, pues a diario se enfrenta a múltiples situaciones que son juegos.

Actualmente la Teoría de Juegos se ocupa sobre todo de que ocurre cuando los hombres se relacionan de forma racional, es decir, cuando los individuos se interrelacionan utilizando el raciocinio. Sin embargo, la Teoría de Juegos tiene todas las respuestas a los todos problemas del mundo.

¿QUÉ ES LA TEORÍA DE JUEGOS?

La Teoría de Juegos consiste en razonamientos circulares, los cuales no pueden ser evitados al considerar cuestiones estratégicas. Por naturaleza, a los humanos no se les va muy bien al pensar sobre los problemas de las relaciones estratégicas, pues generalmente la solución es la lógica a la inversa.

En la Teoría de Juegos la intuición no es muy fiable en situaciones estratégicas, razón por la que se debe entrenar tomando en consideración ejemplos instructivos, sin necesidad que los mismos sean reales.

El principal objetivo de la teoría de los juegos es determinar los papeles de conducta racional en situaciones de "juego" en las que los resultados son condicionales a las acciones de jugadores interdependientes.

Un juego es cualquier situación en la cual compiten dos o más jugadores. El Ajedrez y el Póker son buenos ejemplos, pero también lo son el duopolio y el oligopolio en los negocios. La extensión con que un jugador alcanza sus objetivos en un juego depende del azar, de sus recursos físicos y mentales y de los de sus rivales, de las reglas del juego y de los cursos de acciones que siguen los jugadores individuales, es decir, sus estrategias.

Una estrategia es una especificación de la acción que ha de emprender un jugador en cada contingencia posible del juego.

Se supone que, en un juego, todos los jugadores son racionales, inteligentes y están bien informados. En particular, se supone que cada jugador conoce todo el conjunto de estrategias existentes, no solo para él, sino también para sus rivales, y que cada jugador conoce los resultados de todas las combinaciones posibles de las estrategias.

La teoría de juegos está básicamente ligada a las matemáticas, ya que es principalmente una categoría de matemáticas aplicadas, aunque los analistas de juegos utilizan asiduamente otras áreas de esta ciencia, en particular las probabilidades, la estadística y la programación lineal en conjunto con la teoría de juegos. Pero la mayoría de la investigación fundamental es desempeñada por especialistas en otras materias.

Esta teoría tiene aplicaciones en numerosas áreas, como las ciencias políticas o la estrategia militar, que fomentó algunos de los primeros desarrollos de esta teoría. La biología evolutiva, donde se ha utilizado ampliamente para comprender y predecir ciertos resultados de la evolución, como el concepto de estrategia evolutiva estable introducido por John Maynard Smith; o la psicología, donde puede utilizarse para analizar juegos de simple diversión o aspectos más importantes de la vida y la sociedad también son claros ejemplos de aplicaciones.

Pero sin duda, su principal aplicación la encontramos en las ciencias económicas porque intenta encontrar estrategias racionales en situaciones donde el resultado depende no solamente de la estrategia de un participante y de las condiciones del mercado, sino también de las estrategias elegidas por otros jugadores, con objetivos distintos o coincidentes.

En esta ciencia se ha evolucionado notablemente, ya que a partir de los instrumentos proporcionados por Von Neumann y Morgenstern se comenzó a progresar en el conocimiento de la competencia imperfecta, porque hasta entonces solo tenían explicación “juegos” particularmente simples, como el monopolio o la competencia perfecta, ya que el monopolio puede ser tratado como un juego con un único jugador, y la competencia perfecta puede ser entendida teniendo en cuenta un número infinito de jugadores, de manera que cada agente individual no puede tener un efecto sobre agregados de mercado si actúa individualmente.

La teoría de juegos ha venido desempeñando, en los últimos tiempos, un papel cada vez mayor en los campos de lógica y ciencias informáticas. Varias teorías de lógica se basan en la semántica propia a los juegos, e informáticos ya han utilizado juegos para representar computaciones.





ORIGEN DE LA TEORÍA DE JUEGOS

La Teoría de Juegos fue creada por Von Neumann y Morgenstern, y descriptas en su libro clásico The Theory of Games Behavior, publicado en 1944. Otros habían anticipado algunas ideas. Los economistas Cournot y Edgeworth fueron particularmente innovadores en el siglo XIX. Otras contribuciones posteriores mencionadas fueron hechas por los matemáticos Borel y Zermelo. El mismo Von Neumann ya había puesto los fundamentos en el artículo publicado en 1928. Sin embargo, no fue hasta que apareció el libro de Von Neumann y Morgenstern que el mundo comprendió cuán potente era el instrumento descubierto para estudiar las relaciones humanas. Von Neumann y Morgenstern investigaron dos planteamientos distintos de la Teoría de Juegos. El primero de ellos el planteamiento estratégico o no cooperativo.

Von Neumann y Morgenstern resolvieron este problema en el caso particular de juegos con dos jugadores cuyos intereses son diametralmente opuestos. A estos juegos se les llama estrictamente competitivos, o de suma cero, porque cualquier ganancia para un jugador siempre se equilibra exactamente por una pérdida correspondiente para el otro jugador. El ajedrez, el backgammon y el póquer son juegos tratados habitualmente como juegos de suma cero.

En el segundo de ellos desarrollaron el planteamiento coalicional o cooperativo, en el que buscaron describir la conducta óptima en juegos con muchos jugadores. Puesto que éste es un problema mucho más difícil, no es de sorprender que sus resultados fueran mucho menos precisos que los alcanzados para el caso de suma cero y dos jugadores. En particular, Von Neumann abandono todo intento de especificar estrategias óptimas para jugadores individuales. En lugar de ello se propuso clasificar los modelos de formación de coaliciones que son consistentes con conductas racionales.

CONCEPTOS BÁSICOS

JUEGOS BIPERSONALES DE SUMA CERO

En un juego bipersonal de suma cero, cada uno de dos jugadores tiene que escoger entre unas acciones dictadas a cada turno, y la pérdida de cada jugador es igual al beneficio del su contrincante.

MATRIZ DE PAGO


La matriz de pagos de un juego bipersonal de suma cero tiene reglones etiquetados por las acciones del "jugador renglón" y columnas etiquetadas por las acciones del su contrincante, el "jugador columna." La entrada ij de la matriz es el pago que gana el jugador renglón en caso de que el jugador renglón usa acción i y el jugador columna usa acción j.

ESTRATEGIA MIXTA, VALOR ESPERADO

Un jugador usa una estrategia pura si usa la misma acción a cada turno del juego. El jugador usa una estrategia mixta si en cada turno escoge al azar una acción para que cada acción se esté usando una fracción determinada del tiempo.

Representamos una estrategia mixta (o pura) del jugador reglón por una matriz con un solo renglón (vector probabilidad):

R = [a   b   c  . . . ]

Con lo mismo número de entradas que renglones, y en cual cada entrada representa la fracción de tiempo que está usada la correspondiente acción (o la probabilidad de usar aquel acción) y donde a + b + . . . = 1.

Una estrategia mixta para el jugador renglón se represente por un vector probabilidad similar, pero en forma de columna C. Para ambos jugadores, estrategias puras son representadas por vectores probabilidad con un solo 1 y el resto de las entradas 0.

VALOR ESPERADO

El valor esperado del juego con matriz de pagos P que resulta por las estrategias mixtas R y C es dado por

e = RPC

El valor esperado del juego es el pago promedio por turno si cada jugador usa su estrategia mixta especificada por R y C después de un gran número de turnos.


CRITERIO MINIMAX, PRINCIPIOS FUNDAMENTALES DE LA TEORÍA DE JUEGOS

CRITERIO MINIMAX 

Un jugador quien usa el criterio minimax escoge una estrategia que, entre todas las estrategias posibles, minimiza el daño de la mejor contra-estrategia del otro jugador. Es decir, una estrategia óptima según el criterio minimax es una que minimiza el daño máximo que puede hacer el contrincante.

Encontrar la estrategia se llama solucionar el juego. La tercera parte del tutorial para esta tema muestra un método gráficamente para solucionar juegos 2×2. Para juegos generales, se puede usar el método simplex. Sin embargo, se puede frecuentemente simplificar un juego y a veces solucionarlo por "reducir por predominio" y/o comprobar si es "estrictamente determinado" (vea más abajo).


PRINCIPIOS FUNDAMENTALES DE LA TEORÍA DE JUEGOS

Cuando analizamos cualquier juego, hacemos los siguientes supuestos acerca de los dos jugadores:

  1. Cada jugador hace la acción mejor posible.
  2. Cada jugador sabe que su contrincante está también haciendo la acción mejor posible.

PUNTO DE SILLA, JUEGO ESTRICTAMENTE DETERMINADO

Un punto de silla es un pago que es simultáneamente un mínimo de su renglón y un máximo de su columna. Para encontrar puntos de silla, Encierre en círculo los mínimos de todos los renglones y meta en caja las máximas de todas las columnas. Los puntos de silla son aquellas entradas que son simultáneamente en círculo y en caja.

Un juego es estrictamente determinado si tiene por lo menos uno punto de silla. Las siguientes declaraciones se aplican a los juegos estrictamente determinados:

  1. Todos los puntos de silla en un juego tienen los mismos valores de pago.
  2. Elegir el renglón y la columna que pasan por cualquier punto de silla de estrategias minimax para ambos jugadores. Es decir, el juego es solucionado por el uso de estas estrategias puras.
El valor de un juego estrictamente determinado es el valor del punto de silla. Un juego justo tiene un valor igual a cero, si no, es injusto o parcial.


ESTRATEGIA ALEATORIA

Es aquella en donde el jugador renglón elige un renglón al azar, de acuerdo con cierta distribución de probabilidad. Por ejemplo, el jugador renglón podría la siguiente distribución de probabilidad:

RESULTADO
PROBABILIDAD
Renglón1
2/3
Renglón 2
1/3





Si el jugador renglón utiliza esta distribución de forma predecible, como cuando selecciona repetidamente el renglón 1 dos veces y luego el renglón 2 una vez, el jugador columna podría descubrir la estrategia de responder con el fin de reducir al mínimo su eficacia. Por lo tanto, el jugador renglón debe emplear algún dispositivo aleatorio, como la rueda giratoria que se mostro anteriormente (ruleta de pueblo), con el cual elegiría 1  dos terceras partes del tiempo.
Los juegos de punta de silla están estrictamente determinados; es decir, los jugadores adoptan estrategias puras, y el curso del juego se determina por adelantado (suponiendo que los jugadores son agresivos y capaces). Los juegos sin punto de silla no están estrictamente determinados; si un jugador emplea una estrategia aleatoria, el curso del juego estará sujeto al azar, y todo puede suceder. No hay valor fijo para el juego; solo hay un valor muy probable o esperado.


JUEGOS NO ESTRICTAMENTE DETERMINADOS

Esta clase de juegos tiene más de una alternativa de juego por la que los jugadores podrían ganar, por lo que no están obligados a siempre jugar con la misma estrategia, no presentan un punto silla por que el número menor de todos los máximos de las columnas no es igual al número mayor de los menores de los renglones, dando como resultado un juego no estrictamente determinado.


EJEMPLO:


Formulación de juegos de dos personas con suma cero

Para ilustrar las características básicas de un modelo de teoría de juegos, considérese el juego llamado pares y nones. Éste consiste nada más en que los dos jugadores muestran al mismo tiempo uno o dos dedos. Si el número de dedos coincide, el jugador que apuesta a pares (por ejemplo, el jugador 1) gana la apuesta (digamos $l) al jugador que va por nones (jugador II). Si el número no coincide, el jugador 1 paga $l al jugador II.

Entonces, cada jugador tiene dos estrategias: mostrar uno o dos dedos. La tabla a continuación contiene el pago en dólares que resulta para el jugador 1 en una matriz de pagos.


En general, un juego de dos personas se caracteriza por:

1. Las estrategias del jugador I.
2. Las estrategias del jugador II.
3. La matriz de pagos.

Antes de iniciar el juego, cada jugador conoce las estrategias de que dispone, las que tiene su oponente y la matriz de pagos. Una jugada real en el juego consiste en que los dos jugadores elijan al mismo tiempo una estrategia sin saber cuál es la elección de su oponente.

Una estrategia puede constituir una acción sencilla, como mostrar un número par o non de dedos en el juego de pares y nones. Por otro lado, en juegos más complicados que llevan en sí una serie de movimientos, una estrategia es una regla predeterminada que especifica por completo cómo se intenta responder a cada circunstancia posible en cada etapa del juego. Por ejemplo, una estrategia de un jugador de ajedrez indica cómo hacer el siguiente movimiento para todas las posiciones posibles en el tablero, de manera que el número total de estrategias posibles sería astronómico. Las aplicaciones de la teoría de juegos involucran situaciones competitivas mucho menos complicadas que el ajedrez pero las estrategias que se manejan pueden llegar a ser bastante complejas.

Por lo general, la matriz de pagos muestra la ganancia (positiva o negativa) que resultaría con cada combinación de estrategias para el jugador 1. Se da de esta manera, ya que la matriz del jugador II es el negativo de ésta, debido a la naturaleza de la suma cero del juego.

Los elementos de la matriz pueden tener cualquier tipo de unidades, como dólares, siempre que representen con exactitud la utilidad del jugador 1 en el resultado correspondiente. Debe hacerse hincapié en que la utilidad no necesariamente es proporcional a la cantidad de dinero (o cualquier otro bien) cuando se manejan cantidades grandes. Por ejemplo, para una persona pobre $2 millones (después de impuestos) tal vez vale mucho más que el doble de $1 millón. En otras palabras, si a una persona se le da a elegir entre: 1) recibir, con el 50% de posibilidades, $2 millones en lugar de nada y 2) recibir $1 millón con seguridad, ese individuo tal vez prefiriera este último. Por otro lado, el resultado que corresponde a un elemento 2 en una matriz de pagos debe "valer el doble" para el jugador 1 que el resultado correspondiente a un elemento 1. Así, dada la elección, debe serle indiferente un 50% de posibilidades de recibir el primer resultado (en lugar de nada) y recibir en definitiva el último resultado.

Un objetivo primordial de la teoría de juegos es establecer criterios racionales para seleccionar una estrategia, los cuales implican dos suposiciones importantes:

1. Ambos jugadores son racionales.
2. Ambos jugadores eligen sus estrategias sólo para promover su propio bienestar (sin compasión para el oponente).

La teoría de juegos se contrapone al análisis de decisión, en donde se hace la suposición de que el tomador de decisiones está jugando un juego contra un oponente pasivo, la naturaleza, que elige sus estrategias de alguna manera aleatoria.

Se desarrollará el criterio estándar de teoría de juegos para elegir las estrategias mediante ejemplos ilustrativos. En particular, a continuación se presenta un ejemplo prototipo que ilustra la formulación de un juego y su solución en algunas situaciones sencillas. Después se desarrollará una variación más complicada de este juego para obtener un criterio más general.

Para ampliación de la información, véase:




jueves, 2 de junio de 2011

CADENAS DE MARKOV

CADENAS DE MARKOV

En la teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como tirar una moneda al aire o un dado.
Reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), que las introdujo en 1907.
Definición:
En matemáticas, se define como un proceso estocástico discreto que cumple con la propiedad de Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro.
Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:


Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Márkov.

Fundamentos básicos:

Cadenas homogéneas y no homogéneas

Una cadena de Markov se dice homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto es:



Para todo n y para cualquier i, j.
Si para alguna pareja de estados y para algún tiempo n la propiedad antes mencionada no se cumple diremos que la cadena de Markov es no homogénea.

Probabilidades de transición y matriz de transición


La probabilidad de ir del estado i al estado j en n unidades de tiempo es


En la probabilidad de transición en un paso se omite el superíndice de modo que queda


Un hecho importante es que las probabilidades de transición en n pasos satisfacen la ecuación de Chapman-Kolmogorov, esto es, para cualquier k tal que 0 < k < n se cumple que


Donde E denota el espacio de estados.
Cuando la cadena de Markov es homogénea, muchas de sus propiedades útiles se pueden obtener a través de su matriz de transición, definida entrada a entrada como Ai,j = pij esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j en un paso.
Del mismo modo se puede obtener la matriz de transición en n pasos como:

, donde

Vector de probabilidad invariante

Se define la distribución inicial



Diremos que un vector de probabilidad (finito o infinito numerable) es invariante para una cadena de Markov si:


Donde P denota la matriz de transición de la cadena de Markov. Al vector de probabilidad invariante también se le llama distribución estacionaria o distribución de equilibrio.

CADENAS DE MARKOV ABSORBENTES

Una cadena de markov en la que uno o más estados es un estado absorbente es una cadena de markov absorbente. Para contestar preguntas importantes acerca de una cadena de markov absorbentes, se alistan los estados en el siguiente orden: primero los estados transitorios, luego los estrados absorbentes. Suponga que hay s – m estados transitorios (t1t2,…, ts-m) y m estados absorbentes (a1a2,…, am), se escribe la matriz de probabilidades de transición P como sigue:


Proceso Estocástico

Un proceso estocatico discreto en el tiempo es simplemente una descripcion de la relacion entre las variables aleatorias (x0, x1x2,…)

Estado Transitorio

Un estado es transitorio si, despues de haber entrado a este estado, el proceso nunca regresa a el. Por consiguiente, el estado i es transitorio si y solo si existe un estado j(j≠i)  que es accesible desde el estado j, pero no viceversa, esto es, si el estado i no es accesible desde el estado j.

Estado Recurrente

Un estado es recurrente si, despues de haber entrado a este estado, el proceso definitivamente regresara a ese estado. Por conciguiente, un estado es recurrente si y solo si no es transitorio.

Un estado i es periodico con periodo K > 1 si K es el numero mas pequeño tal que la trayectoria que conducen del estado i de regreso al estado i tienen una longitud que es multiplo de K. si un estado recurrente no es periodico, se conoce como aperiodico.

Matriz Ergódica 

Si los estados en una cadena son recurrentes, aperiodicos y se comunican entre si, se dice que la cadena es ergódica.



Aplicaciones de las cadenas de Markov:

Física

Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física estadística. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo de difusión de Laplace.

Meteorología

Si consideramos el clima de una región a través de distintos días, es claro que el estado actual solo depende del último estado y no de toda la historia en sí, de modo que se pueden usar cadenas de Markov para formular modelos climatológicos básicos.

Modelos epidemiológicos

Una importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-Watson. Éste es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el desarrollo de una epidemia (véase modelaje matemático de epidemias).

Internet

El pagerank de una página web (usado por Google en sus motores de búsqueda) se define a través de una cadena de Markov, donde la posición que tendrá una página en el buscador será determinada por su peso en la distribución estacionaria de la cadena.

Simulación

Las cadenas de Markov son utilizadas para proveer una solución analítica a ciertos problemas de simulación tales como el Modelo M/M/1.

Juegos de azar

Son muchos los juegos de azar que se pueden modelar a través de una cadena de Markov. El modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las cadenas de Markov en este rubro.

Economía y Finanzas

Las cadenas de Markov se pueden utilizar en modelos simples de valuación de opciones para determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una bolsa de valores o para determinar la volatilidad de precios. En los negocios, las cadenas de Márkov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

Ejemplo:

En un país como Colombia existen 3 operadores principales de telefonía móvil como lo son tigo, Comcel y movistar (estados).
Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo 0.4 para Comcel 0.25 y para movistar 0.35. (estado inicial)
Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad de permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de 0.2; si en la actualidad el usuario es cliente de Comcel tiene una probabilidad de mantenerse en Comcel del 0.5 de que esta persona se cambie a tigo  0.3 y que se pase a movistar de 0.2; si el usuario es cliente en la actualidad de movistar la probabilidad que permanezca en movistar es de 0.4 de que se cambie a tigo de 0.3 y a Comcel de 0.3. 

Partiendo de esta información podemos elaborar la matriz de transición.

La suma de las probabilidades de cada estado en este caso operador deben ser iguales a 1


Po= (0.4  0.25  0.35)          →                        estado inicial

Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se realiza multiplicando la matriz de transición por el estado inicial y asi sucesivamente pero multiplicando por el estado inmediatamente anterior.


Como podemos ver la variación en el periodo 4 al 5 es muy mínima casi insignificante podemos decir que ya se a llegado al vector o estado estable.