Los dos momentos más usados son los primeros dos momentos. El primer momento es la esperanza, mientras que el segundo momento respecto a la media, es la varianza

<aside> 💡

Definición (Varianza): Sea $X$ una variable aleatoria. La varianza de $X$, denotada por $\mathbb{V}ar(X)$, se define como

$\mathbb{V}ar(X) = \mathbb{E}[ (X- \mathbb{E}(X))^{2} ]$

</aside>

La varianza de $X$ es una medida de dispersión de $X$: cuantifica qué tanto tiende a desviarse $X$ de su valor esperado $\mathbb{ E } (X)$.

Gráfica de densidades más y menos dispersas

<aside> 💡

Definición (Desviación estándar): A la raíz cuadrada positiva de la varianza se le llama desviación estándar y se denota por $\sigma$.

$\sigma = \sqrt{\mathbb{V}ar(X)}$

</aside>

<aside> 💡

Proposición: Sea $X$ una variable aleatoria. Entonces

$\mathbb{V}ar(X) = \mathbb{E}(X^{2}) - [\mathbb{E}(X)]^{2}$

Dem: Por definición,

$$ \begin{align*} \mathbb{V}ar(X) &= \mathbb{E}[ (X- \mathbb{E}(X))^{2} ] \\ &= \mathbb{E}[ X^{2} - 2 X \mathbb{E}(X) + \mathbb{E}(X)^{2} ] \\ &= \mathbb{E}[ X^{2}] - 2 \mathbb{E}[X]\mathbb{E}[X] + \mathbb{E}(X)^{2} \\ &= \mathbb{E}[ X^{2}] - \mathbb{E}(X)^{2} \\ \end{align*} $$

</aside>

<aside> 💡

Teorema: Sean $X$ y $Y$ variables aleatorias. Entonces

1. $\mathbb{V}ar(aX) = a^{2} \mathbb{V}ar(X)$ con $a \in \mathbb{R}$
2. $\mathbb{V}ar(X+Y) = \mathbb{V}ar(X) + 2 (\mathbb{E}(XY) - \mathbb{E}(X) \mathbb{E}(Y)) + \mathbb{V}ar(Y)$
3. $\mathbb{V}ar(X+a) = \mathbb{V}ar(X)$

Dem: Por definición de varianza y por linealidad de $\mathbb{E}$,

$$ \begin{align*} \mathbb{V}ar(aX) &= \mathbb{E}([aX - \mathbb{E}(aX)]^{2}) \\ &= \mathbb{E}([aX - a\mathbb{E}(X)]^{2}) \\ &= \mathbb{E}(a^{2}[X - \mathbb{E}(X)]^{2}) \\ &= a^{2} \mathbb{E}([X - \mathbb{E}(X)]^{2}) \\ &= a^{2} \mathbb{V}ar(X)\\ \end{align*} $$

$$ \begin{align*} \mathbb{V}ar(X+Y) &= \mathbb{E}([X+Y - \mathbb{E}(X+Y)]^2) \\ &= \mathbb{E}([X+Y - \mathbb{E}(X) - \mathbb{E}(Y))]^2) \\ &= \mathbb{E}([(X - \mathbb{E}(X)) + (Y - \mathbb{E}(Y))]^2) \\ &= \mathbb{E}((X - \mathbb{E}(X))^{2} + 2(X - \mathbb{E}(X))(Y - \mathbb{E}(Y)) + (Y - \mathbb{E}(Y))^2) \\ &= \mathbb{E}((X - \mathbb{E}(X))^{2}) + 2\mathbb{E}((X - \mathbb{E}(X))(Y - \mathbb{E}(Y))) + \mathbb{E}((Y - \mathbb{E}(Y))^2) \\ &= \mathbb{V}ar(X) + 2[\mathbb{E}(XY - X \mathbb{E}(Y) -\mathbb{E}(X)Y +\mathbb{E}(X) \mathbb{E}(Y))]+ \mathbb{V}ar(Y) \\ &= \mathbb{V}ar(X) + 2[\mathbb{E}(XY) - \mathbb{E}(X \mathbb{E}(Y)) - \mathbb{E}(\mathbb{E}(X)Y) + \mathbb{E}(\mathbb{E}(X) \mathbb{E}(Y))]+ \mathbb{V}ar(Y) \\ &= \mathbb{V}ar(X) + 2[ \mathbb{E}(XY) - \mathbb{E}(X) \mathbb{E}(Y) - \mathbb{E}(X)\mathbb{E}(Y) + \mathbb{E}(X) \mathbb{E}(Y)]+ \mathbb{V}ar(Y) \\ &= \mathbb{V}ar(X) + 2[ \mathbb{E}(XY) - \mathbb{E}(X) \mathbb{E}(Y) ]+ \mathbb{V}ar(Y) \\ \end{align*} $$

$$ \begin{align*} \mathbb{V}ar(X+a) &= \mathbb{E}([X+a - \mathbb{E}(X+a)]^{2}) \\ &= \mathbb{E}([X+a - \mathbb{E}(X) - a]^{2}) \\ &= \mathbb{E}([X - \mathbb{E}(X) ]^{2}) \\ &= \mathbb{V}ar(X) \end{align*} $$

</aside>

En general, la varianza no es un operador lineal

Si dos variables aleatorias no están correlacionadas (i.e $\mathbb{E}(XY) = \mathbb{E}(X) \mathbb{E}(Y)$), se cumple que

$\mathbb{V}ar(X+Y) = \mathbb{V}ar(X) + \mathbb{V}ar(Y)$

<aside> 💡

Definición (Información de Shannon):

Sea $X$ una variable aleatoria con función de probabilidad o de densidad $f_X$. La información (o sorpresa) de $X$ se define como

$I(X) = - \log f_X$

</aside>

La información de una variable aleatoria puede ser interpretada como una forma de cuantificar lo sorpresivo en el resultado de una variable aleatoria.

Un resultado poco probable es altamente sorpresivo (y muy informativo)

• Ejemplo
• Ejemplo Se lanza un dado justo de 6 caras.

<aside> 💡

Definición (Entropía): Sea $X$ una variable aleatoria con función de probabilidad o de densidad $f_X$. La entropía de $X$, denotada por $\mathbb{H}(X)$, se define como,

$\mathbb{H}(X) = \mathbb{E}( I(X))$

Por el teorema del estadístico inconsciente,

Si $X$ es discreta,

$\mathbb{H}(X) = - \sum _{x \in sop(f_X)} \log(f_X(x)) f_X(x)$

Si $X$ es continua,

$\mathbb{H}(X) = - \int _{\mathbb{R} } \log(f_X(x)) f_X(x) dx$

</aside>

<aside> 💡

Proposición:

Sean $X$, $Y$ variables aleatorias. Entonces,

1. $\mathbb{H}(X+a) = \mathbb{H}(X)$ con $a \in \mathbb{R}$.
2. Si $X \perp Y$, $\mathbb{H}(X+Y) = \mathbb{H}(X) + \mathbb{H}(Y)$ </aside>

• Ejemplo Sea $X\sim Ber(p)$