Probabilités : convergences, estimation

1) Convergence et approximation

Inégalité de Markov

Soit $\rm X$ une variable aléatoire réelle à valeurs positives admettant une espérance.
Alors $\forall a>0$, $\rm P(X\geq \mathcal a)\leq \dfrac{E(X)}{\mathcal a}$

Inégalité de Bienaymé-Tchebychev

Soit $\rm X$ une variable aléatoire admettant une espérance et une variance.
Alors $\forall \epsilon >0$, $\rm P(|X-E(X)|\geq \epsilon)\leq \dfrac{V(X)}{\epsilon^2}$

Loi faible des grands nombres

Soit $(\mathrm X_n)$ une suite de variables aléatoires deux à deux indépendantes admettant la même espérance $m$ et un même écart-type $\sigma$.
On pose : $\overline{\mathrm X_n}=\dfrac{\mathrm X_1+\ldots +\mathrm X_n}{n}$.
Alors $\forall \epsilon >0$, $\displaystyle\lim_{n\to +\infty}\mathrm P(|\overline{\mathrm X_n}-m|\geq \epsilon)=0$

Convergence en probabilité :

La suite $(\mathrm X_n)_{n\in\mathbb N*}$ converge en probabilité vers $\rm X$ si : pour tout $\epsilon>0$, $\displaystyle\lim_{n\to +\infty}P(|\mathrm X_n-\mathrm X|\geq\epsilon)=0$

Théorème :

Si $(\mathrm X_n)_{n\in\mathbb N*}$ converge en probabilité vers $\rm X$, et si $f$ est continue sur $\mathbb R$ à valeurs réelles, alors $(f(\mathrm X_n)) _{n\in\mathbb N*}$ converge en probabilité vers $f(\mathrm X)$.

Convergence en loi :

La suite $(\mathrm X_n)_{n\in\mathbb N*}$ converge en loi vers $\rm X$ si si et seulement si en tout point de continuité $x$ de $\displaystyle \rm F_X : \lim_{\mathcal n\to +\infty}F_{X_{\mathcal n}}(x)=F_X(\mathcal x)$

Théorème :

Si $(\mathrm X_n)_{n\in\mathbb N*}$ converge en loi vers $\rm X$, et si $f$ est continue sur $\mathbb R$ à valeurs réelles, alors $(f(\mathrm X_n))_{n\in\mathbb N*}$ converge en probabilité vers $f(\rm X)$.

Théorème limite central :

Si $(\mathrm X_n)_{n\in\mathbb N*}$ est une suite de variables aléatoires indépendantes et de même loi, admettant une espérance $m$ et une variance $\sigma^2$ non nulle, si on note : $\overline{\mathrm X_n}=\dfrac{\mathrm X_1+\ldots +\mathrm X_n}{n}$, alors la suite de variables aléatoires centrées réduites $\overline{\mathrm X_n}^* = \sqrt{n}\left(\dfrac{\overline{\mathrm X_n}-m}{\sigma}\right)$ converge en loi vers une variable aléatoire suivant la loi normale centrée réduite.

2) Estimation

Estimation ponctuelle

Soit $\theta$ un paramètre inconnu que l’on cherche à estimer à partir d’un échantillon de données $x_1,\ldots ,x_n$.

On suppose que cet échantillon est la réalisation de $n$ variables aléatoires $\mathrm X_1,\ldots ,\mathrm X_n$ indépendantes et de même loi.
Un estimateur de $\theta$ est une variable aléatoire de la forme $\mathrm T_n=\varphi(\mathrm X_1,\ldots ,\mathrm X_n)$.
La réalisation $\varphi(\mathrm X_1,\ldots ,\mathrm X_n)$ de l’estimateur $\mathrm T_n$ est l’estimation de $\theta$.
Si pour tout $\theta$, $\mathrm T_n$ admet une espérance, on appelle biais de $\mathrm T_n$ le réel $b_{\theta}(\mathrm T_n)=\mathrm E_{\theta}(\mathrm T_n)-\theta$.
L’estimateur $\mathrm T_n$ de $\theta$ est sans biais (ou non biaisé) si $\mathrm E_{\theta}(\mathrm T_n)=\theta$ pour tout $\theta$. Dans le cas contraire, l’estimateur est dit biaisé.
Si pour tout $\theta$, $\mathrm T_n^2$ admet une espérance, on appelle risque quadratique de $\mathrm T_n$ le réel $r_{\theta}(\mathrm T_n)=\mathrm E_{\theta}((\mathrm T_n-\theta)^2)$.

Propriété : $r_{\theta}(\mathrm T_n)=b_{\theta}(\mathrm T_n)^2+\mathrm V_{\theta}(\mathrm T_n)$.

Exemple : Soit $(\mathrm X_1,\ldots ,\mathrm X_n)$ variables aléatoires indépendantes de loi $\mathcal{B}(p)$. Alors $\overline{\mathrm X_n} = \dfrac{\mathrm X_1+\ldots +\mathrm X_n}{n}$ est un estimateur de $p$.

Estimation par intervalle de confiance

Au lieu de chercher une estimation ponctuelle de $\theta$, on peut déterminer un intervalle aléatoire, appelé intervalle de confiance, qui contiendra $\theta$ avec une probabilité fixée.

Définition :

Soient $\mathrm U_n$ et $\mathrm V_n$ deux estimateurs. $[\mathrm U_n~ ;\mathrm V_n]$ est un intervalle de confiance de $\theta$ au niveau de confiance $1-\alpha$ (avec le risque $\alpha \in [0~ ;1]$) si pour tout $\theta$, $\mathrm P_{\theta}(\mathrm U_n\leq \theta\leq \mathrm V_n)\geq 1-\alpha$.
Les réalisations de $\mathrm U_n$ et $\mathrm V_n$ sont calculables à partir de l’échantillon $x_1,\ldots ,x_n$.

Exemple : Soit $\rm X$ variable aléatoire de loi $\mathcal{B}(p)$ : $\rm X$ prend la valeur $1$ si un individu possède une propriété $\rm A$ et $0$ sinon. On cherche à estimer la proportion $p$ d’individus possédant la propriété $\rm A$.

Un intervalle de confiance de $p$ au niveau de confiance $1-\alpha$ (c’est-à-dire au risque $\alpha$) est donné par :

$\left[p_0-\dfrac{t_{\alpha}}{2\sqrt{n}}~ ; p_0+\dfrac{t_{\alpha}}{2\sqrt{n}}\right]$

Où $p_0$ est la proportion observée d’individus possédant la caractéristique A dans l’échantillon de taille $n$.

Remarque : Pour $\alpha=0,05$, $t_{\alpha}=1,96$.