Convergences et approximation ; estimation

1) Convergence et approximation

Inégalité de Markov

Soit $X$ une variable aléatoire réelle à valeurs positives admettant une espérance.
Alors $\forall a>0$, $P(X\geq a)\leq \displaystyle\frac{E(X)}{a}$

Inégalité de Bienaymé-Tchebychev

Soit $X$ une variable aléatoire admettant une espérance et une variance.
Alors $\forall \epsilon >0$, $P(|X-E(X)|\geq \epsilon)\leq \displaystyle\frac{V(X)}{\epsilon^2}$

Loi faible des grands nombres

Soit $(X_n)$ une suite de variables aléatoires deux à deux indépendantes admettant la même espérance $m$ et un même écart-type $\sigma$.
On pose : $\overline{X_n}=\displaystyle\frac{X_1+…+X_n}{n}$.
Alors $\forall \epsilon >0$, $\displaystyle\lim_{n\to +\infty}P(|\overline{X_n}-m|\geq \epsilon)=0$

2) Convergence en probabilité :

La suite $(X_n)_{n\in\mathbb N*}$ converge en probabilité vers $X$ si : pour tout $\epsilon>0$, $\displaystyle\lim_{n\to +\infty}P(|Xn-X|\geq\epsilon)=0$

Théorème :

Si $(X_n)_{n\in\mathbb N*}$ converge en probabilité vers $X$, et si $f$ est continue sur $\mathbb R$ à valeurs réelles, alors $(f(X_n)) _{n\in\mathbb N*}$ converge en probabilité vers $f(X)$.

3) Convergence en loi :

La suite $(X_n)_{n\in\mathbb N*}$ converge en loi vers $X$ si si et seulement si en tout point de continuité $x$ de $F_X$ : $\displaystyle\lim_{n\to +\infty}F_{X_n}(x)=F_X(x)$

Théorème :

Si $(X_n)_{n\in\mathbb N*}$ converge en loi vers $X$, et si $f$ est continue sur $\mathbb R$ à valeurs réelles, alors $(f(X_n)) _{n\in\mathbb N*}$ converge en probabilité vers $f(X)$.

Théorème limite central :

Si $(X_n)_{n\in\mathbb N*}$ est une suite de variables aléatoires indépendantes et de même loi, admettant une espérance $m$ et une variance $\sigma^2$ non nulle, si on note : $\overline{X_n}=\frac{X_1+…+X_n}{n}$, alors la suite de variables aléatoires centrées réduites $\overline{X_n}^*=\sqrt{n}\Big(\frac{\overline{X_n}-m}{\sigma}\Big)$ converge en loi vers une variable aléatoire suivant la loi normale centrée réduite.

4) Estimation

Estimation ponctuelle

Soit $\theta$ un paramètre inconnu que l’on cherche à estimer à partir d’un échantillon de données $x_1,…,x_n$.
On suppose que cet échantillon est la réalisation de $n$ variables aléatoires $X_1,…,X_n$ indépendantes et de même loi.
Un estimateur de $\theta$ est une variable aléatoire de la forme $T_n=\varphi(X_1,…,X_n)$.
La réalisation $\varphi(X_1,…,X_n)$ de l’estimateur $T_n$ est l’estimation de $\theta$.

Si pour tout $\theta$, $T_n$ admet une espérance, on appelle biais de $T_n$ le réel $b_{\theta}(T_n)=E_{\theta}(T_n)-\theta$.
L’estimateur $T_n$ de $\theta$ est sans biais (ou non biaisé) si $E_{\theta}(T_n)=\theta$ pour tout $\theta$. Dans le cas contraire, l’estimateur est dit biaisé.

Si pour tout $\theta$, $T_n^2$ admet une espérance, on appelle risque quadratique de $T_n$ le réel $r_{\theta}(T_n)=E_{\theta}((T_n-\theta)^2)$.

Propriété :

$$r_{\theta}(T_n)=b_{\theta}(T_n)^2+V_{\theta}(T_n)$$

Exemple :

Soit $(X_1,…,X_n)$ variables aléatoires indépendantes de loi $\mathcal{B}(p)$. Alors $\overline{X_n}=\displaystyle\frac{X_1+…+X_n}{n}$ est un estimateur de $p$.

Estimation par intervalle de confiance

Au lieu de chercher une estimation ponctuelle de $\theta$, on peut déterminer un intervalle aléatoire, appelé intervalle de confiance, qui contiendra $\theta$ avec une probabilité fixée.

Définition :

Soient $U_n$ et $V_n$ deux estimateurs. $[U_n ;V_n]$ est un intervalle de confiance de $\theta$ au niveau de confiance $1-\alpha$ (avec le risque $\alpha \in [0 ;1]$) si pour tout $\theta$, $P_{\theta}(U_n\leq \theta\leq V_n)\geq 1-\alpha$.
Les réalisations de $U_n$ et $V_n$ sont calculables à partir de l’échantillon $x_1,…,x_n$.

Exemple :

Soit $X$ variable aléatoire de loi $\mathcal{B}(p)$ : $X$ prend la valeur 1 si un individu possède une propriété A et 0 sinon. On cherche à estimer la proportion $p$ d’individus possédant la propriété A.

Un intervalle de confiance de $p$ au niveau de confiance $1-\alpha$ (c’est-à-dire au risque $\alpha$) est donné par :
$[p_0-\frac{t_{\alpha}}{2\sqrt{n}} ; p_0+\frac{t_{\alpha}}{2\sqrt{n}} ]$

Où $p_0$ est la proportion observée d’individus possédant la caractéristique A dans l’échantillon de taille $n$.

Remarque :

Pour $\alpha=0,05$, $t_{\alpha}=1,96$.