Probabilités : convergences, estimation

1) Convergence et approximation

Inégalité de Markov

Soit $X$ une variable aléatoire réelle à valeurs positives admettant une espérance.
Alors $\forall a>0$, $P(X\geq a)\leq \displaystyle\frac{E(X)}{a}$

Inégalité de Bienaymé-Tchebychev

Soit $X$ une variable aléatoire admettant une espérance et une variance.
Alors $\forall \epsilon >0$, $P(|X-E(X)|\geq \epsilon)\leq \displaystyle\frac{V(X)}{\epsilon^2}$

Loi faible des grands nombres

Soit $(X_n)$ une suite de variables aléatoires deux à deux indépendantes admettant la même espérance $m$ et un même écart-type $\sigma$.
On pose : $\overline{X_n}=\displaystyle\frac{X_1+…+X_n}{n}$.
Alors $\forall \epsilon >0$, $\displaystyle\lim_{n\to +\infty}P(|\overline{X_n}-m|\geq \epsilon)=0$

2) Estimation

Estimation ponctuelle

Soit $\theta$ un paramètre inconnu que l’on cherche à estimer à partir d’un échantillon de données $x_1,…,x_n$.

On suppose que cet échantillon est la réalisation de $n$ variables aléatoires $X_1,…,X_n$ indépendantes et de même loi.

Un estimateur de $\theta$ est une variable aléatoire de la forme $T_n=\varphi(X_1,…,X_n)$.

La réalisation $\varphi(X_1,…,X_n)$ de l’estimateur $T_n$ est l’estimation de $\theta$.

Si pour tout $\theta$, $T_n$ admet une espérance, on appelle biais de $T_n$ le réel $b_{\theta}(T_n)=E_{\theta}(T_n)-\theta$.

L’estimateur $T_n$ de $\theta$ est sans biais (ou non biaisé) si $E_{\theta}(T_n)=\theta$ pour tout $\theta$. Dans le cas contraire, l’estimateur est dit biaisé.

Si pour tout $\theta$, $T_n^2$ admet une espérance, on appelle risque quadratique de $T_n$ le réel $r_{\theta}(T_n)=E_{\theta}((T_n-\theta)^2)$.

Propriété :

$r_{\theta}(T_n)=b_{\theta}(T_n)^2+V_{\theta}(T_n)$.

Exemple :

Soit $(X_1,…,X_n)$ variables aléatoires indépendantes de loi $\mathcal{B}(p)$. Alors $\overline{X_n}=\displaystyle\frac{X_1+…+X_n}{n}$ est un estimateur de $p$.

Estimation par intervalle de confiance

Au lieu de chercher une estimation ponctuelle de $\theta$, on peut déterminer un intervalle aléatoire, appelé intervalle de confiance, qui contiendra $\theta$ avec une probabilité fixée.

Définition :

Soient $U_n$ et $V_n$ deux estimateurs. $[U_n ;V_n]$ est un intervalle de confiance de $\theta$ au niveau de confiance $1-\alpha$ (avec le risque $\alpha \in [0 ;1]$) si pour tout $\theta$, $P_{\theta}(U_n\leq \theta\leq V_n)\geq 1-\alpha$.

Les réalisations de $U_n$ et $V_n$ sont calculables à partir de l’échantillon $x_1,…,x_n$.

Exemple :

Soit $X$ variable aléatoire de loi $\mathcal{B}(p)$ : $X$ prend la valeur 1 si un individu possède une propriété A et 0 sinon. On cherche à estimer la proportion $p$ d’individus possédant la propriété A.

Un intervalle de confiance de $p$ au niveau de confiance $1-\alpha$ (c’est-à-dire au risque $\alpha$) est donné par : 

$[p_0-\frac{t_{\alpha}}{2\sqrt{n}} ; p_0+\frac{t_{\alpha}}{2\sqrt{n}} ]$

Où $p_0$ est la proportion observée d’individus possédant la caractéristique A dans l’échantillon de taille $n$.

Remarque :

Pour $\alpha=0,05$, $t_{\alpha}=1,96$.