1) Convergence et approximation
Inégalité de Markov
Soit $X$ une variable aléatoire réelle à valeurs positives admettant une espérance.
Alors $\forall a>0$, $P(X\geq a)\leq \displaystyle\frac{E(X)}{a}$
Inégalité de Bienaymé-Tchebychev
Soit $X$ une variable aléatoire admettant une espérance et une variance.
Alors $\forall \epsilon >0$, $P(|X-E(X)|\geq \epsilon)\leq \displaystyle\frac{V(X)}{\epsilon^2}$
Loi faible des grands nombres
Soit $(X_n)$ une suite de variables aléatoires deux à deux indépendantes admettant la même espérance $m$ et un même écart-type $\sigma$.
On pose : $\overline{X_n}=\displaystyle\frac{X_1+…+X_n}{n}$.
Alors $\forall \epsilon >0$, $\displaystyle\lim_{n\to +\infty}P(|\overline{X_n}-m|\geq \epsilon)=0$
2) Estimation
Estimation ponctuelle
Soit $\theta$ un paramètre inconnu que l’on cherche à estimer à partir d’un échantillon de données $x_1,…,x_n$.
On suppose que cet échantillon est la réalisation de $n$ variables aléatoires $X_1,…,X_n$ indépendantes et de même loi.
Un estimateur de $\theta$ est une variable aléatoire de la forme $T_n=\varphi(X_1,…,X_n)$.
La réalisation $\varphi(X_1,…,X_n)$ de l’estimateur $T_n$ est l’estimation de $\theta$.
Si pour tout $\theta$, $T_n$ admet une espérance, on appelle biais de $T_n$ le réel $b_{\theta}(T_n)=E_{\theta}(T_n)-\theta$.
L’estimateur $T_n$ de $\theta$ est sans biais (ou non biaisé) si $E_{\theta}(T_n)=\theta$ pour tout $\theta$. Dans le cas contraire, l’estimateur est dit biaisé.
Si pour tout $\theta$, $T_n^2$ admet une espérance, on appelle risque quadratique de $T_n$ le réel $r_{\theta}(T_n)=E_{\theta}((T_n-\theta)^2)$.
Propriété :
$r_{\theta}(T_n)=b_{\theta}(T_n)^2+V_{\theta}(T_n)$.
Exemple :
Soit $(X_1,…,X_n)$ variables aléatoires indépendantes de loi $\mathcal{B}(p)$. Alors $\overline{X_n}=\displaystyle\frac{X_1+…+X_n}{n}$ est un estimateur de $p$.
Estimation par intervalle de confiance
Au lieu de chercher une estimation ponctuelle de $\theta$, on peut déterminer un intervalle aléatoire, appelé intervalle de confiance, qui contiendra $\theta$ avec une probabilité fixée.
Définition :
Soient $U_n$ et $V_n$ deux estimateurs. $[U_n ;V_n]$ est un intervalle de confiance de $\theta$ au niveau de confiance $1-\alpha$ (avec le risque $\alpha \in [0 ;1]$) si pour tout $\theta$, $P_{\theta}(U_n\leq \theta\leq V_n)\geq 1-\alpha$.
Les réalisations de $U_n$ et $V_n$ sont calculables à partir de l’échantillon $x_1,…,x_n$.
Exemple :
Soit $X$ variable aléatoire de loi $\mathcal{B}(p)$ : $X$ prend la valeur 1 si un individu possède une propriété A et 0 sinon. On cherche à estimer la proportion $p$ d’individus possédant la propriété A.
Un intervalle de confiance de $p$ au niveau de confiance $1-\alpha$ (c’est-à-dire au risque $\alpha$) est donné par :
$[p_0-\frac{t_{\alpha}}{2\sqrt{n}} ; p_0+\frac{t_{\alpha}}{2\sqrt{n}} ]$
Où $p_0$ est la proportion observée d’individus possédant la caractéristique A dans l’échantillon de taille $n$.
Remarque :
Pour $\alpha=0,05$, $t_{\alpha}=1,96$.
