Variables aléatoires – Loi des grands nombres
1. Opérations sur les variables aléatoires
Dans toute cette partie, on se place dans un univers fini $ \Omega $ et on considère deux variables aléatoires $ X $ et $ Y $ définies sur cet univers.
Définition (Somme de variables aléatoires)
Si la variable aléatoire $ X $ prend les valeurs $ x_i $ (avec $ 1 \leqslant i \leqslant n $) et si la variable aléatoire $ Y $ prend les valeurs $ y_j $ (avec $ 1 \leqslant j \leqslant m $ ), la variable aléatoire $ X+Y $ est la valeur aléatoire :
- qui prend toutes les valeurs possibles de $ x_i+y_j $ pour $ 1 \leqslant i \leqslant n $ et $ 1 \leqslant j \leqslant m $
- telle que la probabilité $ p(X+Y=s) $ est la somme des probabilités de tous les événements $ (X =x_i) \cap (Y =y_j) $ pour lesquels $ x_i+y_j=s $.
Exemple
On lance deux pièces de monnaie parfaitement équilibrées et on considère les variables aléatoires :
- X qui prend la valeur 0 si la première pièce tombe sur « Pile » et la valeur 1 si la pièce tombe sur « Face »
- Y qui prend la valeur 1 si la première pièce tombe sur « Pile » et la valeur 2 si la pièce tombe sur « Face »
La variable aléatoire $ X+Y $ peut alors prendre les valeurs $ 0+1=1 $, $ 0+2= 1+1=2 $ et $ 1+2 = 3 $.
Les probabilités sont :
$ p(X+Y=1) = p((X=0) \cap (Y=1)) $
$ \phantom{p(X+Y=1)}= \dfrac{ 1 }{ 4 } $ si les lancers sont indépendants.
$ p(X+Y=2) = p((X=0) \cap (Y=2)) + p((X=2) \cap (Y=1)) $
$ \phantom{p(X+Y=1)}= \dfrac{ 1 }{ 4 } + \dfrac{ 1 }{ 4 } =\dfrac{ 1 }{ 2 } $ si les lancers sont indépendants.
$ p(X+Y=3) = p((X=1) \cap (Y=2)) $
$ \phantom{p(X+Y=1)}= \dfrac{ 1 }{ 4 } $ si les lancers sont indépendants.
Définition (Produit par un réel)
Soit $ a $ et $ b $ deux nombres réels et $ X $ la variable aléatoire qui prend les valeurs $ x_i $ (pour$ 1 \leqslant i \leqslant n $).
La variable aléatoire $ Z= aX + b $ est la variable aléatoire qui prend les valeurs $ z_i = ax_i + b $ avec les probabilités $ p( Z = z_i) = p(X=x_i) $
Exemple
On lance un dé à 6 faces non truqué. On note $ X $ la variable aléatoire qui donne le résultat du dé. La loi de probabilité de X est donnée par le tableau :
| x_i | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|
| p(X=x_i) | $ \dfrac{ 1 }{ 6 } $ | $ \dfrac{ 1 }{ 6 } $ | $ \dfrac{ 1 }{ 6 } $ | $ \dfrac{ 1 }{ 6 } $ | $ \dfrac{ 1 }{ 6 } $ | $ \dfrac{ 1 }{ 6 } $ |
La variable aléatoire $ Z=2X + 1 $ fait correspondre à chaque lancer le double du résultat du dé augmenté de 1 ; sa loi est la suivante :
| z_i | 3 | 5 | 7 | 9 | 11 | 13 |
|---|---|---|---|---|---|---|
| p(Z=z_i) | $ \dfrac{ 1 }{ 6 } $ | $ \dfrac{ 1 }{ 6 } $ | $ \dfrac{ 1 }{ 6 } $ | $ \dfrac{ 1 }{ 6 } $ | $ \dfrac{ 1 }{ 6 } $ | $ \dfrac{ 1 }{ 6 } $ |
Définition (Variables aléatoires indépendantes)
Soit $ X $ une variable aléatoire prenant les valeurs $ x_i $ (avec $ 1 \leqslant i \leqslant n $) et $ Y $ une variable aléatoire prenant les valeurs $ y_j $ (avec $ 1 \leqslant j \leqslant m $ ).
On dit que les variables aléatoires $ X $ et $ Y $ sont indépendantes si et seulement si, pour tout $ i $ ($ 1 \leqslant i \leqslant n $) et tout $ j $ ($ 1 \leqslant j \leqslant m $), les événements $ (X=x_i) $ et $ (Y=y_j) $ sont indépendants.
Remarque
D'après la définition de l'indépendance vue en Première, cela signifie que pour tout $ i $ ( $ 1 \leqslant i \leqslant n $) et tout $ j $ ( $ 1 \leqslant j \leqslant m $) :
Propriété
Soient $ X $ et $ Y $ deux variables aléatoires définies sur $ \Omega $ et $ a $ un nombre réel, alors :
- $ E(X+Y) = E(X)+E(Y) $
- $ E( aX+b ) = aE(X) +b $
Exemple
Si l'on reprend le premier exemple (lancer de deux pièces), la loi de $ X $ est :
x_i 0 1 p(X=x_i) 0,5 0,5 La loi de $ Y $ est :
y_i 1 2 p(Y=y_i) 0,5 0,5 Et la loi de $ Z = X+Y $ est :
z_i 1 2 3 p(Z=z_i) 0,25 0,5 0,25 On a alors :
$ E(X) = 0 \times 0,5 + 1 \times 0,5 = 0,5 $
$ E(Y) = 1 \times 0,5 + 2 \times 0,5 = 1,5 $et :
$ E(X+Y) = 1 \times 0,25 + 2 \times 0,5 + 3 \times 0,25= 2 $Par conséquent $ E(X+Y) = E(X)+E(Y) $.
- Si l'on reprend le second exemple (lancer d'un dé), on a :
$ E(X) = 1 \times \dfrac{ 1 }{ 6 } + 2 \times \dfrac{ 1 }{ 6 } + 3 \times \dfrac{ 1 }{ 6 } + 4 \times \dfrac{ 1 }{ 6 } + 5 \times \dfrac{ 1 }{ 6 } \ + \ 6 \times \dfrac{ 1 }{ 6 } = 3,5 $
et :
$ E(2X+1) = 3 \times \dfrac{ 1 }{ 6 } + 5 \times \dfrac{ 1 }{ 6 } + 7 \times \dfrac{ 1 }{ 6 } +9 \times \dfrac{ 1 }{ 6 } + 11 \times \dfrac{ 1 }{ 6 } + 13 \times \dfrac{ 1 }{ 6 } = 8 $
Donc $ E(2X+1) = 2E(X)+1 $.
Propriété
Soient $ X $ et $ Y $ deux variables aléatoires indépendantes définies sur $ \Omega $ :et $ a $ un nombre réel, alors :
- $ V(X+Y) = V(X)+V(Y) $
Soient $ X $ une variable aléatoire définie sur $ \Omega $ et $ a $ et $ b $ deux nombres réels, alors :
- $ V( aX+b) = a^2 V(X) $
Remarque
Comme l'écart-type $ \sigma $ est égal à la racine carrée de la variance on a (si $ X $ et $ Y $ sont indépendantes) :
- $ \sigma (X+Y) = \sqrt{ \sigma (X) ^2+ \sigma (Y)^2 } $
- $ \sigma ( aX+b) = \left| a \right| \sigma (X) $
2. Concentration - Loi des grands nombres
Définition
Un échantillon d'une loi de probabilité est une liste de variables aléatoires identiques et indépendantes $ X_1, X_2, \cdots , X_n $ qui suivent toutes cette loi.
Exemple
On réalise l'expérience qui consiste à tirer, au hasard, une boule d'un sac contenant cinq boules numérotées de 1 à 5 et on considère la variable aléatoire égale au numéro de la boule tirée.
Si on effectue $ n $ fois cette expérience (avec remise) et si l'on suppose les tirages indépendants, on crée un échantillon de $ n $ variables aléatoires suivant une loi uniforme sur l'ensemble $ \left\{ 1; 2; 3; 4; 5 \right\} $.
Définition (Moyenne d'un échantillon)
Si $ X_1, X_2, \cdots , X_n $ est un échantillon d'une loi de probabilité, la moyenne (ou moyene empirique) de cet échantillon est la variable aléatoire définie par :
Exemple
Par exemple on lance 60 fois un dé . On obtient 11 fois la face « 6 ».
Le nombre moyen de « 6 » obtenus à chaque lancer est $ \dfrac{ 11 }{ 60 } $ (moyenne empirique) alors que l'espérance d'obtenir un « 6 » à un lancer est $ \dfrac{ 1 }{ 6} $ .
Propriété
Soit $ X_1, X_2, \cdots , X_n $ est un échantillon d'une loi de probabilité d'espérance $ \mu $, de variance $ V $ et d'écart-type $ \sigma $, alors, l'espérance mathématique, la variance et l'écart-type de la moyenne $ M_n $ sont :
Exemple
On reprend l'exemple du tirage d'une boule parmi six numérotées de 1 à 6.
Un calcul simple montre que, pour chaque tirage, l'espérance est $ \mu =3 $, la variance $ V=2 $ et l'écart-type $ \sigma = \sqrt{ 2 } $.
Si l'on effectue $ n $ tirages et que l'on désigne par $ M_n $ la moyenne des numéros tirés, $ M_n $ suit une loi de paramètres :
- $ E(M_n) = 3 $
- $ V(M_n) = \dfrac{ 2 }{ n } $
- $ \sigma (M_n) = \sqrt{ \dfrac{ 2 }{ n } } $
Remarque
On remarque que, quand la taille $ n $ de l'échantillon augmente, l'espérance mathématique de la moyenne ne change pas tandis que sa variance et son écart-type diminuent. Cette observation sera détaillée par la suite.
Propriété (Inégalité de Bienaymé-Tchebychev)
Soit $ X $ une variable aléatoire d'espérance mathématique $ \mu $ et d'écart-type $ \sigma $.
Pour tout nombre réel $ \alpha $ strictement positif :
Remarque
- En posant $ \alpha = k\sigma $, l'inégalité de Bienaymé-Tchebychev peut aussi s'écrire $ P(|X - \mu| \geqslant k\sigma) \leqslant \dfrac{1}{k^2} $.
- On rappelle que $ \left| X - \mu \right| $ représente la distance entre $ X $ et $ \mu $.
Intuitivement, l'inégalité de Bienaymé-Tchebychev signifie donc que la probabilité que $ X $ prenne des valeurs éloignées de son espérance est faible (notamment si son écart-type est faible).
Exemple
L'espérance de gain à un jeu est de 10 euros et l'écart-type de 1 euro.
On cherche à minorer la probabilité que le gain soit compris dans l'intervalle $ ] 5~;~15[ $ en utilisant l'inégalité de Bienaymé-Tchebychev.
Soit $ X $ la variable aléatoire représentant le gain. Ce gain est compris dans l'intervalle $ ] 5~;~15[ $ si et seulement si $ \left| X - 10 \right| < 5 $.
Or cet événement $ \left| X - 10 \right| < 5 $ est l'événement contraire de $ \left| X - 10 \right| \geqslant 5 $ et d'après l'inégalité de Bienaymé-Tchebychev :
Donc la probabilité que le gain soit compris dans l'intervalle $ ] 5~;~15[ $ est supérieure à $ 1 - 0,04 = 0,96 $.
Propriété (Inégalité de concentration)
Soit $ (X_1, X_2, \cdots , X_{n}) $ un échantillon d'une loi de probabilité d'espérance mathématique $ \mu $ et d'écart-type $ \sigma $.
On note $ M_n $ la moyenne empirique définie par $ M_n = \dfrac {X_1+X_2+ \cdots +X_n}{n} $.
Pour tout réel strictement positif $ \varepsilon $ :
.
Démonstration
On applique l'inégalité de Bienaymé-Tchebychev à $ M_n $ en tenant compte du fait que $ E(M_n) = \mu $ et $ \sigma (M_n) = \dfrac{ \sigma }{\sqrt{ n } } $.
Propriété (Loi faible des grands nombres)
Soit $ (X_1, X_2, \cdots , X_{n}) $ un échantillon d'une loi de probabilité d'espérance mathématique $ \mu $ et de moyenne empirique $ M_n $.
Alors, pour tout réel $ \varepsilon > 0 $ :
.
Remarque
Le résultat précédent signifie que la probabilité que la moyenne empirique s'éloigne de l'espérance mathématique devient très faible pour les grands échantillons.