Indépendance

C'est sans doute avec le concept d'indépendance que la théorie des probabilités se différencie conceptuellement de la théorie de la mesure.

Plan :

1. Rappels de théorie de la mesure
2. Indépendance à un nombre fini d'événements
3. Indépendance d'un nombre fini de variables aléatoires et de tribus
4. Indépendance et intégration

1) Rappels de théorie de la mesure

• $(\Omega, \mathcal{A}, \mathbb{P})$ est un espace de probabilité sur lequel seront définies toutes les variables aléatoires mises en jeu.
• Si $X : (\Omega, \mathcal{A}) \to (E, \mathcal{E})$ est une variable aléatoire (= formulation probabiliste de "fonction mesurable"), sa loi $\mathbb{P}_X$ est une mesure de probabilité sur $(E, \mathcal{E})$ définie par :

  $$ \forall A \in \mathcal{E},\,\mathbb{P}_X(A) = \mathbb{P}(X \in A) = \mathbb{P}(\{\omega \in \Omega : X(\omega) \in A\}) = \mathbb{P}(X^{-1}(A)). $$

• $\sigma(X) = \{X^{-1}(A) : A \in \mathcal{E}\}$ est la tribu engendrée par X (plus petite tribu sur $\Omega$ qui rend $X$ mesurable).
• Si $\mathcal{C} \subset \mathcal{P}(\Omega)$ est une classe de sous-ensembles de $\Omega$, $\sigma(\mathcal{C})$ est la plus petite tribu de $\Omega$ contenant $\mathcal{C}$, appelée tribu engendrée par $\mathcal{C}$.
• Lorsque $E = (E, d)$ est un espace métrique, on prendra $\mathcal{E} = \mathcal{B}(E)$ (la tribu borélienne engendrée par les ouverts, ou les fermés).

Caractérisation de lois : Soient $X : \Omega \to (E, \mathcal{E})$, $Y : \Omega \to (E, \mathcal{E})$ deux variables aléatoires. Soit $\mathcal{G}$ un $\pi$-système générateur de $(E, \mathcal{E})$ tel que $\forall A \in \mathcal{G}$, $\mathbb{P}(X \in A) = \mathbb{P}(Y \in A)$. Alors $\mathbb{P}_X = \mathbb{P}_Y$. (Conséquence du lemme des classes monotones. Rappel : un $\pi$-système est une classe stable par intersections finies).

Exemple : Si $X, Y \in \mathbb{R}$ vérifient $\forall x \in \mathbb{R}, \mathbb{P}(X \le x) = \mathbb{P}(Y \le x)$, alors $\mathbb{P}_X = \mathbb{P}_Y$.

Passons à une caractérisation "fonctionnelle" des lois.

Théorème de transfert : Soit $X : \Omega \to E$ une variable aléatoire, $\varphi : E \to \mathbb{R}^+$ mesurable. Alors :

$$ \mathbb{E}[\varphi(X)] = \int_\Omega (\varphi \circ X)(\omega) \, \mathbb{P}(\mathrm{d}\omega) = \int_E \varphi(x) \, \mathbb{P}_X(\mathrm{d}x). $$

Principe de la fonction muette :

Soit $X, Y : (\Omega,\mathcal{A}) \to (E,\mathcal{E})$ deux variables aléatoires.

1. On suppose que pour tout $f : E \to \mathbb{R}^+$ mesurable, $\mathbb{E}[f(X)] = \mathbb{E}[f(Y)]$. Alors $X \overset{\text{loi}}{=} Y$ (i.e. $\mathbb{P}_X = \mathbb{P}_Y$).
2. On suppose que $(E, d)$ est un espace métrique et que $\forall f : E \to \mathbb{R}$ continue bornée, $\mathbb{E}[f(X)] = \mathbb{E}[f(Y)]$. Alors $X \overset{\text{loi}}{=} Y$.

Preuve :

1. Soit $A \in \mathcal{E}$. On prend $f = \mathbf{1}_A$. Alors $\mathbb{E}[\mathbf{1}_A(X)] = \mathbb{E}[\mathbf{1}_A(Y)] \implies \mathbb{P}(X \in A) = \mathbb{P}(Y \in A)$.
2. Soit $F \subset E$ fermé. On montre d'abord que $\mathbb{P}_X(F) = \mathbb{P}_Y(F)$. Pour cela, on pose $f_K(x) = \max(1 - K d(x, F), 0)$. Alors $f_K$ converge simplement vers $\mathbf{1}_F$ en étant $\le 1$. Par convergence dominée :

$$\begin{array}{ccc} \mathbb{E}[f_K(X)] & = & \mathbb{E}[f_K(Y)] \\[6pt] \downarrow\,\scriptstyle K\to\infty & & \downarrow\,\scriptstyle K\to\infty \\[6pt] \mathbb{E}[\mathbf{1}_F(X)] & & \mathbb{E}[\mathbf{1}_F(Y)] \end{array} $$

Donc $\mathbb{P}_X(F) = \mathbb{P}_Y(F)$. Mais on vérifie que $\mathcal{M} = \{A \in \mathcal{B}(E) : \mathbb{P}_X(A) = \mathbb{P}_Y(A)\}$ est une classe monotone contenant le $\pi$-système générateur des fermés. On en déduit d'après le lemme des classes monotones que $\mathcal{M} = \mathcal{B}(E)$.

$\square$

Remarque : L'intérêt de prendre des fonctions continues bornées est qu'on a les régularités (utile pour la convergence dominée par exemple) et que la notion de convergence en loi (introduite ultérieurement) fait intervenir les fonctions continues bornées.

Espaces et mesures produits finis :

• Si $(E_i, \mathcal{E}_i)_{i \in \{1, \dots, n\}}$ sont des espaces mesurables, la tribu produit sur $E_1 \times \dots \times E_n$ est

  $$ \mathcal{E}_1 \otimes \dots \otimes \mathcal{E}_n := \sigma(\{A_1 \times \dots \times A_n : A_i \in \mathcal{E}_i\}). $$

• Si $\mathbb{P}_i$ est une mesure de proba sur $(E_i, \mathcal{E}_i)$, la mesure produit $\mathbb{P}_1 \otimes \dots \otimes \mathbb{P}_n$ est l'unique mesure de probabilité sur $(E_1 \times \dots \times E_n, \mathcal{E}_1 \otimes \dots \otimes \mathcal{E}_n)$ telle que :

  $$\mathbb{P}_1 \otimes \dots \otimes \mathbb{P}_n(A_1 \times \dots \times A_n) = \mathbb{P}_1(A_1) \dots \mathbb{P}_n(A_n) \quad \text{pour tous } A_i \in \mathcal{E}_i $$

• Si $X = (X_1, \dots, X_n)$ est une variable aléatoire à valeurs dans $E_1 \times \dots \times E_n$, sa loi est donnée par :

  $$ \mathbb{P}_X(A_1 \times \dots \times A_n) = \mathbb{P}((X_1, \dots, X_n) \in A_1 \times \dots \times A_n) = \mathbb{P}(X_1 \in A_1, \dots, X_n \in A_n) $$

2) Indépendance d'un nombre fini d'événements

Si $A, B \in \mathcal{A}$ sont deux événements, ils sont dits indépendants si $\mathbb{P}(A \cap B) = \mathbb{P}(A)\mathbb{P}(B)$.

Interprétation : Lorsque $\mathbb{P}(B) > 0$, cela revient à dire que la probabilité conditionnelle $\mathbb{P}(A|B)$ coïncide avec $\mathbb{P}(A)$. Intuitivement, le fait de savoir que $B$ est réalisé ne donne pas d'information sur la probabilité de réalisation ou non de $A$.

Exemples :

1. Lance de deux dés : $\Omega = \{1, \dots, 6\}^2$, $\mathbb{P}(\omega) = 1/36$. Alors $A = \{2\} \times \{1, \dots, 6\}$ et $B = \{1, \dots, 6\} \times \{5, 6\}$ sont indépendants.
2. Lancé d'un dé : $\Omega = \{1, \dots, 6\}$, $\mathbb{P}(\omega) = 1/6$. Les événements $A = \{1, 2\}$ et $B = \{2, 3, 5\}$ sont indépendants (car $\mathbb{P}(A \cap B) = 1/6 = (2/6) \times (3/6)$).

Définition : On dit que $n$ événements $A_1, \dots, A_n$ sont (mutuellement) indépendants si pour tout sous-ensemble non vide $\{i_1, \dots, i_k\} \subset \{1, \dots, n\}$, on a :

$$\mathbb{P}(A_{i_1} \cap \dots \cap A_{i_k}) = \mathbb{P}(A_{i_1}) \dots \mathbb{P}(A_{i_k}) $$

Notation : $A_1,\dots,A_n$ sont $\perp\!\!\!\perp$

Remarques :

• Il ne suffit pas d'avoir $\mathbb{P}(A_1 \cap \dots \cap A_n) = \mathbb{P}(A_1) \dots \mathbb{P}(A_n)$.

• Il ne suffit pas non plus d'avoir pour $i \neq j$ dans $\{1, \dots, n\}$ : $A_i\perp\!\!\!\perp A_j$ (indépendance deux à deux).

  Par exemple, dans le cas de lancer de 2 pièces non truquées, si
  $\quad A_1 = \{\text{pile au premier lancer}\}$,
  $\quad A_2 = \{\text{pile au second lancer}\}$,
  $\quad A_3 = \{\text{même résultat aux deux lancers}\}$.
  On a $\mathbb{P}(A_i \cap A_j) = 1/4 = \mathbb{P}(A_i)\mathbb{P}(A_j)$ pour $i \neq j$. Mais $\mathbb{P}(A_1 \cap A_2 \cap A_3) = 1/4 \neq 1/8 = \mathbb{P}(A_1)\mathbb{P}(A_2)\mathbb{P}(A_3)$. Ainsi $A_1, A_2, A_3$ sont 2 à 2 indépendants, mais pas (mutuellement) indépendants.

• Par indépendance, on entend toujours indépendance mutuelle.

Proposition : $A_1, \dots, A_n$ sont indépendants ssi $\mathbb{P}(B_1 \cap \dots \cap B_n) = \mathbb{P}(B_1) \dots \mathbb{P}(B_n)$ pour tous $B_i \in \{A_i, A_i^C, \Omega\}$.

Preuve :

• $\boxed{\Leftarrow}$ Clair en posant $B_i = A_i$ si $i \in \{i_1, \dots, i_p\}$ et $B_i = \Omega$ sinon.
• $\boxed{\Rightarrow}$ Supposons $A_1, \dots, A_n$ indépendants. Pour vérifier le critère, on peut supposer les $B_i \neq \Omega$. Il s'agit de montrer que si $C_1, \dots, C_p$ sont indépendants, alors $C_1^C, C_2, \dots, C_p$ le sont. Pour cela, on écrit

$$\begin{align*} \mathbb{P}(C_1^C \cap C_2 \cap \dots \cap C_p) &= \mathbb{P}(C_2 \cap \dots \cap C_p) - \mathbb{P}(C_1 \cap C_2 \cap \dots \cap C_p) \\ &= \prod \mathbb{P}(C_i) - \mathbb{P}(C_1)\prod_{i=2}^p \mathbb{P}(C_i) \\ &= (1 - \mathbb{P}(C_1))\prod_{i=2}^p \mathbb{P}(C_i) \\ &= \mathbb{P}(C_1^C)\prod_{i=2}^p \mathbb{P}(C_i). \end{align*} $$

$\square$

Ce résultat s'étend naturellement à la notion de tribus indépendantes, qui est le "bon" cadre pour l'indépendance.

3) Indépendance d'un nombre fini de tribus et de variables aléatoires

Définitions :

• Soient $\mathcal{A}_1, \dots, \mathcal{A}_n$ des sous-tribus de $\mathcal{A}$. Elles sont indépendantes (notation : $\perp\!\!\!\perp$) si :

  $$ \forall A_1 \in \mathcal{A}_1, \dots, A_n \in \mathcal{A}_n, \quad \mathbb{P}(A_1 \cap \dots \cap A_n) = \mathbb{P}(A_1) \cdots \mathbb{P}(A_n). $$

• Soit $X_1, \dots, X_n$ des variables aléatoires à valeurs dans $(E_1, \mathcal{E}_1), \dots, (E_n, \mathcal{E}_n)$. Elles sont indépendantes si $\sigma(X_1), \dots, \sigma(X_n)$ sont indépendantes.

Remarques :

• Par définition, $X_1, \dots, X_n$ sont indépendantes ssi $\forall F_1 \in \mathcal{E}_1, \dots, F_n \in \mathcal{E}_n$, $\mathbb{P}(X_1 \in F_1, \dots, X_n \in F_n) = \mathbb{P}(X_1 \in F_1) \cdots \mathbb{P}(X_n \in F_n)$, car $\sigma(X_i) = \{X_i^{-1}(F_i) : F_i\in \mathcal{E}_i\} = \{X_i\in F_i : F_i\in \mathcal{E}_i\}$.
• Les événements $A_1, \dots, A_n$ sont indépendants ssi les tribus $\sigma(\{A_1\}), \dots, \sigma(\{A_n\})$ sont indépendantes (d'après la proposition précédente).
• L'indépendance est relative à $\mathbb{P}$ (si on change de mesure de probabilité, on peut perdre l'indépendance).
• Pour parler d'indépendance de variables aléatoires, elles doivent être définies sur le même espace de probabilité.

Théorème (Principale décomposition) : Soit $X_1, \dots, X_n$ des variables aléatoires à valeurs dans $(E_i, \mathcal{E}_i)$ indépendantes. Soit $f_i : (E_i, \mathcal{E}_i) \to (F_i, \mathcal{F}_i)$ mesurables. Alors $f_1(X_1), \dots, f_n(X_n)$ sont indépendantes.

Preuve : Ceci provient du fait que $\sigma(f_i(X_i)) \subset \sigma(X_i)$. En effet, pour $B_i \in \mathcal{F}_i$, $(f_i(X_i))^{-1}(B_i) = X_i^{-1}(\underbrace{f_i^{-1}(B_i)}_{\in\mathcal{E}_i}) \in \sigma(X_i)$.

$\square$

Exemple : Si $X, Y$ sont des variables aléatoires réelles indépendantes, alors $X^2, \dfrac{Y^2}{1+Y^2}$ sont indépendantes.

Remarque : (Loi jointe et lois marginales)

Soit $X = (X_1, \dots, X_n)$ une variable aléatoire dans $E_1 \times \dots \times E_n$. La loi $\mathbb{P}_X$ est appelée loi jointe de $(X_1, \dots, X_n)$. La loi $\mathbb{P}_{X_i}$ de $X_i$ est appelée loi marginale de $X_i$. Puisque $\mathbb{P}_X(E_1 \times \dots \times E_{i-1} \times A_i \times E_{i+1} \times \dots \times E_n) = \mathbb{P}_{X_i}(A_i)$, les lois marginales sont déterminées par la loi jointe, mais la réciproque est fausse en général, mais vraie pour des variables aléatoires indépendantes !

Proposition : Soit $X_1, \dots, X_n$ des variables aléatoires à valeurs dans $(E_i, \mathcal{E}_i)$. Elles sont indépendantes ssi $\mathbb{P}_{(X_1, \dots, X_n)} = \mathbb{P}_{X_1} \otimes \dots \otimes \mathbb{P}_{X_n}$.

Preuve : Pour $F_i \in \mathcal{E}_i$ on a : $\mathbb{P}(X_1 \in F_1, \dots, X_n \in F_n) = \mathbb{P}_{(X_1, \dots, X_n)}(E_1 \times \dots \times E_n) = \mathbb{P}_{X_1}(F_1) \dots \mathbb{P}_{X_n}(F_n)$ si indépendantes. D'après ce calcul, $\mathbb{P}_{(X_1, \dots, X_n)}$ et $\mathbb{P}_{X_1} \otimes \cdots \otimes \mathbb{P}_{X_n}$ coïncident sur $\{F_1 \times \cdots \times F_n : F_i \in \mathcal{E}_i\}$, qui est un $\pi$-système générateur de $\mathcal{E}_1 \otimes \cdots \otimes \mathcal{E}_n$. Donc $\mathbb{P}_{(X_1, \dots, X_n)} = \mathbb{P}_{X_1} \otimes \cdots \otimes \mathbb{P}_{X_n}$ d'après le lemme des classes monotones.

$\square$

4) Indépendance et intégration

Il existe une caractérisation fonctionnelle très utile de l'indépendance :

Théorème : Soit $X_1, \dots, X_n$ des variables aléatoires à valeurs dans $(E_i, \mathcal{E}_i)$. Elles sont indépendantes ssi $\forall f_i : (E_i, \mathcal{E}_i) \to \mathbb{R}^+$ mesurables, on a

$$ \mathbb{E}\left[ \prod_{i=1}^n f_i(X_i) \right] = \prod_{i=1}^n \mathbb{E}[f_i(X_i)]. $$

Preuve :

• $\boxed{\Leftarrow}$ On prend $f_i = \mathbf{1}_{F_i}$ pour $F_i \in \mathcal{E}_i$.
• $\boxed{\Rightarrow}$ D'après le thm de transfert et de Fubini-Tonelli :

$$\begin{align*} \mathbb{E}\left[ \prod_{i=1}^n f_i(X_i) \right] &= \int_{E_1 \times \dots \times E_n} \prod_{i=1}^n f_i(x_i) \, \mathbb{P}_{(X_1, \dots, X_n)}(\mathrm{d}x_1, \dots, \mathrm{d}x_n) \\ &= \int_{E_1 \times \dots \times E_n} \prod_{i=1}^n f_i(x_i) \, \mathbb{P}_{X_1}(\mathrm{d}x_1) \otimes\cdots\otimes \mathbb{P}_{X_n}(\mathrm{d}x_n) \\ &\!\overset{{\tiny\text{Fubini}}}{=} \prod_{i=1}^n \int_{E_i} f_i(x_i) \, \mathbb{P}_{X_i}(\mathrm{d}x_i) \\ &= \prod_{i=1}^n \mathbb{E}[f_i(X_i)]. \end{align*} $$

$\square$

Remarque : Si les fonctions sont de signe quelconques ou à valeurs dans $\mathbb{C}$, l'égalité $\mathbb{E}\big[ \prod_{i=1}^n f_i(X_i) \big] = \prod_{i=1}^n \mathbb{E}[f_i(X_i)]$ reste vraie à condition que $\mathbb{E}[|f_i(X_i)|] < \infty$, $\forall 1\leq i\leq n$, et on a alors aussi $\mathbb{E}\big[ \prod_{i=1}^n |f_i(X_i)| \big] = \prod_{i=1}^n \mathbb{E}[|f_i(X_i)|]<\infty$, ce qui justifie l'existence de $\mathbb{E}\big[ \prod_{i=1}^n f_i(X_i) \big]$. En particulier, si $X_1, \dots, X_n$ sont des variables aléatoires dans $L^1$, on a aussi $\mathbb{E}\big[\prod_{i=1}^n X_i\big] = \prod_{i=1}^n \mathbb{E}[X_i]$.

⚠️ $X,Y\in L^1 \not\Rightarrow$ $XY\in L^1$ en général.

Corollaire : Si $X, Y$ sont des variables aléatoires indépendantes dans $L^2$, alors $\text{Cov}(X, Y) = 0$.

Preuve : Immédiate par définition $\text{Cov}(X, Y) = \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y] = 0$.

$\square$

⚠️La réciproque est fausse. Soit $X \sim \mathcal{N}(0,1)$ de densité $\frac{1}{2\pi}e^{-x^2/2}\,\mathrm{d}x$ et $\mathcal{E}$ t.q. $\mathbb{P}(\mathcal{E} = 1) = \mathbb{P}(\mathcal{E} = -1) = \frac{1}{2}$ avec $X \perp\!\!\!\perp \mathcal{E}$.
En nonant $Y = \mathcal{E}X$, on a $\text{Cov}(X, Y) = 0$ mais $X$ et $Y$ ne sont pas indépendants. Si $X\perp\!\!\!\perp Y$, on aurait $|X|\perp\!\!\!\perp |Y|$ (principe de composition), donc $|X|\perp\!\!\!\perp |X|$.
Alors $\mathbb{P}(|X|\leq 1) = \mathbb{P}(|X|\leq 1,|X|\leq 1) = \mathbb{P}(|X|\leq 1)^2$. Donc $\mathbb{P}(|X|\leq 1)=0$ ou $1$, absurde.

Dans le cas de $\mathbb{R}^d$, on peut utiliser les fonctions caractéristiques :

Rappel : Si $X = (X_1, \dots, X_d)$ est une variable aléatoire à valeurs dans $\mathbb{R}^d$, sa fonction caractéristique $\phi_X : \mathbb{R}^d \to \mathbb{C}$ est définie par :

$$\phi_X(t) = \mathbb{E}[e^{i \langle t, X \rangle}] = \mathbb{E}[e^{i(t_1 X_1 + \dots + t_d X_d)}] \quad \text{avec } t = (t_1, \dots, t_d). $$

C'est la transformée de Fourier de la mesure $\mathbb{P}_X$. On rappelle que pour deux mesures de probabilité sur $\mathbb{R}^d$, $\mu = \nu$ ssi $\hat{\mu} = \hat{\nu}$ (injectivité de la transformée de Fourier). En particulier, pour des variables aléatoires $X, Y$ à valeurs dans $\mathbb{R}^d$ : $X \overset{\text{loi}}{=} Y$ ssi $\phi_X = \phi_Y$.

Théorème : Soient $X, Y$ deux variables aléatoires à valeurs dans $\mathbb{R}^d$. On a

$$ X \perp\!\!\!\perp Y \iff \forall (u,v) \in \mathbb{R}^2, \phi_{(X,Y)}(u,v) = \phi_X(u)\phi_Y(v). $$

Preuve :

• $\boxed{\Rightarrow}$ D'après le résultat précédent, si $X \perp\!\!\!\perp Y$,

  $$ \phi_{(X,Y)}(u,v) = \mathbb{E}[e^{i(uX+vY)}] = \mathbb{E}[e^{iuX}]\mathbb{E}[e^{ivY}] = \phi_X(u)\phi_Y(v). $$

• $\boxed{\Leftarrow}$ Si $\phi_{(X,Y)}(u,v) = \phi_X(u)\phi_Y(v)$, alors

$$ \widehat{\mathbb{P}_{(X,Y)}} =\widehat{\mathbb{P}_X}\cdot\widehat{\mathbb{P}_Y} \overset{\textcolor{red}{(*)}}{=} \widehat{\mathbb{P}_X \otimes \mathbb{P}_Y}. $$

Donc $\mathbb{P}_{(X,Y)} = \mathbb{P}_X \otimes \mathbb{P}_Y$ par injectivité de la transformée de Fourier. Donc $X \perp\!\!\!\perp Y$.

$\square$

L'égalité $\textcolor{red}{(*)}$ provient du lemme suivant :

Lemme : Soint $\mu,\nu$ deux mesures de probabilité sur $\mathbb{R}^d$. On a

$$ \hat{\mu}\cdot\hat{\nu} = \widehat{\mu\otimes\nu}. $$

Preuve : On peut prendre des variables aléatoires $U, V$ à valeurs dans $\mathbb{R}^d$ t.q. $U\overset{\text{loi}}{=}\mu$, $V\overset{\text{loi}}{=}\nu$ avec $U\perp\!\!\!\perp V$. Alors

$$ \widehat{\mu\otimes\nu} = \widehat{\mathbb{P}_{(U,V)}} =\phi_{(U,V)} = \phi_U\cdot\phi_V = \widehat{\mathbb{P}_U}\cdot\widehat{\mathbb{P}_V} = \hat{\mu}\cdot\hat{\nu}. $$

$\square$