Aller au contenu principal

Module 4 — Valeurs propres et réduction de dimension

Les données réelles ont souvent des centaines de caractéristiques, dont beaucoup redondantes. La réduction de dimension compresse cette information dans quelques axes bien choisis. L'outil mathématique derrière — les valeurs et vecteurs propres — a une réputation intimidante ; ce module en donne l'intuition et l'usage concret, sans démonstration.

Vecteurs propres : les directions qu'une transformation préserve​

Rappelons le module 2 : une matrice transforme les vecteurs, en général en changeant leur direction. Mais pour certaines matrices, quelques directions spéciales sont seulement étirées ou comprimées, sans être déviées. Ce sont les vecteurs propres, et le facteur d'étirement associé est la valeur propre :

Av=λvA v = \lambda v

Le vecteur propre vv garde sa direction ; la valeur propre λ\lambda dit de combien il est étiré. Une grande valeur propre signale une direction « importante » de la transformation — une direction où l'action est forte.

De la covariance aux axes principaux​

Appliquons cela aux données. La matrice de covariance d'un jeu de données résume comment les caractéristiques varient ensemble : forte covariance = caractéristiques liées. Ses vecteurs propres pointent vers les directions où les données s'étalent le plus, et les valeurs propres mesurent cet étalement (la variance) le long de chaque direction.

L'idée de l'analyse en composantes principales (ACP) tient en une phrase : garder les quelques directions de plus grande variance, jeter le reste. On remplace 200 caractéristiques corrélées par, disons, 10 axes qui capturent 95 % de la variance.

L'ACP en pratique​

from sklearn.decomposition import PCA
import numpy as np

# X : (n_observations, 200 caractéristiques)
acp = PCA(n_components=10)
X_reduit = acp.fit_transform(X)     # (n_observations, 10)

acp.explained_variance_ratio_.sum() # part de variance conservée, ex. 0.95

La variance expliquée est le tableau de bord de l'ACP : elle dit quelle proportion d'information on garde. Passer de 200 à 10 dimensions en conservant 95 % de la variance est un compromis courant et très rentable.

À quoi sert concrètement la réduction de dimension​

  • Visualisation : projeter des données de grande dimension en 2D ou 3D pour les regarder à l'œil.
  • Accélération : moins de caractéristiques = entraînement plus rapide et modèles plus légers.
  • Débruitage : les directions de faible variance contiennent souvent surtout du bruit ; les supprimer peut améliorer la généralisation.
  • Lutte contre la malédiction de la dimension : en très grande dimension, les distances perdent leur sens (module 3) ; réduire y remédie.
Ce que l'ACP ne fait pas

L'ACP maximise la variance, pas la séparation des classes : elle ignore les étiquettes. Une direction de faible variance peut pourtant être décisive pour distinguer deux classes ; l'ACP risque alors de la jeter. De plus, les axes principaux sont des combinaisons de caractéristiques d'origine, souvent difficiles à interpréter. Enfin, l'ACP exige des données mises à l'échelle au préalable, sans quoi les caractéristiques de grande amplitude monopolisent les premiers axes — même piège qu'au module 3.

En résumé​

  • Un vecteur propre est une direction qu'une transformation se contente d'étirer ; sa valeur propre mesure l'étirement.
  • Les vecteurs propres de la matrice de covariance pointent vers les directions de plus grande variance des données.
  • L'ACP garde les k axes de plus grande variance et jette le reste, compressant des centaines de caractéristiques en quelques dimensions.
  • La variance expliquée quantifie l'information conservée ; l'ACP sert à visualiser, accélérer, débruiter — mais ignore les étiquettes et exige une mise à l'échelle préalable.

Module suivant : dérivées et gradient — passer de l'algèbre linéaire au calcul différentiel, le langage de l'apprentissage lui-même.