Module 1 — Pourquoi les variables comptent plus que l'algorithme

Les deux cours précédents ont présenté une quinzaine d'algorithmes. Voici la vérité inconfortable que la pratique impose : sur données tabulaires, passer d'une régression logistique à un gradient boosting réglé aux petits oignons gagne quelques points. Ajouter la bonne variable en gagne parfois vingt. Ce cours porte sur l'étape qui décide vraiment, et à laquelle les praticiens consacrent la majeure partie de leur temps.

La variable comme représentation, non comme donnée brute

Une variable n'est pas une colonne du fichier source : c'est une manière de présenter l'information au modèle. La même réalité peut être décrite de plusieurs façons, et toutes ne sont pas équivalentes.

Prenons une date de naissance. Telle quelle, c'est une chaîne de caractères qu'aucun modèle n'exploite. Convertie en âge, elle devient un nombre ordonné et utile. Découpée en tranches d'âge, elle capture des effets de seuil non linéaires. Croisée avec le lieu de résidence, elle peut révéler un profil démographique. Une seule colonne d'origine, quatre variables de qualité croissante — et le modèle, lui, n'a rien changé.

C'est le cœur du métier : le modèle apprend des régularités dans l'espace que vous lui donnez. Si l'information utile n'y est pas exprimée, aucune quantité d'arbres ne l'inventera.

Pourquoi un algorithme ne rattrape pas une mauvaise représentation

Reprenons un exemple élémentaire. Vous voulez prédire si un point du plan est à l'intérieur d'un cercle centré à l'origine. Avec les coordonnées $x$ et $y$ comme seules variables, un modèle linéaire échoue : la frontière est un cercle, et aucune droite ne l'approche. Ajoutez la variable $r = \sqrt{x^2 + y^2}$ et le problème devient trivial — une seule comparaison à un seuil suffit.

Rien n'a changé dans l'information disponible : $r$ se déduit entièrement de $x$ et $y$. Ce qui a changé, c'est que l'information est désormais exprimée dans la forme que le modèle sait exploiter. C'est exactement ce que fait l'astuce du noyau des SVM, ou ce que les couches profondes apprennent d'elles-mêmes ; l'ingénierie des variables le fait explicitement, et de façon interprétable.

Ce que fait une bonne variable

Trois critères permettent de juger une variable candidate, et de trier les idées avant de coder :

• elle apporte une information nouvelle, non déjà contenue dans les autres. Une variable fortement corrélée à une existante coûte de la complexité sans rien ajouter ;
• elle est disponible au moment de la prédiction. C'est la règle de formulation du cours supervisé, et la principale source de désillusion en production ;
• elle a un sens métier explicable. Une variable qu'on ne peut pas justifier est une variable qu'on ne pourra pas défendre, ni corriger quand elle dérivera.

La connaissance du domaine, matière première

D'où viennent les bonnes variables ? Presque toujours de la compréhension du phénomène, pas de l'inspiration statistique. Pour détecter une fraude bancaire, le montant brut d'une transaction dit peu de choses ; l'écart entre ce montant et l'habitude du client dit beaucoup. Cette variable ne s'invente pas en regardant un tableau : elle vient de savoir comment fonctionne une fraude.

D'où une conséquence pratique sur la façon de travailler : les meilleures variables naissent d'une conversation avec ceux qui connaissent le métier, pas d'une boucle automatique sur les combinaisons possibles. Les méthodes automatiques ont leur place, mais elles explorent l'espace que vous avez défini ; elles ne le redéfinissent pas.

La place de cette étape dans le projet

Situons proprement le travail. La préparation — corriger les valeurs manquantes, aberrantes, les doublons — rend les données utilisables ; c'est un prérequis, pas de la création de valeur. L'ingénierie des variables transforme et combine pour exprimer l'information utile. La sélection (module 9) élague ensuite ce qui n'apporte rien.

Ce cours suit cet ordre : traiter (modules 2 et 3), encoder et construire (modules 4 à 7), assainir (module 8), sélectionner (module 9), industrialiser (module 10).

La plus grande partie du temps passe ici, et c'est normal

Les enquêtes de la profession situent régulièrement entre 60 et 80 % le temps consacré à la préparation et à la construction des variables. Ce n'est pas un symptôme de mauvaise organisation : c'est là que se joue la performance. La tentation inverse — enchaîner les modèles sur des variables médiocres en espérant qu'un algorithme sauve la mise — est le contresens le plus coûteux du métier.

En résumé

• Une variable est une représentation de l'information, pas une colonne brute ; la même réalité admet des expressions de qualité très inégale.
• Un algorithme n'apprend que ce que l'espace des variables rend exprimable : la variable $r$ règle un problème qu'aucune droite ne résout.
• Une bonne variable apporte une information nouvelle, est disponible à la prédiction, et possède un sens métier défendable.
• La matière première est la connaissance du domaine ; les méthodes automatiques explorent l'espace que vous définissez, elles ne le créent pas.

Module suivant : les valeurs manquantes, premier obstacle concret, et les trois stratégies pour les traiter sans introduire de biais.