Leçon 2 — Les familles d'algorithmes
Il existe des centaines d'algorithmes. Six familles couvrent la quasi-totalité de ce qui est utilisé en entreprise, et connaître leur logique vous permet de choisir sans essayer au hasard.
1. Les modèles linéaires
L'idée. On suppose que la réponse s'obtient en pondérant les variables d'entrée et en additionnant le tout. La régression linéaire prédit une quantité ; la régression logistique transforme ce résultat en probabilité et prédit une catégorie.
La force. L'explicabilité, totale et gratuite. Le modèle vous donne un coefficient par variable : « chaque mois d'ancienneté supplémentaire diminue la probabilité de résiliation de tant ». Aucune autre famille n'offre cela aussi clairement. Ils s'entraînent instantanément et se comportent bien avec peu de données.
La faiblesse. L'hypothèse d'additivité est souvent fausse. Si l'effet d'une variable dépend de la valeur d'une autre — un tarif élevé n'a pas le même effet sur un client fidèle que sur un nouveau — un modèle linéaire ne le capte pas, à moins que vous ne construisiez explicitement la variable d'interaction.
Quand. Comme modèle de référence, systématiquement. Et comme modèle final quand l'explicabilité est une exigence réglementaire, ce qui est le cas en crédit, en assurance et en recrutement.
2. Les arbres de décision
L'idée. Une suite de questions binaires. « L'ancienneté est-elle inférieure à six mois ? Si oui, le client a-t-il déposé une réclamation ? Si oui, prédire une résiliation. » L'algorithme choisit à chaque étape la question qui sépare le mieux les exemples.
La force. Un arbre se lit. On peut l'imprimer et le montrer à un responsable métier qui n'a aucune formation technique, et il comprendra. Les arbres captent naturellement les interactions et les effets de seuil, ne demandent aucune mise à l'échelle des variables, et acceptent sans broncher les variables catégorielles.
La faiblesse. Un arbre seul est instable : changez quelques exemples d'entraînement et sa structure peut être entièrement différente. Il a aussi une tendance marquée au surapprentissage si on ne limite pas sa profondeur.
Quand. Rarement seul, sauf si le besoin d'explication domine tout. Son intérêt réel est d'être la brique des deux familles suivantes.
3. Les forêts aléatoires
L'idée. Entraîner des centaines d'arbres, chacun sur un échantillon différent des données et un sous-ensemble différent des variables, puis faire voter. Les erreurs individuelles, étant décorrélées, s'annulent en grande partie.
La force. Très robuste, très peu sensible aux réglages, difficile à faire échouer. C'est le modèle qui donne un bon résultat sans effort. Il fournit aussi une mesure d'importance des variables, utile pour comprendre ce qui compte.
La faiblesse. On perd la lisibilité de l'arbre unique : cinq cents arbres qui votent ne se lisent pas. Le modèle est aussi plus lourd en mémoire et en temps de prédiction.
Quand. Comme deuxième essai, juste après le modèle linéaire. Souvent suffisant.
4. Le gradient boosting
L'idée. Construire les arbres l'un après l'autre, chacun corrigeant les erreurs de l'ensemble précédent. Là où la forêt aléatoire fait voter des arbres indépendants, le boosting les fait collaborer en séquence, chaque nouvel arbre se concentrant sur ce que les autres ont raté.
La force. C'est, sur données tabulaires, la famille qui gagne. Régulièrement plus précise qu'une forêt aléatoire et plus précise qu'un réseau de neurones. Les trois implémentations de référence — XGBoost, LightGBM et CatBoost — sont rapides, éprouvées et compatibles avec l'interface scikit-learn.
La faiblesse. Plus sensible aux réglages qu'une forêt aléatoire : mal paramétré, il surapprend franchement. Il demande donc un peu plus de soin, en particulier sur le nombre d'arbres et le taux d'apprentissage.
Quand. Dès que la performance compte et que vos données sont tabulaires. C'est le choix par défaut des compétitions comme des projets d'entreprise sérieux.
5. Les k plus proches voisins
L'idée. Aucun entraînement. Pour prédire, on cherche les k exemples les plus semblables dans les données connues et on regarde leur réponse.
La force. D'une simplicité conceptuelle totale, sans hypothèse sur la forme de la relation. Extrêmement utile en recommandation et en recherche par similarité, où la question est justement « qu'est-ce qui ressemble à ça ».
La faiblesse. Il faut conserver l'intégralité des données et calculer des distances à chaque prédiction, ce qui coûte cher à grande échelle. Surtout, il souffre de la malédiction de la dimension : au-delà de quelques dizaines de variables, tous les points deviennent à peu près équidistants et la notion de « proche » perd son sens.
Quand. Pour la recherche de similarité, massivement — c'est le cœur de la recherche vectorielle qui fait fonctionner le RAG. Comme modèle de prédiction, rarement.
6. Les machines à vecteurs de support
L'idée. Chercher la frontière qui sépare les classes en laissant la plus grande marge possible de part et d'autre. Une astuce mathématique, le noyau, permet de traiter des frontières non linéaires sans coût prohibitif.
La force. Très efficace en grande dimension avec peu d'exemples, situation typique en bio-informatique ou en classification de textes avant l'ère des embeddings.
La faiblesse. Passe mal à l'échelle : au-delà de quelques dizaines de milliers d'exemples, l'entraînement devient pénible. Les résultats sont difficiles à interpréter, et les réglages sont délicats.
Quand. Cas particuliers. C'était une famille dominante dans les années 2000, aujourd'hui largement supplantée par le boosting sur les problèmes tabulaires.
Le tableau de synthèse
| Famille | Précision sur tableaux | Explicabilité | Vitesse | Sensibilité aux réglages |
|---|---|---|---|---|
| Modèles linéaires | correcte | totale | très rapide | faible |
| Arbre unique | faible | très bonne | rapide | moyenne |
| Forêt aléatoire | bonne | moyenne | moyenne | faible |
| Gradient boosting | la meilleure | moyenne | rapide | élevée |
| k plus proches voisins | variable | bonne | lente en prédiction | faible |
| Machines à vecteurs de support | bonne | faible | lente à l'entraînement | élevée |
L'ordre d'essai qui fait gagner des semaines
Prédire systématiquement la classe majoritaire, ou la moyenne, donne le score à battre. Il arrive plus souvent qu'on ne l'imagine qu'un modèle sophistiqué ne le batte pas de manière significative — et le découvrir au début coûte cinq minutes, tandis que le découvrir après trois semaines coûte trois semaines.
Passer une semaine à comparer huit algorithmes produit presque toujours moins de gain qu'une journée passée à améliorer les variables explicatives. C'est le sujet de la leçon suivante, et c'est la leçon la plus rentable de ce cours.
En trois phrases
Six familles couvrent l'essentiel : modèles linéaires pour l'explicabilité, arbres pour la lisibilité, forêts aléatoires pour la robustesse sans effort, gradient boosting pour la performance sur tableaux, plus proches voisins pour la recherche de similarité, machines à vecteurs de support pour la grande dimension avec peu d'exemples. Sur données tabulaires, la séquence efficace est modèle trivial, puis régression, puis gradient boosting, et il n'y a généralement aucune raison d'aller plus loin. Changer d'algorithme rapporte beaucoup moins qu'améliorer les variables explicatives.
Suite — Leçon 3 : les variables explicatives, là où tout se joue →