#neurone — Réseaux de neurones

Décomposons un neurone : entrées, poids, somme, activation.

Ce que tu vas manipuler

Bienvenue dans le canal #neurone. À gauche, trois entrées x1, x2, x3. Au centre, un neurone. À droite, la sortie y. Chaque tube porte un poids : bleu = positif, rouge = négatif, épaisseur = intensité.
Change le premier poids pour voir l'effet en direct. Tape /poids 1 0.8 ou clique le bouton.
Modifie une entrée. Tape /entree 2 -0.5. La sphère change de taille, et la somme aussi.
La somme pondérée plus le biais donne Σ. Sans activation, tu n'aurais qu'une régression linéaire — impossible d'apprendre XOR. Passe en ReLU avec /activation relu.
Essaie /activation sigmoid puis /activation tanh. Chaque fonction courbe la sortie différemment. Un neurone n'est rien d'autre que y = f(Σ w·x + b). Empile-en 128, tu obtiens un cerveau miniature.

Neurone artificiel: Unité de calcul qui fait la somme pondérée de ses entrées, ajoute un biais et applique une fonction d'activation. Empilés par milliers, ces neurones forment un réseau.
Poids: Coefficient w multipliant une entrée. C'est ce que l'apprentissage ajuste : un poids grand rend le neurone sensible à cette entrée, un poids négatif l'inverse.
Biais: Constante b ajoutée à la somme pondérée. Elle déplace la frontière de décision sans changer sa direction, comme l'ordonnée à l'origine d'une droite.
Somme pondérée: z = Σ wᵢ·xᵢ + b, le « pré-activation ». Géométriquement, c'est la distance signée du point à la frontière de décision.
Perceptron: Le neurone historique (Rosenblatt, 1958) : somme pondérée puis seuil. Il apprend toute frontière linéaire mais échoue sur XOR, ce qui a motivé les réseaux à couches cachées.
Frontière de décision: Ensemble des points où le neurone hésite (z = 0). Pour un neurone seul, c'est une droite en 2D, un plan en 3D, un hyperplan au-delà.
Séparabilité linéaire: Un jeu de données est linéairement séparable si une droite (ou un hyperplan) suffit à séparer les classes. XOR ne l'est pas : il faut au moins une couche cachée.
Couche cachée: Couche de neurones entre l'entrée et la sortie. Chacun trace sa propre frontière ; leur combinaison permet des frontières courbes ou en morceaux.

#neurone — Décomposons un neurone : entrées, poids, somme, activation.
#dropout — Régularisation par dropout : le meilleur ami des réseaux profonds.
#activation — Pourquoi une activation ? ReLU, sigmoid, tanh, Leaky ReLU, GELU et le gradient qui disparaît.
#descente-de-gradient — La perte est un paysage. Le gradient dit où ça monte, on fait un pas dans l'autre sens.
#rétropropagation — Le graphe de calcul rejoué à l'envers : chaque nœud reçoit ∂L/∂(lui) et la règle de la chaîne fait le reste.
#sur-apprentissage — Un gros modèle sur peu de données : la frontière de décision se tord jusqu'à mémoriser le bruit.
#cnn-filtres — Une image est une grille de nombres. Un filtre 3×3 glisse dessus, multiplie, additionne : c'est une convolution.
#is-it-einstein — Is it Einstein ? Deux visages passent au scanner d’un réseau qui n’a appris qu’Einstein : Haythem → NON, Einstein → OUI. Regarder est gratuit ; toucher est Premium.
#embeddings-3d — Un mot devient un vecteur : proches dans l'espace = proches en sens, et on peut calculer dessus.