Le machine learning supervisé : prédire à partir d'exemples.
Avant l'IA générative, il y a une idée simple. On montre à un modèle des milliers d'exemples déjà étiquetés, et il apprend à prédire l'étiquette sur des cas qu'il n'a jamais vus. Cas d'école : la fraude bancaire — pour chaque transaction, prédire 0 (normale) ou 1 (frauduleuse).
Le nerf de la guerre, c'est étiqueter : pour chaque transaction, savoir si c'était vraiment une fraude demande une enquête. Les données « labellisées » sont rares et chères — retenez ça, c'est ce qui rend l'astuce suivante géniale.
Le texte s'étiquette tout seul : « chat » ou « chien » ?
Prenons toutes les phrases de Harry Potter contenant « chat » ou « chien ». On donne au modèle le début de phrase, en cachant le mot, et la bonne réponse. Il apprend à prédire lequel des deux vient. Pas besoin d'enquête : la réponse est déjà dans le texte. L'étiquette est gratuite.
Le modèle n'a jamais lu Les Misérables. Il applique ce qu'il a appris ailleurs — c'est déjà de la généralisation.
Le texte est auto-étiqueté : chaque mot est la « bonne réponse » du contexte qui le précède. On vient de supprimer le coût des étiquettes — on peut donc s'entraîner sur des quantités folles.
Un LLM = la même astuce, mais pour tous les mots.
Au lieu de choisir entre chat et chien, on fait prédire n'importe quel mot suivant. On glisse une fenêtre sur le texte : on donne les mots précédents, on cache le suivant, il le devine. Puis on décale d'un cran. Encore. Des milliards de fois.
On cache le mot suivant, il le devine.
Faites défiler : la fenêtre avance, et à chaque position le modèle propose le mot d'après.
En vrai, pas des « mots » : des tokens.
Prédire le mot, le caractère… après beaucoup d'essais, on a convergé vers le token : un petit groupe de caractères. C'est l'unité que le modèle manipule vraiment.
La température : le grain d'aléatoire.
À chaque token, le modèle a toute une liste de probabilités. S'il prenait toujours le plus probable, il répéterait la même phrase, plate. La température ajoute du hasard dans le tirage : plus elle monte, plus il ose des mots rares — des sorties variées et riches en vocabulaire. Bouge le curseur :
Comment on fabrique concrètement un LLM.
L'idée est simple. L'échelle, elle, est brutale. Faites défiler la scène — c'est (en accéléré) ce qui se passe pendant des semaines dans un data-center.
On avale tout le texte du monde, on calcule très longtemps.
Un LLM, c'est un modèle de deep learning qu'on a « juste » entraîné à prédire le token suivant sur (presque) tout le texte humain. Rien de plus au départ — et pourtant tout part de là.
Du LLM au chatbot : on lui apprend à répondre.
Un LLM brut complète du texte, il ne discute pas. On ajoute une phase où on lui montre des milliers de bonnes conversations et on lui fait préférer les réponses utiles (retour humain). C'est ce dressage qui donne ChatGPT ou Claude.
Un chatbot = un LLM dressé pour être utile, honnête et suivre votre demande. C'est aussi ce dressage qui crée le votre serviable… et parfois le « oui à tout ».
Le lui faire « réfléchir » avant de répondre.
Puisqu'il génère du texte token par token, on peut lui apprendre à d'abord écrire un brouillon de raisonnement, puis la réponse. Ce brouillon vit souvent dans une balise <think> qu'on ne vous montre pas — mais qui améliore nettement les réponses aux problèmes durs.
« Réfléchir » ici = s'accorder de la place pour poser les étapes avant de conclure. C'est réel et utile — ce n'est pas de la pensée humaine. On garde les guillemets mentaux.
Le piloter avec de la structure.
Comme il continue le texte le plus plausible, la forme de votre demande oriente sa sortie. Des balises, des délimiteurs, un format imposé : autant de rails qui rendent la réponse fiable.
La fiche « les 6 réflexes d'un bon prompt » : un rôle, un objectif, du contexte, des exemples, le format, et « laisse-le réfléchir ».
L'agent : il écrit du texte… qui déclenche des actions.
Le déclic final : l'agent produit un texte structuré (<plan>, <invoke>). Un programme lit ce texte, en extrait les appels, exécute les outils, récupère le résultat et le lui redonne. Il analyse, et continue.
Raisonner → écrire un appel → l'exécuter → observer → recommencer.
Tout tient sur une seule image.
On a empilé les briques, une par une. Voilà le chemin complet — de la prédiction d'un token jusqu'à l'agent qui agit dans le monde réel.