Tout ce qu'il faut savoir sur la technologie derrière ChatGPT, Claude et Gemini — expliqué pas à pas, avec des analogies concrètes et des démos interactives.
Défiler pour commencer↓
Chapitre 1
L'unique tour de magie
Voici le secret : malgré tout le battage médiatique, chaque GPT repose sur une seule compétence. Il lit une suite de mots et prédit le mot suivant le plus probable. Puis il ajoute ce mot à la suite, et prédit le prochain. Et ainsi de suite, des milliards de fois.
Pensez à la saisie prédictive de votre téléphone — celle qui propose « bonjour » quand vous tapez « bon ». Un GPT fait la même chose, mais avec une compréhension infiniment plus profonde du langage, de la logique et du monde.
Nouveau conceptGPT = Generative Pre-trained Transformer. Trois mots anglais : « Generative » (il crée du texte), « Pre-trained » (il a appris en lisant Internet), « Transformer » (le type d'architecture de réseau neuronal — on l'expliquera au chapitre 4). Ces trois mots résument toute la technologie.
🎮 Soyez le GPT : prédisez le mot suivant
Interactif
Vous êtes maintenant un GPT. À chaque étape, choisissez le mot le plus probable (bordure rouge). Après chaque choix, un nouveau concept vous sera expliqué. Prenez votre temps — cliquez sur « Suivant → » quand vous avez lu l'explication.
Le chat dormait sur le
👆 Cliquez sur le mot le plus probable (bordure rouge). Essayez aussi les autres !
Ce que vous venez de faire — cliquer sur 7 mots successifs — est exactement ce qu'un GPT fait, des centaines de fois par réponse. Chaque clic correspond à une passe avant (forward pass) complète à travers le réseau neuronal. La différence ? Un vrai GPT évalue 100 000 mots à chaque étape et le fait en millisecondes.
Des scores bruts aux probabilités
À chaque prédiction, la dernière couche du Transformer produit un score brut (appelé « logit ») pour chacun des ~100 000 mots du vocabulaire. Un score élevé = un mot plus probable.
Mais un score de 4.82, ça ne veut rien dire en soi. La fonction softmax transforme ces scores en probabilités qui totalisent 100 % :
P(mot_i) = e^(score_i) / Σ e^(score_j) pour tous les mots j
Exemple concret avec des vrais chiffres
// Scores bruts (logits) de la dernière couche
score("tapis") = 4.06 → e^4.06 = 58.0
score("sol") = 2.30 → e^2.30 = 10.0
score("lit") = 1.10 → e^1.10 = 3.0
score("canapé") = 0.69 → e^0.69 = 2.0// ... + ~99 996 autres mots avec des scores négatifs// Somme de tous les exponentiels ≈ 100.0
P("tapis") = 58.0 / 100.0 = 58 %
P("sol") = 10.0 / 100.0 = 10 %
P("lit") = 3.0 / 100.0 = 3 %
P("canapé") = 2.0 / 100.0 = 2 %
Interactif : explorez le softmax
Pourquoi ça fonctionne
Ça semble trop simple — juste prédire le prochain mot ? Mais réfléchissez : pour prédire avec précision ce qui vient après n'importe quel texte, il faut comprendre la grammaire, les faits, la logique, les émotions et les intentions. Un modèle qui prédit parfaitement le mot suivant a, en fait, appris une représentation compressée de la connaissance humaine.
✍️ Quiz : vérifiez votre compréhension
Quiz
Un GPT génère du texte en...
ACherchant la réponse sur Internet
BPrédisant le mot suivant, un par un, en boucle
CAssemblant des phrases pré-écrites dans une base de données
· · ·
Chapitre 2
Les tokens : l'alphabet du GPT
Dans le jeu du chapitre 1, vous avez cliqué sur des mots entiers. Mais en réalité, un GPT ne « voit » pas les mots comme nous. Il voit des tokens — de petits morceaux de texte.
Nouveau conceptToken = un morceau de texte que le modèle traite comme une unité. Les mots courants comme « le » ou « est » = 1 token chacun. Les mots rares ou longs sont découpés en sous-morceaux. Pensez aux tokens comme les briques LEGO du langage : chaque brique est un morceau qui s'emboîte avec les autres pour construire une phrase.
Par exemple, le mot « anticonstitutionnellement » ne tient pas en un seul token. Il sera découpé en morceaux — le préfixe « anti » est reconnu, puis le reste est divisé en fragments. Essayez-le dans le tokeniseur ci-dessous pour voir exactement comment ! Les mots courants, eux, restent entiers car le modèle les a vus si souvent qu'ils ont leur propre token.
✂️ Essayez : voyez les tokens
Interactif
Tapez n'importe quel texte et cliquez sur « Tokeniser » pour voir comment un GPT le découpe. Essayez des mots longs, des contractions ou d'autres langues !
Idée cléPourquoi les tokens comptent ? Parce que le GPT ne peut « voir » qu'un nombre limité de tokens à la fois — sa fenêtre de contexte. Cela inclut tout : les instructions système cachées, tous les messages précédents (les vôtres ET ceux de l'IA), plus votre dernière question. GPT-4 voit ~128 000 tokens. Claude voit ~200 000 (~500 pages). Au-delà, tout est oublié, comme si ça n'avait jamais existé.
📖
Fenêtre de contexte = mémoire vive
Imaginez une table de travail avec une limite de place. Chaque token occupe un espace. Le prompt système (~4 000 tokens), l'historique de conversation, et votre question se partagent cette table. Quand la table est pleine, les messages les plus anciens tombent par terre — le modèle ne les voit plus.
💰
Vous payez par token
Les entreprises d'IA facturent par token. Les tokens d'entrée (votre question + contexte) coûtent moins cher. Les tokens de sortie (la réponse) coûtent plus cher car chacun nécessite un calcul complet. Conversations courtes = bon marché. Longs essais = plus chers.
Byte Pair Encoding (BPE)
La plupart des GPT construisent leur vocabulaire de tokens grâce à l'algorithme BPE. Il commence avec les caractères individuels et fusionne progressivement les paires les plus fréquentes :
// Départ : chaque caractère est un token
Vocabulaire : [a, b, c, ..., z, espace, ...]
// Fusion 1 : "e"+"s" apparaît le plus → fusionner en "es"// Fusion 2 : "l"+"e" → "le"// ... après ~100 000 fusions :
"le chat" → [le] [chat] // 2 tokens
"anticonstitutionnellement" → [anti][constitu][tion][nelle][ment] // 5 tokens
Composition complète de la fenêtre
┌──────────────────────────────────────────┐
│ Prompt système (~3 000–8 000 tokens) │
│ « Tu es Claude, un assistant utile... » │
├──────────────────────────────────────────┤
│ Message utilisateur 1 │
│ Réponse IA 1 │
│ Message utilisateur 2 │
│ Réponse IA 2 │
│ ...tout l'historique... │
├──────────────────────────────────────────┤
│ Votre question actuelle │
└──────────────────────────────────────────┘
Total ≤ 200 000 tokens (Claude)
C'est pourquoi les longues conversations « oublient » les premiers messages — ils sortent littéralement de la fenêtre.
Interactif : estimateur de fenêtre de contexte
✍️ Quiz
Quiz
La fenêtre de contexte d'un GPT inclut...
AUniquement votre dernière question
BLe prompt système + tout l'historique + votre question
CL'intégralité d'Internet
· · ·
Chapitre 3
L'embedding : les coordonnées du sens
Vous savez maintenant que le texte est découpé en tokens (chapitre 2). Mais le réseau neuronal ne peut pas travailler avec des mots — il ne comprend que des nombres. Comment passer d'un mot à des nombres ?
C'est là qu'intervient l'embedding. Imaginez un système GPS, mais au lieu de 2 coordonnées (latitude, longitude), chaque mot est localisé dans un espace à 12 288 dimensions. Chaque dimension capture un aspect du sens du mot.
Nouveau conceptEmbedding = un vecteur de ~12 288 nombres qui représente le « sens » d'un token dans un espace mathématique. Comme des coordonnées GPS, mais dans un espace de sens. Les mots au sens proche ont des coordonnées proches : « roi » et « reine » sont voisins ; « roi » et « pizza » sont très éloignés.
Que représente chaque dimension ? Contrairement au GPS où latitude = nord/sud, les dimensions de l'embedding ne sont pas conçues par des humains. Le modèle les découvre lui-même pendant l'entraînement. Mais on peut observer que certaines dimensions capturent des patterns comme :
👑
Dimension « royauté »
« roi » et « reine » ont des valeurs élevées. « chaise » a une valeur basse.
🍽️
Dimension « nourriture »
« pizza » et « gâteau » sont élevés. « démocratie » est proche de zéro.
😊
Dimension « sentiment »
« bonheur » est positif. « catastrophe » est négatif. « table » est neutre.
En combinant 12 288 de ces dimensions, le modèle peut distinguer des nuances très fines. Et voici la propriété la plus remarquable : dans cet espace, les analogies fonctionnent par l'arithmétique. Le vecteur « roi » − « homme » + « femme » ≈ « reine ». Le modèle a appris la structure du monde à travers ces coordonnées.
ExemplePrenons le mot « banque ». Son embedding est un point dans l'espace à 12 288 dimensions. Mais « banque » a deux sens : institution financière ou bord de rivière. Le même embedding initial contient les deux sens. C'est l'attention (chapitre 5) qui va ensuite déterminer lequel est pertinent, en regardant les mots autour.
🌌 Explorer l'espace des embeddings en direct
Outil interactif
L'espace à 12 288 dimensions d'un GPT est impossible à visualiser directement. Lexiscope vous propose une version réduite mais réelle : plus d'un million de concepts projetés en 3D selon leur proximité sémantique calculée par une IA. Les mots proches dans cet espace sont proches de sens — exactement comme les embeddings.
Comment l'utiliser pour comprendre les embeddings1. Tapez un mot dans la barre de recherche et appuyez sur Entrée → vous « volez » vers ce concept dans l'espace. 2. Observez les voisins autour de lui : ce sont les mots à l'embedding le plus proche (même cluster sémantique). 3. Essayez deux mots opposés (ex : « chaud » et « froid ») → l'outil calcule le barycentre entre eux, révélant les concepts intermédiaires — comme l'arithmétique vectorielle roi − homme + femme ≈ reine. 4. Utilisez la Dérive Aléatoire pour explorer des zones inattendues de l'espace sémantique.
À garder en tête
Lexiscope projette des vecteurs à haute dimension sur 3 axes — une réduction qui déforme légèrement les distances. Dans un vrai GPT, « roi » et « reine » ne sont pas simplement « proches » : ils partagent exactement les mêmes valeurs sur des centaines de dimensions (genre, pouvoir, titre…) et divergent sur d'autres (masculin vs féminin). La 3D est une carte, pas le territoire.
La table d'embedding
Chaque token a un identifiant numérique (ID). L'embedding est simplement une recherche dans une table géante :
// La table d'embedding a la forme : vocabulaire × dimensions// ≈ 100 000 × 12 288 = 1,2 milliard de nombres
token_id = 1841// « chat »
embedding = table[1841] = [0.023, -0.118, 0.445, ... 12 288 valeurs]
Ces valeurs sont apprises pendant l'entraînement — elles commencent aléatoires et s'ajustent pour que les mots similaires finissent proches dans l'espace.
Encodage positionnel (RoPE)
Le Transformer traite tous les tokens en parallèle, pas en séquence. Sans indication d'ordre, il ne saurait pas que « chat » est le 2e mot et pas le 5e. Les encodages positionnels sont ajoutés à chaque embedding pour indiquer la position. La méthode RoPE (Rotary Position Embedding) encode la position par une rotation dans l'espace vectoriel, permettant des contextes de 200 000+ tokens.
Interactif : similarité cosinus
Deux mots sont « proches » si l'angle entre leurs vecteurs est petit. C'est mesuré par la similarité cosinus :
roi ↔ reine : 0.85 · chat ↔ chaton : 0.91 · chat ↔ démocratie : 0.04 · bien ↔ mal : -0.38
✍️ Quiz
Quiz
Un embedding est...
ALe texte traduit en binaire (0 et 1)
BUn vecteur de milliers de nombres représentant le sens d'un token dans un espace mathématique
CUne image du mot stockée en mémoire
· · ·
Chapitre 4
Le Transformer : la chaîne de montage
Vous avez maintenant des tokens convertis en embeddings (coordonnées de sens). Mais ces coordonnées sont encore « brutes » — le mot « banque » a un embedding identique qu'il soit dans « je vais à la banque » (financier) ou « la banque de la rivière » (nature). Comment le modèle comprend-il le contexte ?
C'est le travail du Transformer — un empilement de couches identiques, chacune ajoutant un niveau de compréhension. Imaginez une chaîne de montage dans une usine :
AnalogieL'usine du sens : Votre texte entre dans l'usine sur un tapis roulant. Il passe par 100+ postes de travail identiques — chaque poste est la même machine, câblée de la même manière. Mais quelque chose de remarquable se produit : pendant l'entraînement, chaque poste a naturellement appris à se concentrer sur un niveau différent de compréhension.
Des chercheurs qui ont « ouvert » des modèles entraînés ont observé :
• Postes 1–10 : se concentrent sur la grammaire basique — sujet, verbe, complément.
• Postes 11–30 : capturent les expressions et les tournures de phrases.
• Postes 31–60 : saisissent les relations entre concepts, les faits, le sens.
• Postes 61–100+ : comprennent l'intention, le ton, et préparent la réponse.
Personne n'a conçu cette spécialisation. Les couches sont architecturalement identiques. C'est l'entraînement qui a fait émerger cette hiérarchie — comme des employés identiques qui, avec l'expérience, finissent par se spécialiser naturellement.
Nouveau conceptCouche (layer) = un poste de la chaîne de montage. Chaque couche reçoit N vecteurs de 12 288 nombres (un par token du contexte) et renvoie exactement N vecteurs de 12 288 nombres — même nombre, même forme. Rien n'est ajouté, rien n'est supprimé. Seules les valeurs à l'intérieur de chaque vecteur changent, via deux opérations successives : (1) l'attention — chaque token regarde tous les autres pour absorber le contexte (détaillée au chapitre 5), puis (2) le réseau feed-forward (FFN) — chaque token est transformé individuellement pour y appliquer les connaissances stockées dans les paramètres. Le Transformer répète ces deux opérations 100+ fois. Couche après couche, les mêmes N vecteurs sont progressivement enrichis.
🏗️ Le Transformer étape par étape
Cliquer pour explorer
Cliquez sur chaque bloc pour voir son explication détaillée. Suivez le flux de haut en bas :
📝 Votre texte → Tokens → IDs numériques
Votre phrase est découpée en tokens (ch. 2). Chaque token reçoit un identifiant numérique — par exemple « chat » = 1841. C'est la seule étape qui travaille avec du texte brut ; après, tout est nombres.
🧭 Embedding — chaque ID → vecteur de 12 288 nombres
Chaque ID numérique est converti en un vecteur dense (ch. 3) — une « adresse GPS » dans l'espace du sens. Des encodages positionnels (RoPE) sont ajoutés pour que le modèle sache l'ordre des mots.
👁️ Self-Attention — chaque mot regarde TOUS les autres
C'est le cœur du Transformer. À cette étape, chaque token du contexte envoie un « regard » vers tous les autres tokens et calcule un score de pertinence (ch. 5). Le token « banque » regarde « prêt » → score élevé, regarde « le » → score faible. Chaque token reçoit un embedding mis à jour, enrichi par l'information de tous les autres. C'est un travail collectif : après cette étape, chaque mot est devenu « conscient » de tous les autres mots du contexte.
🧮 Réseau Feed-Forward — traite chaque token individuellement
Après l'attention (travail de groupe), chaque token passe individuellement dans un mini réseau neuronal — mais tous les tokens y passent, pas un seul. C'est ici que le modèle applique ses connaissances factuelles stockées dans les milliards de paramètres. L'attention a dit « regarde ce contexte » ; le FFN dit « voilà ce que je sais sur ce contexte ». En sortie : tous les tokens ont un embedding encore plus riche.
🔁 Répéter Attention + FFN × 100+ couches
Les deux étapes ci-dessus (attention + FFN) se répètent 100+ fois, et tous les tokens traversent chaque couche ensemble. Toutes les couches sont architecturalement identiques — la même structure, les mêmes opérations. Mais pendant l'entraînement, chaque couche a appris des poids différents, ce qui fait que les premières couches finissent par capturer la grammaire, les moyennes le sens, les profondes le raisonnement. Cette spécialisation est émergente, pas conçue.
📊 [Après toutes les couches] Extraire le dernier token → vocabulaire → mot
Ceci n'est PAS une couche — c'est une opération séparée qui intervient après que tous les tokens ont traversé les 100+ couches identiques. À ce stade, on prend le vecteur du dernier token du contexte. Pourquoi le dernier ? Parce que dans un modèle autorégressif (qui ne regarde que vers la gauche), le dernier token est le seul qui a pu « voir » tous les précédents via l'attention. Ce vecteur est multiplié par la matrice de vocabulaire (100 000 × 12 288) → un score par mot → softmax → probabilités → le mot est choisi. Cette opération s'appelle la tête de modélisation du langage (language modeling head).
Idée cléTous les tokens traversent toutes les couches ensemble. Mais la prédiction ne concerne que le prochain mot : c'est le vecteur du dernier token, après 100+ couches d'enrichissement, qui sert à choisir le mot suivant. Ensuite, ce nouveau mot est ajouté au contexte, et tout le processus recommence — tous les tokens (y compris le nouveau) retraversent les couches pour prédire le mot d'après. C'est la génération autorégressive : un mot à la fois, chacun nécessitant un passage complet de tous les tokens à travers le Transformer.
Volume de calcul par mot
// Pour un modèle ~200 milliards de paramètres, 100 couches
Par couche : ~2 × 200 Md × 1 000 tokens = 400 mille milliards d'opérations
100 couches : 40 billiards d'opérations par mot
GPU H100 : ~1 000 mille milliards ops/sec → chaque mot ≈ 40 ms
Interactif : estimateur de calcul
KV-Cache : l'astuce de vitesse
Sans optimisation, générer le mot N re-traiterait les N−1 mots précédents. Le KV-cache mémorise les résultats d'attention intermédiaires pour que seul le nouveau mot nécessite un calcul complet. Résultat : la génération est linéaire au lieu de quadratique en longueur.
Connexions résiduelles
Chaque couche ajoute son résultat à son entrée (une « liaison de secours »). Cela permet à l'information de court-circuiter les couches, évitant le « problème du gradient évanouissant » qui rendrait les réseaux très profonds impossibles à entraîner.
✍️ Quiz
Quiz
Pourquoi le Transformer a-t-il 100+ couches empilées ?
APour traiter plus de langues différentes
BChaque couche ajoute un niveau de compréhension plus profond, de la grammaire au raisonnement
CPour mémoriser plus de texte d'entraînement
· · ·
Chapitre 5
L'attention : 96 détectives en parallèle
Au chapitre 4, vous avez vu que chaque couche du Transformer commence par l'attention. C'est le mécanisme le plus important de tout le système. Mais concrètement, comment fonctionne-t-il ?
Imaginez une scène de crime. Le détective (le mot en cours d'analyse) examine chaque indice (chaque autre mot) dans la pièce et décide lesquels sont pertinents pour résoudre l'affaire. Le mot « banque » regarde autour de lui : s'il voit « prêt » et « taux », il conclut « institution financière ». S'il voit « rivière » et « poisson », il conclut « berge ».
Nouveau conceptSelf-Attention — Comment un token absorbe-t-il l'information des autres ? Reprenons l'analogie du détective :
1. Chaque token formule une demande. Le token « banque » crée en interne un résumé de ce dont il a besoin : « je cherche du contexte qui m'aide à déterminer mon sens ». C'est sa requête.
2. Chaque token expose une étiquette. Le token « prêt » crée en interne un résumé de ce qu'il contient : « je suis un concept financier lié au crédit ». C'est son étiquette. La requête de « banque » est comparée à l'étiquette de chaque autre token. Forte correspondance avec « prêt » → poids élevé (0.35). Faible correspondance avec « le » → poids faible (0.02).
3. Chaque token prépare sa contribution. Le token « prêt » prépare aussi un paquet d'information à partager : « voici les détails financiers que je peux fournir ». C'est sa contribution. Le résultat pour « banque » est un mélange pondéré de toutes les contributions : 35 % de celle de « prêt » + 25 % de celle de « approuvé » + 2 % de celle de « le » + ...
4. Le résultat est ajouté au vecteur original. Ce mélange pondéré est ajouté directement au vecteur de « banque ». Concrètement, certaines des 12 288 valeurs augmentent (celles liées à la finance), d'autres restent inchangées (celles liées à la nature). C'est ainsi que le vecteur est modifié par l'attention.
Les termes techniques pour ces trois éléments — Query (Q), Key (K) et Value (V) — et la manière exacte dont ils sont calculés sont expliqués dans la plongée technique ci-dessous.
Mais un seul détective ne suffit pas. Le Transformer déploie 96 à 128 détectives en parallèle (les « têtes d'attention »), chacun spécialisé dans un type d'indice :
📝
Tête « grammaire »
Vérifie l'accord sujet-verbe, la structure de la phrase.
🔗
Tête « pronoms »
Résout « il » → « le chat », même à 500 mots de distance.
🌍
Tête « faits »
Lie « Paris » à « France » et « capitale ».
Idée clé — comment les têtes se combinentChaque tête d'attention a ses propres critères de requête, d'étiquette et de contribution — elle cherche donc des patterns différents et extrait des informations différentes. Chaque tête produit un vecteur d'enrichissement par token (le mélange pondéré des contributions). Pour un token donné, les 96 enrichissements sont concaténés (mis bout à bout : 96 × 128 = 12 288 dimensions), puis une matrice de projection les fusionne en un seul vecteur. Ce résultat est ajouté au vecteur original du token. C'est comme si 96 experts examinaient chaque mot sous un angle différent (grammaire, pronoms, faits, sentiment...), puis fusionnaient leurs conclusions.
Et voici le lien crucial avec le choix du mot : à chaque couche, l'attention enrichit tous les tokens en même temps — pas seulement le dernier. Mais au moment de prédire le prochain mot, c'est l'embedding du dernier token qui est utilisé. Pourquoi ? Parce qu'après 100+ couches d'attention, ce vecteur a accumulé l'information de tout le contexte : le dernier token « sait » ce que disent tous les mots précédents, grâce à l'attention. Ce vecteur est multiplié par la matrice de vocabulaire (100 000 mots × 12 288 dimensions), produisant un score par mot. Le softmax transforme ces scores en probabilités → et le mot le plus probable est choisi.
L'attention détermine donc directement quel mot est choisi : elle façonne les représentations de tous les tokens à chaque couche, et c'est la représentation enrichie du dernier token qui génère les scores du vocabulaire.
👁️ L'attention en action : 3 exemples de patterns
Interactif
⚠️ Chaque phrase illustre un type de pattern qu'une tête d'attention peut détecter. Ce ne sont que 3 exemples parmi des dizaines — les vrais modèles ont 96+ têtes détectant des patterns de grammaire, négation, numération, sentiment, et bien d'autres.
Choisissez un pattern, puis cliquez sur n'importe quel mot pour voir les poids d'attention :
🧠 L'attention visualisée : comment un concept « attire » les mots
Outil interactif
Cette visualisation montre concrètement ce que fait l'attention : quand le modèle traite un concept (ici "Intelligence"), il calcule un poids pour chaque mot associé. Les mots les plus grands ont le score d'attention le plus élevé — "ability", "learn", "knowledge" dominent, tandis que "the", "and", "is" restent petits malgré leur fréquence.
Ce que vous voyez = ce que fait l'attentionPanneau gauche — le réseau 3D : chaque nœud coloré est un token dans l'espace vectoriel. Les connexions représentent les poids d'attention entre eux. Les clusters de couleur (rouge, vert, bleu…) correspondent aux différentes têtes d'attention, chacune spécialisée dans un type de relation.
Panneau droit — le nuage de mots : taille du mot = force du poids d'attention quand le modèle traite "Intelligence". C'est exactement ce qu'on appelle la distribution softmax : les scores normalisés entre 0 et 1. "ability" et "learn" ont un score proche de 1 ; "the" a un score proche de 0.
Nuance importante
Cette visualisation est construite à partir de co-occurrences statistiques dans des textes humains — pas directement des poids Q/K/V d'un GPT. Mais le principe est identique : les mots qui apparaissent souvent dans le même contexte qu'un concept ont un poids fort. C'est précisément ce que le modèle a appris à encoder dans ses matrices W_Q, W_K, W_V pendant l'entraînement.
Que sont Q, K, V exactement ?
Les « requêtes », « étiquettes » et « contributions » du texte principal correspondent aux termes techniques Query (Q), Key (K) et Value (V). Ce sont des vecteurs de nombres — des listes de 128 nombres réels (pour une tête d'attention).
Comment sont-ils générés ?
Chaque token entre dans une couche d'attention avec son embedding — un vecteur de 12 288 nombres. Pour générer Q, K et V, cet embedding est multiplié par trois matrices de poids apprises pendant l'entraînement :
Les valeurs dans Q, K, V sont des nombres réels, typiquement entre -3 et +3 (centrés autour de 0 après normalisation). Ce sont des coordonnées dans un sous-espace de 128 dimensions — un « point de vue » sur le sens du token.
Le point crucial : les matrices W_Q, W_K, W_V sont apprises pendant l'entraînement. Le modèle a ajusté ces millions de poids pour que Q capture « ce que je cherche », K capture « ce que je contiens », et V capture « ce que je peux fournir ». Personne ne les a programmées manuellement.
Comment la pertinence est-elle calculée ?
La correspondance entre la requête d'un token et l'étiquette d'un autre se mesure par le produit scalaire — la somme des multiplications élément par élément :
Maintenant, ces poids sont utilisés pour créer un mélange des vecteurs V de tous les tokens :
// Chaque V est un vecteur de 128 nombres :
V_prêt = [-0.78, 0.33, 1.12, ...]
V_approuvé = [0.45, -0.22, 0.89, ...]
V_maison = [0.12, 0.67, -0.34, ...]
V_le = [0.01, 0.03, -0.02, ...]
// Mélange pondéré pour « banque » :
enrichissement = 0.35 × V_prêt + 0.18 × V_approuvé + 0.25 × V_maison + 0.03 × V_le + ...
= [-0.14, 0.28, 0.62, ...] ← 128 nombres = le « rapport » de cette tête// Ce vecteur est ajouté au vecteur original de « banque » :
banque_enrichi = banque_original + enrichissement
C'est ce mécanisme — produit scalaire pour mesurer la pertinence, softmax pour normaliser, somme pondérée de V pour extraire l'information — qui constitue une tête d'attention.
Multi-tête : 96 versions en parallèle
Chaque tête a ses propres matrices W_Q, W_K et W_V. La tête #1 a appris à chercher des patterns de grammaire. La tête #47 cherche la coréférence. La tête #83 cherche les relations factuelles. Chacune produit un enrichissement de 128 dimensions pour chaque token.
De l'attention au mot choisi — le pipeline complet
Voici le chemin complet, de l'entrée à la prédiction. Notez que l'extraction du dernier token intervient après toutes les couches — ce n'est pas une couche en soi :
// 1. Embedding initial (ch. 3)
E = [e₁, e₂, ..., eₙ] ← TOUS les tokens du contexte// 2. Traverser 100+ couches IDENTIQUES// (chaque couche a appris des poids différents, mais la structure est la même)pour chaque couche L :
E = Attention(E) + E ← chaque token regarde tous les autres
E = FFN(E) + E ← connaissances appliquées individuellement// 3. APRÈS toutes les couches : extraire le dernier token
v_final = E[dernier]
// 4. Tête de modélisation du langage (pas une couche)
logits = v_final × W_vocab ← 100 000 scores
probs = softmax(logits)
mot_suivant = échantillonner(probs)
✍️ Quiz
Quiz
Comment l'attention influence-t-elle le mot final choisi ?
AElle élimine directement les mauvais mots du vocabulaire
BElle enrichit les vecteurs de tous les tokens à chaque couche ; c'est le vecteur enrichi du dernier token qui produit les scores de vocabulaire
CElle n'a pas d'influence — seul le FFN détermine le mot
· · ·
Chapitre 6
L'entraînement : de la lecture à la conversation
Vous savez maintenant comment un GPT prédit le prochain mot (chapitres 1–5). Mais d'où vient son savoir ? Avant de vous parler, le modèle a traversé quatre étapes de formation, comme un médecin passant de la fac de médecine à l'exercice en cabinet.
AnalogieLes 4 étapes, comme devenir médecin : 1. Fac de médecine (pré-entraînement) → lire tous les manuels, absorber les connaissances
2. Internat (fine-tuning) → apprendre à répondre aux patients, pas juste réciter
3. Mentorat (RLHF) → un médecin senior compare vos réponses et dit laquelle est meilleure
4. Comité d'éthique (alignement de sécurité) → apprendre les limites et le devoir de prudence
🏗️ Les 4 étapes en détail
Chronologie
1. Pré-entraînement — Lire tout Internet
Le modèle lit des milliers de milliards de mots — livres, Wikipedia, sites web, code, articles de presse — dans de nombreuses langues. À chaque phrase, il essaie de prédire le mot suivant, vérifie s'il a raison, et ajuste ses paramètres. Cela prend 3–6 mois sur des milliers de GPU et coûte 50–100+ millions de dollars.
Avant : le modèle est aléatoire, ses prédictions sont des devinettes. Après : il connaît la grammaire, les faits, la logique — mais il ne sait pas être un assistant. Si vous lui posez une question, il pourrait continuer avec une autre question au lieu de répondre.
2. Fine-tuning — Apprendre à être un assistant
Le modèle brut ne fait que compléter du texte. Le fine-tuning le ré-entraîne sur des milliers d'exemples soigneusement écrits de conversations Q&R de qualité : « Quand l'utilisateur demande X, voici une excellente réponse Y ».
Avant :« Quelle est la capitale de la France ? » → « Quelle est la capitale de l'Espagne ? Et celle du Japon ? » (il continue le pattern) Après :« Quelle est la capitale de la France ? » → « La capitale de la France est Paris. »
3. RLHF — Apprendre des préférences humaines
RLHF = Reinforcement Learning from Human Feedback. Des évaluateurs humains reçoivent des paires de réponses et jugent : « Laquelle est meilleure ? ». Le modèle apprend de milliers de ces jugements. C'est ce qui fait la différence entre une réponse techniquement correcte et une réponse naturelle, claire et agréable.
Avant :« Explique la photosynthèse » → un paragraphe dense et technique Après :« Explique la photosynthèse » → une explication progressive, avec des analogies, adaptée au niveau de l'interlocuteur
4. Alignement de sécurité — Apprendre les limites
Le modèle est testé et entraîné à refuser les demandes dangereuses (fabriquer des armes, manipuler), reconnaître son incertitude (« je ne suis pas sûr »), et éviter les biais. Anthropic utilise l'IA Constitutionnelle où le modèle critique ses propres réponses contre un ensemble de principes écrits. OpenAI utilise des techniques similaires.
Avant : le modèle répond à tout, même dangereux Après :« Comment fabriquer un explosif ? » → « Je ne peux pas vous aider avec cela. »
AttentionLes GPT ne cherchent PAS sur Internet quand vous posez une question. Ils utilisent les patterns absorbés pendant le pré-entraînement — comme demander à un ami très cultivé qui puise dans sa mémoire, pas dans Google. (Certains GPT peuvent utiliser la recherche web comme outil séparé, mais c'est un ajout, pas le mécanisme de base.)
Nouveau conceptParamètres = les milliards de « réglages numériques » que le modèle ajuste pendant l'entraînement. Imaginez un gigantesque tableau de bord avec 200 milliards de curseurs. Pendant le pré-entraînement, chaque curseur est légèrement tourné des milliers de milliards de fois. À la fin, la position de ces curseurs est la connaissance du modèle. GPT-4 aurait ~1 800 milliards de paramètres. Claude Opus : centaines de milliards à milliers de milliards (non publié).
📊 Tailles des modèles comparées
Cliquer pour détails
Les barres montrent le niveau de capacité relatif. Les tailles exactes sont des secrets industriels pour la plupart des modèles.
GPT-2
1,5 Md
Sorti en 2019. Pouvait écrire du texte mais était peu fiable. Niveau d'un autocomplete amélioré.
GPT-3.5
175 Md
Le ChatGPT original (nov. 2022). Impressionnant mais sujet aux erreurs confiantes.
Claude Haiku
Non publié
Modèle rapide d'Anthropic. Taille exacte non publique — estimée dans les dizaines de milliards. Optimisé pour la vitesse.
GPT-4
~1,8 T (rumeur)
Utilise le « Mixture of Experts » (MoE) — seule une fraction des ~1,8 T paramètres s'active par token, le rendant efficace malgré sa taille.
Claude Opus
Non publié
Modèle le plus puissant d'Anthropic. Estimé centaines de milliards à milliers de milliards. Excelle en raisonnement, code et longs contextes.
Mais la taille ne fait pas tout. La qualité des données d'entraînement, les innovations architecturales (comme le Mixture of Experts), et la qualité du RLHF comptent tout autant. Un modèle bien entraîné plus petit peut surpasser un modèle mal entraîné plus grand.
La fonction de perte (Cross-Entropy)
Comment le modèle sait-il s'il a « bien prédit » ? Il utilise la cross-entropy loss :
Perte = −log(P(mot correct))
Si le modèle donne 90 % au bon mot, perte = −log(0.9) = 0.105 (faible → bien). Si seulement 1 %, perte = −log(0.01) = 4.6 (élevée → mauvais).
Interactif : calculateur de perte
Rétropropagation (Backpropagation)
Après avoir calculé la perte, le modèle utilise la règle de la chaîne du calcul différentiel pour calculer comment ajuster chaque paramètre. Les gradients « remontent » à travers toutes les couches — de la sortie vers l'entrée. Chaque paramètre reçoit un signal : « augmente de 0.00001 » ou « diminue de 0.00003 ». Fait des milliers de milliards de fois, cela produit un modèle qui prédit de mieux en mieux.
Lois d'échelle (Chinchilla)
DeepMind (2022) a démontré que les performances suivent des lois de puissance prévisibles. Le ratio optimal : nombre de tokens d'entraînement ≈ 20× le nombre de paramètres. Un modèle de 100 milliards de paramètres devrait être entraîné sur ~2 000 milliards de tokens pour être optimal.
✍️ Quiz
Quiz
Quelle est la différence clé entre le pré-entraînement et le fine-tuning ?
ALe pré-entraînement utilise plus de GPU
BLe pré-entraînement apprend à prédire du texte ; le fine-tuning apprend à être un assistant qui répond aux questions
CLe pré-entraînement est fait par des humains, le fine-tuning par des machines
· · ·
Chapitre 7
La température : le curseur de créativité
Quand un GPT a calculé les probabilités de tous les mots possibles (chapitre 1), il ne choisit pas toujours le mot le plus probable. Un réglage appelé température contrôle le degré de prise de risque dans le choix.
AnalogieLe jury de recrutement : Imaginez un jury qui recrute un candidat parmi une liste. À température 0, le jury choisit systématiquement le candidat avec le meilleur score — prévisible, sûr, parfois ennuyeux. À température élevée, le jury accepte de parier sur un candidat moins « parfait sur le papier » mais potentiellement plus créatif — excitant mais risqué. Plus la température monte, plus le jury est aventureux.
Techniquement, la température divise les scores bruts (logits) par T avant le softmax. T = 1 = inchangé. T petit = distribution très piquée (un mot domine). T grand = distribution aplatie (tous les mots se rapprochent).
🌡️ Essayez : déplacez la température
Interactif
Prompt : « La meilleure façon de commencer sa journée est... »
Observez comment les barres de probabilité et le texte changent ensemble :
🧊 Précis🔥 Créatif
Température : 0.3
...de boire un verre d'eau et de prendre un petit-déjeuner équilibré. Les études montrent que l'hydratation et la nutrition améliorent la concentration.
🧊
Basse température (0–0.3)
Le mot le plus probable gagne presque toujours. Fiable, factuel, prévisible. Idéal pour les maths, le code, les questions factuelles. Peut devenir répétitif.
🔥
Haute température (0.8–1.2)
Les mots moins probables ont une vraie chance. Surprenant, varié, créatif. Idéal pour les histoires, le brainstorming, la poésie. Peut devenir incohérent.
Nouveau conceptTop-P (échantillonnage par noyau) = une alternative à la température. Au lieu d'ajuster l'aléatoire, Top-P garde seulement les mots les plus probables dont la probabilité cumulée atteint P %. Avec Top-P = 0.9, le modèle ne considère que les mots couvrant 90 % de la probabilité totale, éliminant la « queue » des mots improbables. La plupart des GPT utilisent température ET Top-P ensemble pour un contrôle fin.
Température dans le softmax
P(mot_i) = e^(logit_i / T) / Σ e^(logit_j / T)
Quand T = 1, la distribution est inchangée. Quand T → 0, le mot le plus probable prend 100 % (on appelle ça le décodage « glouton »). Quand T > 1, la distribution s'aplatit — tous les mots se rapprochent en probabilité.
Interactif : les maths de la température
Top-P vs Top-K
Top-P : garder les mots jusqu'à ce que leur probabilité cumulée atteigne P. Adaptatif — moins de candidats pour les distributions piquées, plus pour les plates.
Top-K : toujours garder exactement K candidats. Plus simple mais moins adaptatif. K = 50 est courant.
En pratique, les modèles combinent : la température façonne la distribution, puis Top-P coupe la queue, puis le mot est échantillonné parmi les survivants.
✍️ Quiz
Quiz
À température 0, un GPT...
AChoisit toujours le mot le plus probable — résultat identique à chaque fois
BRefuse de répondre car la créativité est désactivée
CGénère du texte complètement aléatoire
· · ·
Chapitre 8
La réflexion étendue : le brouillon caché
Tout ce qu'on a couvert jusqu'ici décrit un GPT qui écrit sa réponse en même temps qu'il pense — mot par mot, sans possibilité de revenir en arrière. Imaginez passer un examen où vous devez écrire votre copie finale sans brouillon. Vous feriez beaucoup plus d'erreurs.
Nouveau conceptRéflexion étendue (Extended Thinking) = un mécanisme qui donne au modèle un « brouillon caché » pour raisonner, planifier et vérifier avant d'écrire la réponse visible. Disponible dans Claude (Anthropic) et les modèles o1/o3 (OpenAI). Ce sont les mêmes paramètres et le même réseau — le modèle génère simplement des tokens cachés supplémentaires que l'utilisateur ne voit pas.
GPT Standard
Q : 17 × 24 = ?
« 17 × 24 = 396 »
Pas de brouillon. Premier « instinct » faux. La réponse correcte est 408.
Le modèle décide de manière adaptative s'il a besoin de réfléchir. Pour un simple « Bonjour ! », il répond directement. Pour une preuve mathématique complexe, il peut générer des milliers de tokens de réflexion cachés. Les développeurs peuvent régler cela avec un curseur d'effort (bas → max).
AttentionDécouverte contre-intuitive : trop réfléchir dégrade la performance sur les tâches simples — jusqu'à 36 %. Comme les humains, les GPT font moins bien quand ils compliquent des questions faciles. C'est pourquoi la réflexion adaptative (laisser le modèle décider quand réfléchir) est supérieure à la réflexion systématique.
Même modèle, plus de tokens
Les tokens de réflexion passent par les mêmes passes avant que les tokens normaux. La clé : les tokens de la réponse font attention aux tokens de réflexion, ce qui les rend plus précis.
Interactif : niveaux d'effort
Réflexion entrelacée avec les outils
Quand Claude utilise des outils (recherche web, exécution de code), il peut réfléchir entre chaque appel d'outil :
[Réflexion 1] « J'ai besoin des données météo. »
[Outil] météo("Paris") → « 15°C, 60 % de pluie »
[Réflexion 2] « 60 % de pluie → je dois recommander un parapluie. »
[Réponse] « Prenez un parapluie ! »
Coûts et performance
Les tokens de réflexion coûtent le même prix que les tokens de sortie (25 $/million pour Opus). La précision s'améliore logarithmiquement avec le budget de réflexion. Opus 4.6 supporte jusqu'à 128 000 tokens de sortie. Budget minimum : 1 024 tokens.
✍️ Quiz
Quiz
La réflexion étendue fonctionne en...
ASe connectant à un supercalculateur plus puissant
BGénérant des tokens de réflexion cachés avant la réponse visible, avec le même réseau
CCherchant la réponse sur Internet avant de répondre
· · ·
Chapitre 9
Au-delà du texte : outils, images et prompt système
Les GPT modernes ne sont plus de simples prédicteurs de mots. Ils ont été étendus avec des capacités puissantes :
🔧
Outils et plugins
Les GPT peuvent utiliser des outils — recherche web, exécution de code, calculatrices, bases de données. Quand le modèle a besoin d'info externe, il génère un token spécial « appel d'outil ». Le système exécute l'outil et renvoie le résultat au modèle, qui continue sa réponse.
🖼️
Multimodal : images et plus
GPT-4, Claude et Gemini peuvent « voir » les images. Un encodeur de vision convertit l'image en une séquence de tokens visuels, traités aux côtés des tokens textuels dans le même Transformer. Certains modèles gèrent aussi l'audio et la vidéo.
📜
Le prompt système
Des instructions cachées ajoutées au début de chaque conversation. Elles définissent la personnalité, les règles de sécurité, et les capacités de l'IA. Vous ne les voyez jamais, mais elles façonnent chaque réponse (~3 000–8 000 tokens).
✍️
Prompt engineering
Comment vous formulez votre question influence énormément la qualité de la réponse. Des prompts clairs, spécifiques, avec des exemples produisent de bien meilleurs résultats. C'est pourquoi le même modèle peut sembler brillant ou médiocre selon comment on lui parle.
Nouveau conceptAppel d'outil (tool call) = quand le modèle décide qu'il a besoin d'une information externe, il ne cherche pas lui-même. Il génère un token spécial structuré — par exemple {"tool": "météo", "ville": "Paris"}. Le système intercepte ce token, exécute l'outil, et renvoie le résultat au modèle sous forme de nouveaux tokens dans le contexte. Le modèle continue ensuite sa réponse en s'appuyant sur ce résultat.
🔧 Comment fonctionne un appel d'outil
Interactif
Cliquez pour avancer étape par étape et voir le flux complet d'un appel d'outil :
Function Calling (appels de fonctions)
Le développeur fournit au modèle une liste de « fonctions disponibles » avec leurs paramètres. Le modèle a été entraîné (pendant le fine-tuning) à reconnaître quand une question nécessite un outil et à générer un appel JSON structuré. Ce n'est pas de la magie — c'est un pattern appris : le modèle prédit que les prochains tokens doivent former un JSON d'appel de fonction.
// Fonctions déclarées par le développeur :
[{"nom": "météo", "params": {"ville": "string"}},
{"nom": "calculer", "params": {"expression": "string"}}]
// Le modèle génère :
{"tool": "météo", "params": {"ville": "Paris"}}
Encodeurs de vision
Pour traiter des images, un encodeur de vision (souvent un ViT — Vision Transformer) découpe l'image en patchs de 16×16 pixels, convertit chaque patch en un vecteur, et produit une séquence de tokens visuels. Ces tokens sont insérés dans le contexte aux côtés des tokens textuels. Le Transformer les traite ensuite de la même manière — l'attention peut relier un mot comme « chat » au patch de l'image qui contient un chat.
Structure d'un prompt système réel
[Identité] « Tu es Claude, créé par Anthropic. »
[Capacités] « Tu peux chercher sur le web, écrire du code... »
[Comportement] « Sois honnête, reconnaît ton incertitude. »
[Sécurité] « Refuse les demandes dangereuses. »
[Format] « Réponds de manière concise et structurée. »
// Total : ~3 000–8 000 tokens// L'utilisateur ne voit RIEN de tout ça
Interactif : coût du prompt système
✍️ Quiz
Quiz
Le prompt système est...
ALe système d'exploitation du serveur
BDes instructions cachées ajoutées à chaque conversation pour définir le comportement de l'IA
CLe premier message que l'utilisateur envoie
· · ·
Chapitre 10
Limites et hallucinations : ce que les GPT ne peuvent pas faire
Malgré toutes leurs capacités, les GPT ont des limites fondamentales. Les connaître est aussi important que comprendre comment ils fonctionnent.
🎭 Ils reconnaissent des patterns, ne « comprennent » pas
🌐 Pas d'accès Internet (sauf outil dédié)
💬 Ils inventent parfois des faits avec assurance
🧠 Pas de mémoire persistante entre conversations*
📅 Leurs connaissances ont une date limite
*Certains produits ajoutent une mémoire par-dessus, mais le modèle de base se réinitialise à chaque appel.
Nouveau conceptHallucination = quand le modèle génère un texte qui semble sûr et factuel mais qui est faux. Cela arrive parce que le GPT optimise la plausibilité, pas la vérité. « 987 mètres » semble un chiffre plausible pour un monument, donc le modèle le génère avec assurance — même si c'est faux (vraie hauteur de la tour Eiffel : ~330 m).
🔍 Repérez l'hallucination
Quiz
Un GPT affirme que « la tour Eiffel mesure 987 mètres ». Que s'est-il passé ?
AIl a cherché sur Wikipédia et trouvé des données erronées
BIl a généré un chiffre plausible mais faux — une hallucination
CLa tour Eiffel a récemment été modifiée
Comment se protéger :
🔍
Demandez des sources
Dites « Citez vos sources ». Si le modèle invente des citations (un problème connu), c'est un signal d'alarme. Utilisez les modes avec recherche web intégrée quand possible.
🤔
Mettez-le au défi
Demandez « Êtes-vous sûr ? ». Les modèles avec réflexion étendue (ch. 8) sont particulièrement bons pour se corriger quand on les challenge.
🔄
Croisez les sources
Posez la même question à Claude ET ChatGPT. S'ils divergent, l'un des deux hallucine probablement. Pour tout sujet important, vérifiez avec des sources humaines fiables.
🛡️
Vérifiez ce qui compte
Pour les décisions médicales, juridiques ou financières, vérifiez toujours avec des sources humaines qualifiées. Utilisez les GPT comme point de départ et partenaire de réflexion, jamais comme oracle de vérité.
PiègeLe piège de la confiance : Plus un GPT est performant, plus il est convaincant — y compris quand il a tort. Un modèle qui s'exprime avec assurance et détail peut sembler infaillible. C'est justement quand la réponse « sonne parfaitement juste » qu'il faut être le plus vigilant pour les sujets où la précision est critique.
Pourquoi les hallucinations existent
1. Objectif d'entraînement décalé : le modèle est entraîné à produire du texte plausible, pas du texte vrai. Si des faussetés plausibles existaient dans les données d'entraînement, le modèle a appris ce pattern de plausibilité.
2. Écart de distribution : sur les sujets rares avec peu d'exemples d'entraînement, le modèle interpole à partir de patterns éloignés. « Tour Eiffel » + « mesure » + « X mètres » → il remplit X avec un chiffre plausible, pas un chiffre vérifié.
3. Sycophantie : le RLHF peut involontairement entraîner le modèle à produire des réponses confiantes (car les évaluateurs humains préféraient les réponses qui semblaient sûres), même quand l'incertitude serait plus appropriée.
RAG (Retrieval-Augmented Generation)
Au lieu de compter sur des faits mémorisés, on donne au modèle accès à une base de données ou un moteur de recherche. Il récupère les documents pertinents d'abord, puis génère sa réponse en s'appuyant dessus. Cela réduit drastiquement les hallucinations pour les requêtes factuelles.
Interactif : risque d'hallucination par type de question
Sans état (Statelessness)
Chaque appel API est indépendant. Le modèle n'a pas de mémoire, pas de base de données, pas de fichier persistant. « Se souvenir » des tours précédents ne fonctionne que parce que l'application re-envoie l'intégralité de l'historique de conversation à chaque message. Quand ça dépasse la fenêtre de contexte, les anciens messages sont perdus à jamais. Les fonctionnalités de « mémoire » (comme celle de Claude) sont des contournements au niveau application, pas des capacités du modèle lui-même.
· · ·
Défi final
Testez tout ce que vous avez appris
10 questions couvrant les 10 chapitres. Combien avez-vous retenu ?
🏆 Quiz complet
10 Questions
· · ·
Et après ?
Pour aller plus loin
📺 Vidéo
3Blue1Brown — Réseaux de neurones
La meilleure explication visuelle des réseaux neuronaux. YouTube
📺 Vidéo
Andrej Karpathy — Construire un GPT
Construire un GPT de zéro en 2h (anglais, sous-titres FR). YouTube
📖 Cours
fast.ai — Deep Learning pratique
Gratuit, pratique, accessible aux débutants. course.fast.ai
📄 Article
« Attention Is All You Need »
L'article de 2017 qui a lancé la révolution Transformer. arXiv
Generative Pre-trained Transformer — l'architecture derrière les chatbots IA modernes.
Token
Morceau de texte (~1 mot) — l'unité de base que le modèle lit et génère.
Embedding
Vecteur dense de ~12 288 nombres représentant le « sens » d'un token dans un espace mathématique.
Transformer
Architecture de réseau neuronal utilisant l'attention pour traiter tous les tokens en parallèle.
Couche (Layer)
Un « poste » de la chaîne de montage : attention + réseau feed-forward. Empilées 100+ fois.
Self-Attention
Mécanisme Q/K/V où chaque mot évalue la pertinence de tous les autres dans le contexte.
Tête d'attention
Un « détective » spécialisé. 96–128 têtes fonctionnent en parallèle, chacune cherchant un pattern différent.
Passe avant
Un passage complet à travers toutes les couches du réseau = un mot généré.
Autorégressif
Générer un mot à la fois, chacun conditionné par tous les mots précédents.
Paramètres
Milliards de poids numériques ajustés pendant l'entraînement — ils SONT la connaissance du modèle.
Fenêtre de contexte
Nombre max de tokens visibles : prompt système + historique + votre question.
Softmax
Fonction qui convertit des scores bruts en probabilités totalisant 100 %.
Température
Curseur contrôlant l'aléatoire dans le choix des mots. Basse = précis. Haute = créatif.
Top-P
Méthode d'échantillonnage gardant les mots couvrant P % de probabilité cumulée.
RLHF
Apprentissage par renforcement à partir de retours humains — rend le modèle naturel et utile.
Fine-tuning
Entraînement supplémentaire sur des exemples de Q&R pour transformer un prédicteur de texte en assistant.
Hallucination
Quand le modèle génère des informations fausses avec assurance.
Réflexion étendue
Génération de tokens de raisonnement cachés avant la réponse visible.
RAG
Retrieval-Augmented Generation — ancrer les réponses dans des documents récupérés.
Prompt système
Instructions cachées définissant le comportement et les limites de l'IA.
Maintenant, vous savez ✨
Les GPT sont des machines de prédiction sophistiquées. Ils excellent en reconnaissance de patterns et raisonnement — mais ne sont pas magiques. Comme tout outil, ils fonctionnent mieux quand on comprend ce qu'il y a sous le capot.