B2 · Episode 16 · 5:24
How AI Generates Language: The Power of Next-Word Prediction
This episode explains how large language models (LLMs) work: by analyzing billions of texts, they learn statistical patterns to predict the next word—repeatedly—enabling them to write, converse, summarize, and even mimic poets or explain math theorems.
Source：Sismique · License：CC BY 3.0
Transcript
Et ça, c'est la découverte qui a un peu tout fait basculer.
And this discovery is what tipped the scales.
Parce qu'on s'est aperçu qu'en augmentant la dose, plus d'exemples,
Because we realized that by increasing the amount of data,
plus de puissance de calcul, de
boosting computing power,
meilleures méthodes d'entraînement, etc.
and adopting better training methods, etc., breakthroughs become possible.
Un système qui bafouillait pouvait se mettre tout d'un coup à rédiger,
A system that once stuttered could suddenly write essays,
à coder et à résoudre des problèmes, parfois même à réussir des examens.
code, solve problems—and sometimes even pass exams.
Et c'est le levier central de l'IA aujourd'hui,
It is the central lever of AI today,
qui nous fait entrer en fait dans une nouvelle approche dont on n'a pas encore bien
which is actually ushering us into a new paradigm,
appréhendé les conséquences.
whose consequences we haven’t yet fully grasped.
Plus de données, plus de calculs, plus de modèles de plus en plus capables,
More data, more computation, and increasingly capable models,
donc on a une course qui est déjà lancée.
so a race has already begun.
Et c'est d'ailleurs aussi ce qui explique la succession permanente et de plus en
And this is also why models keep succeeding one another—permanently and ever more rapidly—
plus rapide des modèles, GPT 3, 4, 5, 5.
from GPT-3, GPT-4, to GPT-5, GPT-5.5…
5, 6, 20, Claude 3, Claude 4, etc, etc, avec des noms différents.
…then GPT-5.5, GPT-6, GPT-20, Claude-3, Claude-4, and so on—each with different names.
Et ces noms et ces numéros en fait, c'est pas seulement du marketing,
These names and numbers aren’t just marketing,
même s'il y en a évidemment.
though marketing is certainly part of it.
Ça désigne des générations de systèmes entraînés, ajustés, testés,
They actually denote generations of systems trained, fine-tuned, and tested,
parfois spécialisés, avec plus ou moins de données, de calculs,
sometimes specialized, using varying amounts of data and computing power,
de garde- fous, de capacités multimodales.
with differing safety safeguards and multimodal capabilities.
Et une nouvelle version, dans ce monde- là,
In this world, each new version isn’t just about,
c'est pas seulement un bouton déplacé ou une interface un peu plus jolie.
repositioning a button or making the interface slightly prettier.
C'est souvent un nouveau pari: plus de puissance, plus de fiabilité,
It often represents a new bet: greater power, higher reliability,
plus de vitesse, plus d'autonomie, et un meilleur compromis entre tout ça.
faster speed, greater autonomy—and a better balance among all these.
Et pour chaque nouveau modèle,
For every new model,
la promesse est de dépasser le concurrent, évidemment.
the promise—naturally—is to outperform its rivals.
GPT- 5 est une mise à niveau majeure par rapport à GPT- 4 et un pas significatif sur
GPT-5 is a major upgrade over GPT-4 and a significant step forward on our path toward AGI.
notre chemin vers l'AGI.
our path toward AGI.
Nous avons construit Claude Table 5 pour votre travail le plus ambitieux.
We built Claude 5 for your most ambitious work.
Il peut rester avec un problème
It can stay focused on a problem
beaucoup plus longtemps que tout modèle avant lui.
far longer than any previous model.
Alors ça fait beaucoup de choses.
So it does a lot.
Si on veut récapituler un peu tout ça et
If we want to briefly recap all this and
faire plus simple.
make things simpler.
Imaginez trois cercles emboîtés.
Imagine three nested circles.
Le plus grand, c'est l'intelligence artificielle,
The largest one represents artificial intelligence,
c'est l'ambition générale.
the overarching ambition.
À l'intérieur, on trouve l'apprentissage automatique,
Inside it lies machine learning,
l'approche qui a fini par tout rafler, du moins pour le moment.
the approach that has, at least for now, ended up dominating everything.
Et à l'intérieur de ce sous- groupe, on trouve ce qu'on appelle le génératif.
And inside this subgroup lies what we call ‘generative’.
qui génère donc, qui est très bon pour créer des choses, qui écrit,
It generates—so it’s very good at creating things, like writing,
qui dessine, etc.
drawing, and so on.
Quand on vous parle d'un outil comme ChatGPT, vous êtes tout au fond,
When someone talks about a tool like ChatGPT, you’re right at the very center—
dans le plus petit cercle, à l'intérieur du cercle des IA génératives.
inside the smallest circle, deep within the circle of generative AI.
Et cette famille particulière,
And this particular family—
celle qui manie le langage.
the one that handles language.
Porte un nom qu'on entend partout maintenant,
has a name you hear everywhere now—
LLM, LLM pour Large Language Models.
LLM, standing for Large Language Models.
Les grands modèles de langage, en bon français.
In proper French, ‘large language models’.
Donc ChatGPT, Claude, Gemini, Grok, Mistral, Vibe,
So ChatGPT, Claude, Gemini, Grok, Mistral, Vibe—
ce sont des LLM.
they’re all LLMs.
C'est d'ailleurs l'acronyme derrière le GPT de ChatGPT qui veut dire Generative Pre-
In fact, the 'GPT' in ChatGPT stands for Generative Pre-
trained Transformer, qui est en fait un type de grand modèle de langage devenu si
trained Transformer—a type of large language model (LLM) that has become so
célèbre qu'on l'emploie presque comme synonyme d'IA conversationnelle parfois.
famous that it’s sometimes used almost synonymously with conversational AI.
On met de côté les acronymes.
Let’s set aside the acronyms for now.
Parce que sous ces noms savants, le mécanisme, lui,
Because beneath these sophisticated-sounding names, the underlying mechanism
est finalement d'une simplicité qui peut être assez déroutante.
is, in fact, surprisingly simple.
Alors parce que ce sont les stars actuelles de l'IA,
Since they’re currently the stars of AI,
on va prendre le temps de voir comment fonctionne concrètement un LLM.
we’ll take time to see how a large language model (LLM) actually works.
En fait, il fait, on va dire, une seule chose.
In fact, it does just one thing.
Il prédit le mot suivant.
It predicts the next word.
Alors pour bien comprendre, je vais prendre un exemple.
To understand this clearly, let me give an example.
Si je vous donne un début de phrase:
If I give you the beginning of a sentence:
le chat dort sur le.
the cat is sleeping on the.
Vous allez peut- être me dire qu'on parle souvent de ça, ce n'est pas le sujet.
You might say, ‘We talk about this often—it’s not the point.’
Sans réfléchir, vous allez surtout sentir ce qui va venir après.
Without thinking, you’ll mainly sense what’s likely to come next.
Canapé, tapis, lit, et a priori pas citron ou huile de vidange.
Couch, rug, bed—and probably not lemon or engine oil.
à moins d'être poète ou garagiste.
Unless, of course, you’re a poet or a mechanic.
Et bien la machine fait pareil,
Well, the machine does the same thing,
mais elle le fait à une échelle colossale.
but on a colossal scale.
ayant vu des milliards de phrases,
Having seen billions of sentences,
elle a appris quels mots suivent d'habitude quels autres, et elle calcule.
it has learned which words usually follow others—and it calculates.
Pour chaque mot possible, elle calcule sa probabilité d'arriver ensuite.
For each possible word, it calculates the probability that it will appear next.
Et elle en choisit un.
Then it selects one.
Et puis elle recommence.
Then it repeats the process.
En intégrant le mot qu'elle vient d'ajouter.
Incorporating the word it just added.
Mot après mot.
Word after word.
Et en fait, c'est à peu près tout.
And in fact, that’s pretty much all there is to it.
Elle ne sait pas ce qu'est un chat,
She doesn’t know what a ‘cat’ is,
ni un canapé, en tout cas.
nor what a ‘sofa’ is, at least.
pas comme nous avec un corps et une expérience du monde elle prolonge la phrase de
Unlike us—with bodies and direct experience of the world—she extends sentences by
la façon la plus plausible
the most plausible method,
elle utilise les patterns de langage ses règles ses régularités
using language patterns, rules, and regularities.
Donc dit comme ça, on comprend pas bien, ça paraît assez dérisoire.
Put like that, it’s hard to grasp—and sounds rather trivial.
Une machine à compléter les phrases.
It’s essentially just a sentence-completion machine.
Et c'est justement pour ça en fait que c'est assez fou et que ça a surpris tout le
Yet precisely because of this, it’s remarkably astonishing—and caught the whole world off guard.
monde. Parce que, un peu contre toute attente,
Because, somewhat against all expectations,
à force de devenir excellente à ce petit jeu sur
by becoming exceptionally good at this small task across
tout ce que l'humanité a écrit,
all the text humanity has ever written,
Elle a fini par réussir à tenir une conversation entière,
it eventually succeeded in holding full conversations,
elle a fini par réussir à résumer un contrat, et à écrire un poème,
summarizing contracts and writing poems,
à imiter Baudelaire, et finalement à expliquer un théorème de maths.
imitating Baudelaire—and even explaining mathematical theorems.
Et concrètement la prédiction du signe suivant, poussée à l'extrême,
In practice, pushing ‘predicting the next token’ to the extreme,
se met pour nous à ressembler à de la pensée.
starts to resemble thinking—for us.
Et le plus troublant, et c'est ce qui n'avait d'ailleurs pas vraiment été anticipé
The most unsettling part—and something researchers themselves hadn’t really anticipated—
par les chercheurs eux- mêmes,
is that
c'est que ça marche sur presque tout.
it works on almost everything.