B2 · 第16集 · 5:24
人工智能如何生成语言
本集解释大语言模型（LLM）的核心原理：通过海量文本学习预测下一个词，从而生成连贯的文本、对话甚至诗歌。
来源：Sismique · 许可：CC BY 3.0
字幕
Et ça, c'est la découverte qui a un peu tout fait basculer.
而这一发现，恰恰成为扭转全局的关键。
Parce qu'on s'est aperçu qu'en augmentant la dose, plus d'exemples,
因为人们意识到，只要增加训练数据量、
plus de puissance de calcul, de
提升算力、
meilleures méthodes d'entraînement, etc.
改进训练方法等，就能实现突破。
Un système qui bafouillait pouvait se mettre tout d'un coup à rédiger,
一个原本结结巴巴的系统，突然间就能撰写文章、
à coder et à résoudre des problèmes, parfois même à réussir des examens.
编写代码、解决问题，甚至通过考试。
Et c'est le levier central de l'IA aujourd'hui,
它正是当今人工智能的核心驱动力，
qui nous fait entrer en fait dans une nouvelle approche dont on n'a pas encore bien
正引领我们迈入一种全新范式，
appréhendé les conséquences.
而其深远影响，我们尚未来得及充分理解。
Plus de données, plus de calculs, plus de modèles de plus en plus capables,
数据越多、算力越强、模型能力越强，
donc on a une course qui est déjà lancée.
一场竞赛已然拉开帷幕。
Et c'est d'ailleurs aussi ce qui explique la succession permanente et de plus en
这也正是模型迭代为何持续不断、且速度越来越快的原因——
plus rapide des modèles, GPT 3, 4, 5, 5.
从GPT-3、GPT-4，到GPT-5、GPT-5.5……
5, 6, 20, Claude 3, Claude 4, etc, etc, avec des noms différents.
再到GPT-5.5、GPT-6、GPT-20、Claude-3、Claude-4等等，名称各不相同。
Et ces noms et ces numéros en fait, c'est pas seulement du marketing,
这些名称与编号，绝非仅靠营销包装，
même s'il y en a évidemment.
尽管其中当然不乏营销成分。
Ça désigne des générations de systèmes entraînés, ajustés, testés,
它们实际代表一代代经过训练、调优和测试的系统，
parfois spécialisés, avec plus ou moins de données, de calculs,
有的还做了专门化处理，所用数据量、算力投入也各不相同，
de garde- fous, de capacités multimodales.
安全机制与多模态能力亦有差异。
Et une nouvelle version, dans ce monde- là,
在这个世界里，每一次新版本发布，
c'est pas seulement un bouton déplacé ou une interface un peu plus jolie.
并非只是按钮位置调整或界面稍作美化。
C'est souvent un nouveau pari: plus de puissance, plus de fiabilité,
它往往意味着一次全新尝试：更强的性能、更高的可靠性、
plus de vitesse, plus d'autonomie, et un meilleur compromis entre tout ça.
更快的速度、更强的自主性，以及三者之间更优的平衡。
Et pour chaque nouveau modèle,
对每一款新模型而言，
la promesse est de dépasser le concurrent, évidemment.
超越竞争对手，自然是最核心的承诺。
GPT- 5 est une mise à niveau majeure par rapport à GPT- 4 et un pas significatif sur
GPT-5 相比 GPT-4 是一次重大升级，也是我们迈向通用人工智能（AGI）道路上的重要一步。
notre chemin vers l'AGI.
我们迈向通用人工智能（AGI）的道路。
Nous avons construit Claude Table 5 pour votre travail le plus ambitieux.
我们打造了 Claude 5，专为应对您最具雄心的工作任务。
Il peut rester avec un problème
它能长时间专注解决一个问题，
beaucoup plus longtemps que tout modèle avant lui.
远超此前所有模型。
Alors ça fait beaucoup de choses.
因此，它的能力非常强大。
Si on veut récapituler un peu tout ça et
如果我们想简要总结一下这些内容，
faire plus simple.
让概念更清晰易懂。
Imaginez trois cercles emboîtés.
请想象三个嵌套的圆圈。
Le plus grand, c'est l'intelligence artificielle,
最大的那个代表人工智能，
c'est l'ambition générale.
这是总体目标和愿景。
À l'intérieur, on trouve l'apprentissage automatique,
其内部是机器学习，
l'approche qui a fini par tout rafler, du moins pour le moment.
目前至少是主导一切的实现路径。
Et à l'intérieur de ce sous- groupe, on trouve ce qu'on appelle le génératif.
而在这个子类中，又包含所谓‘生成式’技术。
qui génère donc, qui est très bon pour créer des choses, qui écrit,
它擅长生成内容，尤其善于创造——比如写作、
qui dessine, etc.
绘图等等。
Quand on vous parle d'un outil comme ChatGPT, vous êtes tout au fond,
当人们提到 ChatGPT 这样的工具时，
dans le plus petit cercle, à l'intérieur du cercle des IA génératives.
您正处在最小的圆圈里，即生成式人工智能这个圆圈的最内层。
Et cette famille particulière,
而这一特定类别，
celle qui manie le langage.
即擅长处理语言的类别，
Porte un nom qu'on entend partout maintenant,
如今已广为人知，
LLM, LLM pour Large Language Models.
LLM，即大型语言模型（Large Language Models）。
Les grands modèles de langage, en bon français.
用规范的中文说，就是‘大型语言模型’。
Donc ChatGPT, Claude, Gemini, Grok, Mistral, Vibe,
所以，ChatGPT、Claude、Gemini、Grok、Mistral、Vibe，
ce sont des LLM.
都属于 LLM。
C'est d'ailleurs l'acronyme derrière le GPT de ChatGPT qui veut dire Generative Pre-
事实上，ChatGPT 中的 GPT 正是这一缩写的体现，全称为生成式预训练
trained Transformer, qui est en fait un type de grand modèle de langage devenu si
Transformer（生成式预训练变换器），它本质上是一种大型语言模型，
célèbre qu'on l'emploie presque comme synonyme d'IA conversationnelle parfois.
如今已如此著名，有时人们甚至用它来代指对话式人工智能。
On met de côté les acronymes.
我们先暂且搁置这些缩写词。
Parce que sous ces noms savants, le mécanisme, lui,
因为，在这些高深的名称背后，其核心机制
est finalement d'une simplicité qui peut être assez déroutante.
最终却出人意料地简单。
Alors parce que ce sont les stars actuelles de l'IA,
由于它们当下正是人工智能领域的明星，
on va prendre le temps de voir comment fonctionne concrètement un LLM.
我们将花些时间，具体了解大语言模型（LLM）是如何运作的。
En fait, il fait, on va dire, une seule chose.
实际上，它只做一件事。
Il prédit le mot suivant.
预测下一个词。
Alors pour bien comprendre, je vais prendre un exemple.
为了充分理解，我举个例子。
Si je vous donne un début de phrase:
如果我给你一个句子的开头：
le chat dort sur le.
猫正躺在沙发上。
Vous allez peut- être me dire qu'on parle souvent de ça, ce n'est pas le sujet.
你或许会说：‘我们常聊这个，但这不是重点。’
Sans réfléchir, vous allez surtout sentir ce qui va venir après.
但你几乎不会思考，而是本能地感知接下来会出现什么。
Canapé, tapis, lit, et a priori pas citron ou huile de vidange.
沙发、地毯、床——而大概不会是柠檬或机油。
à moins d'être poète ou garagiste.
除非你是一位诗人或汽修工。
Et bien la machine fait pareil,
机器也是一样，
mais elle le fait à une échelle colossale.
只是规模极其庞大。
ayant vu des milliards de phrases,
它已读过数十亿条句子，
elle a appris quels mots suivent d'habitude quels autres, et elle calcule.
从而学会了哪些词通常跟在哪些词之后，并据此进行计算。
Pour chaque mot possible, elle calcule sa probabilité d'arriver ensuite.
对每个可能的词，它都计算其作为下一个词出现的概率。
Et elle en choisit un.
然后从中选出一个。
Et puis elle recommence.
接着再重复这一过程。
En intégrant le mot qu'elle vient d'ajouter.
把刚刚添加的那个词也纳入下一轮预测。
Mot après mot.
一个词接一个词。
Et en fait, c'est à peu près tout.
事实上，差不多就这些了。
Elle ne sait pas ce qu'est un chat,
她并不知道‘猫’是什么，
ni un canapé, en tout cas.
至少也不知道‘沙发’是什么。
pas comme nous avec un corps et une expérience du monde elle prolonge la phrase de
不像我们人类，拥有身体和对世界的亲身体验；她延续句子的方式是
la façon la plus plausible
采用最合理的方式，
elle utilise les patterns de langage ses règles ses régularités
运用语言的模式、规则与规律。
Donc dit comme ça, on comprend pas bien, ça paraît assez dérisoire.
这么说的话，我们不太容易理解，听起来似乎微不足道。
Une machine à compléter les phrases.
不过，它本质上只是一台补全句子的机器。
Et c'est justement pour ça en fait que c'est assez fou et que ça a surpris tout le
但恰恰正因如此，它才显得格外惊人，令全世界都感到意外。
monde. Parce que, un peu contre toute attente,
因为，多少有些出人意料的是，
à force de devenir excellente à ce petit jeu sur
在海量人类文字数据上反复练习这个小任务，
tout ce que l'humanité a écrit,
即人类有史以来写下的全部文字，
Elle a fini par réussir à tenir une conversation entière,
它最终竟能进行一整场对话，
elle a fini par réussir à résumer un contrat, et à écrire un poème,
能总结合同，还能写诗，
à imiter Baudelaire, et finalement à expliquer un théorème de maths.
能模仿波德莱尔的风格，甚至能解释数学定理。
Et concrètement la prédiction du signe suivant, poussée à l'extrême,
而实际上，将‘预测下一个符号’这一机制推向极致，
se met pour nous à ressembler à de la pensée.
对我们而言，已开始呈现出‘思考’的模样。
Et le plus troublant, et c'est ce qui n'avait d'ailleurs pas vraiment été anticipé
最令人不安的一点——事实上，连研究人员自己此前也并未真正预料到——
par les chercheurs eux- mêmes,
是这一点，
c'est que ça marche sur presque tout.
它几乎在所有任务上都有效。