B1 · Episode 7 · 5:11
How Multiple-Choice Questions Mislead Us
This episode examines how multiple-choice questions suppress uncertainty, encourage overconfidence, and distort interpretations of public knowledge—especially when applied to complex, unfamiliar topics in education and opinion polling.
Source：Christophe Michel / Hygiène Mentale · License：CC BY 4.0
Transcript
Dans mes conversations avec mes proches, quand je parle de politique,
When chatting with loved ones about politics,
des IA ou des OGM, je voudrais paraître sûr de moi quand je suis certain de ce que
AI or GMOs, I want to appear confident when I’m certain of what I’m saying,
j'avance, et j'aimerais paraître humble, prudent,
and humble, cautious, and measured when stating something I’m not very sure about.
mesuré quand je dis un truc dont je suis pas très sûr.
I’m not very confident about it.
Pire encore quand j'écris une vidéo ou un article qui sera lu ou vu par des
Worse still, when I make a video or write an article,
centaines de milliers de personnes.
which will be watched or read by hundreds of thousands of people.
Mais à quel point suis- je moi- même conscient de ma propre incertitude?
But how aware am I, really, of my own uncertainty?
Je vous en parlais dans mon dernier épisode,
I mentioned this in my last episode:
je suis pas très sûr d'être très bon à déterminer quand j'ai de grandes chances
I’m not very sure I’m good at judging—
d'avoir raison et quand je défends un truc qui pourrait au final être faux.
when I’m likely right, and when I’m defending something that might ultimately be false.
Le scepticisme, c'est avant tout être sceptique sur sa propre capacité à être
Skepticism means, first and foremost, being skeptical about your own ability to see clearly.
clairvoyant. Ce que je voudrais, c'est étalonner correctement mon incertitude.
What I truly want is to calibrate my uncertainty accurately.
Pour ça, je me fais des quizs.
To do this, I give myself quizzes.
Je vous ai déjà expliqué comment je me soumets moi- même à des protocoles de test.
I’ve already explained to you how I subject myself to testing protocols.
Je réponds à des séries de questions, de jeux de société,
I answer sets of questions, play board games,
mais avant de regarder les résultats,
but before checking the results,
j'essaye d'évaluer la note que je pense avoir,
I try to estimate my expected score,
pour vérifier dans quelle mesure je suis capable d'être conscient de mon propre
to check how well I can recognize my actual ability level.
niveau. Mais sur des questions à choix multiples,
Yet with multiple-choice questions,
j'ai souvent un malaise au moment de répondre,
I often feel uneasy when answering,
ça m'arrive d'hésiter entre plusieurs réponses.
sometimes hesitating between several answers.
Par exemple, voilà une question volontairement difficile.
For example, here’s a deliberately difficult question.
Cochez une case, bonne réponse un point, sinon zéro.
Check one box: one point for correct, zero for incorrect.
Certains d'entre vous connaissent peut- être la bonne réponse,
Some of you may already know the right answer,
les amateurs de science- fiction, ils cochent.
Sci-fi fans—go ahead and check!
Mais je voulais placer la plupart d'entre vous dans une situation où vous n'êtes pas
But I wanted to place most of you in a situation where you're not
sûr de vous, voire vous n'avez jamais entendu parler ni de cet ouvrage ni d'aucun
confident—indeed, where you've never even heard of this work or
des auteurs proposés.
any of the proposed authors.
Moi, ici, j'hésite.
I hesitate here.
Je connais pas ce titre, mais je lis beaucoup de science- fiction et je peux dire de
I don’t know this title, but I read a lot of science fiction, and I can say quite confidently that
façon assez sûre que ce n'est pas la A ou la B.
it’s neither A nor B.
Je connais ces deux auteurs et leur biblio,
I know both of these authors and their bibliographies,
ça m'étonnerait que je me souvienne pas de ce titre.
I’d be very surprised not to remember this title.
Mais ça pourrait être la C ou la D, j'hésite.
But it could be C or D; I'm hesitating.
J'ai une petite préférence pour la C, mais je n'exclus pas la D.
I have a slight preference for option C, but I don’t rule out option D.
Si je réponds C, je coche.
If I answer C, I'll check it.
C'est exactement comme si j'étais sûr de moi, que je connaissais la réponse.
It feels exactly as if I were confident in myself and knew the answer.
Si la réponse est vraiment C, j'aurai le point, c'est cool pour moi.
If the answer is really C, I'll get the point—that's great for me.
Mais ce sera pas entièrement mérité, j'aurai eu un peu de chance.
But it won’t be entirely deserved—I’ll have had a bit of luck.
Si la réponse est D, j'aurais zéro point, mais ça aussi c'est un peu injuste,
If the answer is D, I'd get zero points, but that's also a bit unfair,
parce que je savais qu'il y avait des chances que ce soit la C,
because I knew there was a chance C was correct,
même si au final j'ai choisi l'autre.
even though I ultimately chose the other one.
Les règles des QCM me forcent à exprimer une certaine surconfiance.
Multiple-choice test rules force me to display a certain overconfidence.
Je ne connais pas la réponse, eh bien il vaut mieux répondre à un truc au pif que de
I don’t know the answer—well, it’s better to guess something than to
ne pas répondre.
not answer at all.
Si je réponds pas, zéro point, mais une chance sur quatre de tomber juste,
If I don’t answer, I get zero points—but if I guess randomly, I have a one-in-four chance of being correct.
c'est mieux que zéro.
That’s still better than zero.
En classe, exiger de l'élève une réponse unique,
In class, demanding a single answer from students,
ça normalise le fait de toujours exprimer des opinions tranchées,
normalizes always expressing sharp, absolute opinions.
absolues. L'élève qui doute est incité à prendre position comme s'il était sûr de
Students who doubt are encouraged to take a stand as if they were certain.
lui. L'Éducation nationale devrait arrêter de proposer ce genre de QCM.
The French National Education system should stop offering this kind of multiple-choice questions.
Ça enseigne des valeurs aux futurs citoyens qui seront nuisibles au débat
It teaches values to future citizens that harm democratic debate.
démocratique. Militer pour l'esprit critique,
Advocating critical thinking,
ça passe par militer contre les incitations à la surconfiance.
requires opposing incentives that foster overconfidence.
Voir mon épisode 36 sur l'effet Dunning- Kruger.
Watch my Episode 36 on the Dunning-Kruger effect.
Pour résumer, voici trois points qui me semblent perfectibles sur cette notation
To summarize, here are three points that I believe could be improved regarding this standard multiple-choice test scoring method:
standard des QCM: 1.
1.
Ça efface la notion de doute: c'est coche ou pas coche,
It erases the notion of doubt: it's either checked or not checked,
j'y crois ou j'y crois pas, tout ou rien.
I believe it or I don't—there's no middle ground.
Pas de j'hésite, pas de c'est pas sûr, pas de je doute de moi.
No hesitation, no uncertainty, no self-doubt.
Du coup, ça incite à la surconfiance.
As a result, this encourages overconfidence.
Ça pousse à exprimer une réponse, même si on n'est pas sûr,
It pushes you to give a response, even if you're not sure,
même si on n'y connaît rien, même si on comprend pas la question.
even if you know nothing about it, even if you don't understand the question.
Défend une réponse.
Defend an answer.
Le scepticisme scientifique est bien différent du mouvement sceptique de
Scientific skepticism is quite different from the skeptical movement of
l'Antiquité, mais au moins il y a toujours eu un point commun inamovible:
antiquity, but at least there has always been an unshakable common point:
c'est le concept de suspension du jugement, aussi appelé« quand tu sais pas,
it's the concept of suspension of judgment, also called "when you don't know,"
tu fermes ta gueule».
shut your mouth.
Un QCM m'oblige à ouvrir ma gueule en toutes circonstances,
A multiple-choice question forces me to open my mouth no matter what,
juste pour augmenter mon espérance mathématique.
just to increase my mathematical expectation.
C'est ultra nocif.
It's extremely harmful.
Et trois, du coup, ça crée un étiquetage des individus.
And three, as a result, this creates labeling of individuals.
Si j'ai coché, maintenant je suis un vendéocain.
If I checked it, then I'm now a Vendéan.
Si c'était faux, je fais maintenant partie des losers,
If this were false, I'd now be a loser,
des ignorants ou des crédules.
an ignorant person or a gullible one.
Même si j'hésitais vraiment avec la bonne réponse,
Even though I was really unsure about the right answer,
même si je n'avais pas compris la question.
even though I hadn’t understood the question.
Ça a l'air de rien, mais pour interpréter les résultats d'un sondage,
It may seem trivial, but to interpret the results of a survey,
il faut pouvoir évaluer à quel point on a poussé les gens à donner une réponse.
we must be able to assess how much respondents were steered toward giving a particular answer.
Parce que sinon, très vite, on en vient à conclure que les
Otherwise, we quickly end up concluding that,
Français sont, par exemple, complotistes.
the French, for example, are all conspiracy theorists.
Là, on a demandé à 1200 personnes sans expertise, mon voisin,
Here, we asked 1,200 ordinary people with no expertise—
ma tante, de cocher dans une longue liste de sujets super complexes,
my neighbor, my aunt—
controversés, multifactoriels, dont les dossiers sont interminables,
to tick topics from a long list—
il faudrait des heures de recherche ne serait- ce que pour effleurer le sujet,
topics that are extremely complex, controversial, and multifaceted, with endless documentation—
et contenant du vocabulaire spécifique dont on ne peut pas attendre de tout le monde
just scratching the surface would take hours of research—
de les connaître.
and they include specialized vocabulary not everyone can be expected to know.
Vaccin, CIA, grand remplacement, 11 septembre, compromission,
Vaccines, the CIA, the ‘Great Replacement,’ 9/11, collusion,
réchauffement climatique, sida, chemtrails, cyclones, séismes,
climate change, AIDS, chemtrails, hurricanes, earthquakes,
al qaïda, daesh, services secrets, dictature planétaire, nasa,
Al-Qaeda, ISIS, secret services, global dictatorship, NASA,
mission apollo, journaliste à la solde des illuminati, vas- y coche.
the Apollo missions, journalists on the payroll of the Illuminati… Go on—tick them!
Ma tante Gudule, elle est pas du tout complotiste,
My aunt Gudule isn’t a conspiracy theorist at all,
mais elle voudrait bien aider le monsieur au téléphone.
but she’d really like to help the man on the phone.
Imaginez si elle se dit que quand même,
Imagine if she thinks to herself:
ce serait bizarre de ne rien cocher du tout. De la plupart de ces trucs,
it’d still feel odd to leave *all* of them blank—
elle a jamais entendu parler.
most of these topics, she’s never even heard of.