B1 · Episode 8 · 5:09
How Multiple-Choice Questions Trick Your Brain
This episode explores how multiple-choice question formats distort judgment, examining strategic answering in quizzes and elections, the problem of forced binary choices, and a more honest scoring method that rewards accurate self-assessment of uncertainty.
Source：Christophe Michel / Hygiène Mentale · License：CC BY 4.0
Transcript
D'autres trucs, elle a vaguement entendu dire que c'était controversé.
Other things—she’s only vaguely heard they’re controversial.
Et elle a raison, certains trucs sont controversés.
She’s right: some things really are controversial.
Si elle a le malheur de cocher un truc, bim!
If she happens to check one, bam!
79% des Français croient à au moins une.
79% of French people believe in at least one.
Les Français sont complotistes!
The French are all conspiracy theorists!
Tous complotistes les Français!
All French people are conspiracy theorists!
Oui, selon cette étude.
Yes, according to this study.
Ah, le cauchemar, pitié!
Ah, a nightmare—please, spare me!
Nous voilà étiquetés.
And just like that, we’re labeled.
Même ceux qui hésitent, même ceux qui ont pas compris la question,
Even those who hesitate,
même ceux qui voulaient faire plaisir,
even those who didn’t understand the question,
même ceux qui se disent que quand même dans ce genre de sondage il y a toujours au
even those who wanted to please,
moins quelque chose à cocher c'est normal, même ceux dont le stylo a dérapé.
even those who think, ‘In this kind of survey, you’ve got to check something—it’s only natural,’ and even those whose pen slipped.
Pardon, je m'emballe.
Sorry—I’m getting carried away.
Dans les QCM, une façon souvent utilisée pour gérer ça,
In multiple-choice tests, a common way to handle this is
c'est de sanctionner en négatif les mauvaises réponses, avec un- 1 par exemple,
to penalize wrong answers negatively—e.g., minus 1 point per wrong answer,
ou un- 1/2 pour pas être trop vache.
or minus ½ point, to avoid being too harsh.
De cette façon, il vaut mieux parfois ne pas répondre que de répondre au hasard.
This way, it’s sometimes better not to answer than to guess randomly.
Ça, ça règle au moins mon deuxième point.
This at least addresses my second concern.
Ici, l'élève est obligé de se demander si ça vaut le coup de répondre quelque chose
Here, students must ask themselves:
ou pas. Répondre au hasard, c'est prendre trois chances sur quatre d'avoir un moins
Is it worth answering—or not?
un, c'est pas rentable.
Guessing randomly gives you a 75% chance of losing 1 point—it’s not worthwhile.
Il faut au moins être un peu sûr de soi pour que ça vaille le coup de prendre le
You need at least some confidence
risque de s'exprimer.
for it to be worth taking the risk of speaking up.
Le sceptique qui est en moi aime ce genre de propriété.
The skeptic inside me appreciates this feature.
Mais malheureusement, ça ne change pas trop les autres problèmes.
But unfortunately, this doesn’t change other problems much.
En vrai, ce sont les mêmes problèmes qu'avec nos élections politiques.
In reality, these are the same issues we face with our political elections.
Le choix des citoyens dépend beaucoup du système de vote que l'on aura choisi
Citizens’ choices depend heavily on the voting system we adopt.
d'utiliser. Quand c'est le moment d'élire un dirigeant ou un représentant,
That is, the system used when electing a leader or representative.
on propose de mettre un nom dans son enveloppe.
People simply write one name in their ballot envelope.
C'est comme demander de cocher une seule case.
It’s like being asked to check just one box.
Si il y a des gens qui hésitent ou pour qui plusieurs candidats conviendraient,
If some people hesitate—or feel several candidates would actually suit them—
ça ne se verra pas dans le résultat.
this nuance won’t show up in the final result.
Les éditorialistes de plateau télé diront: « Mais allons,
TV commentators will say: “Come on,
c'est qui Arlette Laguiller dans le paysage politique?
who even is Arlette Laguiller in the political landscape?
Elle représente quoi, 5% des voix? »
Does she represent just 5% of the votes?”
Alors que pas du tout.
But that’s absolutely not true.
J'essaie de me remettre dans mes chaussures de 2002.
I try to put myself back in my 2002 shoes.
Je peux cocher une case.
I can check one box.
Si je choisis en fonction des programmes proposés, moi c'est clair,
If I choose based on the platforms proposed, then clearly,
je choisis Arlette Laguiller.
I’d choose Arlette Laguiller.
Mais je vais pas le faire, parce que ça sert à rien.
But I won’t do it—because it serves no purpose.
Elle passera jamais au second tour, je vais donc tenter de faire un vote utile.
She’ll never make it to the second round, so I’ll try to cast a ‘useful’ vote instead.
Si tout ce que je veux c'est surtout bloquer l'extrême droite,
If my main goal is simply to block the far right,
alors il faut que je devine qui des autres a le plus de chances de passer au second
then I must guess which of the other candidates has the best chance of reaching the second round,
tour et de voter pour le second candidat,
and vote for the runner-up—the candidate who might be overtaken by the ‘one-eyed man’.
celui qui aurait des chances d'être dépassé par le borgne.
(Note: ‘the one-eyed man’ here refers to then-President Chirac.)
C'est stratégique.
It’s a strategic choice.
Et malheureusement je sais qu'ensuite la presse dira sans sourciller que,
And unfortunately, I know the press will then confidently declare,
en France, il y a 82% de chiraquiens.
‘In France, 82% of people support Chirac.’
Une fois que les gens ont coché un QCM, une élection ou un sondage,
Once people complete a multiple-choice question, an election, or a survey,
on ne peut pas s'empêcher de les étiqueter,
we can’t help labeling them,
même si on sait que le vote est stratégique et qu'il ne représente pas une réelle
even though we know the vote is strategic,
opinion. Je peux essayer de proposer une amélioration du système de notation pour
and doesn’t truly represent their opinion.
corriger ces deux points rouges.
I can try improving the scoring system to fix these two issues.
On peut proposer de fractionner sa réponse entre les différentes propositions.
We could split the answer across the various options.
Par exemple, ma proposition ici, ça pourrait être
For example, my proposal here could be:
1%, 1%, 50%, 48%, total 100%.
1%, 1%, 50%, 48% — totaling 100%.
Là, je peux exprimer mes hésitations.
Here, I can express my hesitation.
Mon erreur sur cette question,
My error on this question,
c'est la somme des différences entre ma proposition et la réponse attendue.
is the sum of the differences between my answer and the expected answer.
Ici, la réponse attendue, c'était,
Here, the expected answer is:
je cherche sur Wikipédia,
I’ll check Wikipedia…
la réponse C, c'est- à- dire 0 0 1 0.
Option C — that is, 0, 0, 1, 0.
Enfin plutôt c'est la somme des carrés des différences qu'il faut prendre,
Actually, it’s more accurate to use the sum of squared differences,
sinon il y aurait toujours cette stratégie qui améliore un peu ma note,
otherwise there’d always be a strategy that slightly boosts my score,
qui consiste à mettre 100% à la réponse que je trouve un peu plus probable,
namely assigning 100% to the option I find slightly more probable,
et 0% aux autres.
and 0% to all others.
Cette exagération de la confiance affichée,
This exaggeration of displayed confidence,
c'est exactement ce que je veux éviter. Mais avec les carrés,
is exactly what I want to avoid — but with squares,
c'est parfait.
it works perfectly.
Là, la seule façon de maximiser ma note,
Now, the only way to maximize my score,
c'est de répartir ma réponse exactement comme ma réelle incertitude.
is to distribute my answer exactly as my real uncertainty dictates.
Toute autre répartition me rapportera statistiquement moins de points à long terme.
Any other distribution will statistically yield fewer points over time.
Ça fait un peu plus de calculs pour la notation, c'est vrai.
It does involve slightly more calculation for grading — that’s true.
Mais de toute façon, maintenant, c'est rarement fait à la main,
But anyway, nowadays it’s rarely done by hand,
c'est souvent en ligne, calculé informatiquement.
it’s usually done online and calculated by computer.
Et même les QCM papier, c'est souvent des OCR qui comptent.
Even paper-based multiple-choice tests are often scored using OCR.
Donc bon. Ici, mon erreur, c'est 0, 48.
So here, my error is 0.48.
Donc sur cette question, ma note est de 0, 52 points.
So on this question, my score is 0.52 points.
On appelle ça un score de brilleur.
We call this a ‘brilliance score.’
Si j'avais misé 100 % sur la bonne réponse, j'aurais eu un point.
If I’d bet 100% on the correct answer, I’d have gotten 1 point.
Si j'avais misé 100 % sur une mauvaise réponse, j'aurais eu moins un point,
If I’d bet 100% on a wrong answer, I’d have lost 1 point,
comme avec la notation sanctionnant les erreurs.
just like in traditional scoring that penalizes errors.
Si je ne connaissais pas du tout la réponse, j'aurais pu mettre 25 % partout.
If I had no idea at all, I could assign 25% to each option.
Et on remarque que j'aurais quand même eu un quart de point,
And we see that I’d still earn 0.25 points,
ce qui récompense ceux qui savent qu'ils ne savent pas.
rewarding those who know they don’t know.
C'est exactement ce que je cherche.
That’s exactly what I’m aiming for.
Ici, je peux exprimer mon doute, mettre de la nuance.
Here, I can express my doubt and add nuance.
La notation est dite pro- honnêteté,
This scoring method is called ‘honesty-promoting’,
c'est- à- dire que la seule façon de maximiser ma note,
meaning the only way to maximize my score is
c'est de répartir ma réponse exactement comme ma réelle incertitude,
to distribute my response exactly as uncertain I truly am—
pas de vote stratégique.
no strategic voting.
Et ça montre la complexité des individus,
It also reveals human complexity,
c'est plus difficile aux chroniqueurs de mal interpréter les réponses ou
making it harder for commentators to misinterpret responses,
d'essentialiser les gens.
or to essentialize people.
Cette méthode de notation mesure en partie ma connaissance des réponses bien sûr
This scoring method measures, of course, my knowledge of the answers—
celui qui connaît les réponses aura une bonne note,
those who know the answers will score well,
mais il tient aussi compte de ma propre connaissance de mon ignorance.
but it also accounts for my awareness of my own ignorance.
C'est surtout ça qui m'intéresse.
And that’s what interests me most.
En vrai, j'aimerais un système de notation qui ne mesure que ma capacité à m'auto-
Honestly, I'd like a grading system that measures only my ability to self-
évaluer, indépendamment du fait que l'on soit bon ou mauvais.
assess myself, regardless of whether someone is good or bad.