B1 · Episode 8 · 4:36
The Illusion of Regression to the Mean
This episode explains why rewards may appear ineffective and punishments effective—due to the statistical phenomenon of 'regression to the mean.' It also explores how IQ scores vary across testing conditions, clarifies the difference between 'observed' and 'true' IQ, and discusses measurement error and confidence intervals.
Source：Christophe Michel / Hygiène Mentale · License：CC BY 4.0
Transcript
Et à un autre groupe B, on inflige une punition à ceux qui ont fait un très mauvais
And for another group B, we punish those who performed very poorly.
résultat. Et on regarde si le coup d'après les sujets s'améliorent ou pas.
Then we observe whether the subjects improve on their next attempt.
Et je trouve que les récompenses empêchent de progresser,
I find that rewards hinder improvement,
et que ce sont les punitions qui font progresser.
whereas punishments actually foster progress.
En effet, dans le groupe A, je sélectionne les moments où il se trouve qu'une
Indeed, in group A, I select moments when someone happens to achieve an excellent result,
personne a fait un très bon résultat, je le récompense,
reward them,
et je regarde ses performances suivantes.
and then examine their subsequent performance.
Bah il va retourner à sa moyenne plus basse,
Well, they’ll likely revert to their lower average,
et j'aurai la fausse impression que la récompense est contre- productive.
giving me the false impression that the reward is counterproductive.
Et dans le groupe B, je sélectionne les moments où une personne a fait un très
And in group B, I select moments when someone performs very badly,
mauvais résultat.
when their performance is very poor.
Je le punis et je regarde ses performances suivantes.
punish them, and observe their subsequent performance.
Il va retourner à sa moyenne, un peu plus haute,
They’ll revert to their average—slightly higher this time,
et j'aurai la fausse impression que la punition est efficace.
leading me to falsely believe the punishment is effective.
Alors que non, bien sûr.
Yet of course, that’s not true at all.
En vérité, quand on s'y prend correctement,
In truth, when done properly,
en fait ce sont les feedbacks positifs qui sont le plus efficaces au niveau
it’s actually positive feedback that proves most effective pedagogically.
pédagogique. La littérature scientifique sur le sujet,
The scientific literature on this topic,
qui sait mieux s'y prendre que ça,
which employs far more rigorous methods,
conclut plutôt que la pédagogie par punition n'est pas à conseiller.
concludes that punishment-based pedagogy is not advisable.
Par exemple cette étude là sur l'enseignement à l'école.
For example, this study on school teaching,
Ou celle là sur l'entraînement des sportifs au rugby.
or this one on rugby player training.
Un dernier exemple encore plus gratiné les tests de QI.
One final, even more telling example: IQ tests.
Les tests de QI ont du bruit.
IQ tests contain random noise.
Une même personne n'aurait pas fait exactement le même score si elle l'avait passé
The same person wouldn’t score exactly the same if they took it the week before or after,
la semaine précédente ou la semaine suivante.
due to natural variation in test conditions and performance.
Elle n'aurait pas fait exactement le même score si elle avait été chez un autre
Her score would not have been exactly the same if she had taken the test with a different practitioner.
praticien, dans une autre ville.
or in another city.
Les circonstances du passage du test s'ajoutent.
The specific circumstances surrounding the test administration also play a role.
Elle n'aurait pas fait exactement le même score si elle avait pris un café avant,
Her score would not have been exactly the same if she had drunk coffee beforehand,
si elle n'était pas tombée dans les bouchons pour venir,
if she hadn’t gotten stuck in traffic on the way,
ou si elle n'avait pas mangé si gras la veille,
if she hadn’t eaten such fatty food the day before,
ou si elle ne s'inquiétait pas pour l'opération de sa mère, etc.
or if she weren’t worrying about her mother’s surgery, etc.
Comme pour le bac, comme pour n'importe quel interro,
Just like the baccalauréat exam—or any classroom quiz—
quand vous passez un test de QI,
when you take an IQ test,
le praticien ne vous fournit qu'une mesure parmi la distribution des mesures
the practitioner gives you only one measurement from the distribution of scores you might have obtained under other circumstances.
probables que vous auriez pu faire dans d'autres circonstances.
These other circumstances are all plausible.
On appelle ça le QI observé.
We call this the ‘observed IQ.’
mais ce qu'on aimerait connaître c'est la moyenne de toutes ces mesures probables le
But what we’d really like to know is the average of all these possible scores—the
pic de votre courbe de distribution le centre de la cloche on appelle cette valeur
peak of your score distribution curve—the center of the bell curve.
le qi vrai le vrai qi quoi
We call this value the ‘true IQ’—your actual IQ.
La différence moyenne qu'il y a entre le QI observé et votre QI vrai,
The average difference between your observed IQ and your true IQ
c'est l'écart- type de mesure, ETM.
is called the standard error of measurement (SEM).
Il est bien connu parce que les tests sont utilisés depuis des décennies,
It’s well established, because these tests have been used for decades,
et ils ont été calibrés avec de gros échantillons.
and they’ve been calibrated using large samples.
Il dépend de plein de paramètres, il dépend du QI notamment,
It depends on many factors—especially IQ itself,
et il y a des formules pour le calculer.
and there are formulas to calculate it.
Grosso modo, un ordre de grandeur,
Roughly speaking, as a rule of thumb,
l'intervalle de confiance à 95% dans l'estimation est de plus ou moins 7 points de
the 95% confidence interval for the estimate is about ±7 IQ points.
QI. Wow, c'est quand même assez vaste.
Wow—that’s actually quite wide!
En tout cas, c'est plus vaste que ce que j'imaginais avant de me renseigner là-
In any case, it’s much wider than I imagined before researching this topic for this video.
dessus pour cette vidéo.
—for this video.
Ça veut dire en gros qu'une personne avec un QI vrai de disons 125,
Roughly speaking, a person whose true IQ is 125,
si elle passe un test, le QI observé a 95% de chances de se situer dans une
if they take a test, their observed IQ score has a 95% chance of falling within
fourchette de plus ou moins 7 points autour du QI vrai.
a range of plus or minus 7 points around their true IQ.
Son score au dépouillement sera quelque part entre 118 et 132.
Their scored result will fall somewhere between 118 and 132.
Imaginons que je veuille créer un club de surdoués, un groupe de zèbres,
Suppose I want to create a gifted-persons club—a ‘zebra’ group—on social media,
de haut QI, haut potentiel, sur les réseaux sociaux,
a community for people with high IQs and high potential,
en acceptant que des membres sur présentation d'un QI observé supérieur à 130.
and I set the membership requirement as submitting proof of an observed IQ above 130.
Je ne sais pas pourquoi on voudrait faire un truc pareil, mais bon,
I don’t know why anyone would want to do this—but anyway,
apparemment ça se fait.
apparently, this kind of thing actually happens.
Quelle sera sa composition?
What will this group actually consist of?
Si ça se trouve, ce groupe se composera surtout de gens qui ont eu la chance de
It might turn out that most members simply performed far better than their usual level on that particular day,
faire, ce jour- là, beaucoup plus que leur moyenne.
well above their personal average.
Si ça se trouve, ce groupe se composera surtout de gens qui ont fait le plus de
Or perhaps most members are simply those who’ve taken the most tests,
tests, ils auront juste eu à montrer le meilleur d'entre eux.
so they only need to submit their single best result.
J'ai fait une simulation numérique avec un tableur.
I ran a numerical simulation using a spreadsheet.
Oui je sais, c'est une digression personnelle,
Yes, I know this is a personal digression,
je me fiche bien de ces histoires de zèbres,
and I personally couldn’t care less about these ‘zebra’ discussions,
c'est juste l'occasion de montrer comment se faire une idée intuitive des
but it’s just a chance to show how we can build intuitive understanding of statistics
statistiques avec des simulations numériques faciles à faire,
using simple, easy-to-run numerical simulations,
histoire d'avoir en tête les bons ordres de grandeur,
so we can keep the right orders of magnitude in mind,
sans résoudre aucune équation. Donc on va dire que chaque ligne correspond à une
without solving any equations. So, let’s say each row in the spreadsheet represents one person.
personne. Je pose comme hypothèse que leur QI ivresse sont répartis selon la fameuse
I assume their true IQs follow the famous bell-shaped curve, centered at 100,
courbe en cloche centrée sur 100, écart type de 15.
with a standard deviation of 15.
loi normale inverse, un aléatoire sur 115.
That is, an inverse normal distribution—generating 115 random values.
Donc ça, c'est des QI vrais répartis un peu comme dans la population.
So, these are true IQ values distributed much like those in the general population.
Et pour chaque personne, je tire au hasard un QI observé,
For each person, I randomly draw an observed IQ score,
sur une distribution centrée sur son QI vrai et avec un écart- type de disons 3,
drawn from a distribution centered on their true IQ, with a standard deviation of, say, 3 or 5,
5, ce qui semble assez raisonnable,
which seems quite reasonable,
95 % de chances qu'un QI observé soit dans les plus ou moins 7 points autour du QI
giving a 95% chance that the observed IQ falls within ±7 points of the true IQ.
vrai. Je fais 10 000 lignes comme ça.
I generate 10,000 such samples.