B2 · Episode 9 · 9:06
What is a p-value?
Albert the animated cat explores statistics: P-valeur ou je fais un malheur !
Source：Nathan Uyttendaele · Laura Maugeri · Gwenaël Grisi / chatisticien · License：CC BY 4.0
Transcript
Voici mon chat, Albert.
Here is my cat, Albert.
Ça ne lui arrive pas souvent, mais aujourd'hui Albert est en colère.
This doesn’t happen to him often, but today Albert is angry.
Entre lui et Oscar, rien ne va plus.
Between him and Oscar, things are no longer going well.
Que s'est- il donc passé?
What, then, has happened?
Revenons en arrière de quelques minutes.
Let’s go back a few minutes.
Oscar propose à Albert, Marine et Émilie un jeu.
Oscar proposes a game to Albert, Marine, and Émilie.
Il s'agit de lancer un dé, et si une valeur supérieure à quatre est obtenue,
It involves rolling a die, and if a value greater than four is obtained,
Oscar promet de donner cinq de ses croquettes au joueur.
Oscar promises to give the player five of his kibbles.
Attention toutefois, si une valeur de quatre ou moins est obtenue,
However, take care: if a value of four or less is obtained,
alors le joueur donne une croquette à Oscar.
then the player gives one kibble to Oscar.
Albert, Marine et Émilie sont déterminés à ne pas se faire avoir.
Albert, Marine, and Émilie are determined not to be tricked.
Ils calculent que si d'un côté il y a deux chances sur six de gagner cinq croquettes
They calculate that on one hand there are two chances out of six of winning five kibbles,
et de l'autre quatre chances sur six d'en perdre une, ils gagnent au total une
and on the other hand four chances out of six of losing one, so they win a total of one
croquette. Un petit chat qui joue vingt fois d'affilée au jeu d'Oscar devrait donc
kibble. A small cat playing Oscar’s game twenty times in a row should therefore
se retrouver avec environ vingt croquettes supplémentaires.
end up with about twenty additional kibbles.
Bon, Albert se lance, et après vingt lancers n'a obtenu qu'une seule face gagnante.
Well, Albert begins tossing, and after twenty tosses obtains only one winning face.
Il perd donc un total de quatorze croquettes.
He therefore loses a total of fourteen kibbles.
Marie n'obtient quant à elle deux valeurs supérieures à quatre sur vingt lancés,
Marie, for her part, obtains two values greater than four in twenty tosses,
elle perd donc huit croquettes.
so she loses eight kibbles.
Finalement c'est au tour d'Émilie, qui comme Albert n'obtient qu'une seule face
Finally it’s Émilie’s turn, who, like Albert, obtains only one winning face,
gagnante et perd donc quatorze croquettes.
and therefore loses fourteen kibbles.
Quelque chose ne va pas.
Something is wrong.
Albert, Marine et Émilie n'ont obtenu ensemble que quatre faces gagnantes sur
Albert, Marie, and Émilie together obtained only four winning faces out of sixty tosses.
soixante lancers.
sixty tosses.
Ils accusent Oscar d'avoir triché.
They accuse Oscar of cheating.
Le dé utilisé serait- il pipé en défaveur des valeurs 5 et 6?
Could the die used be loaded against values five and six?
Savais- tu Albert que les dés étaient déjà utilisés dans la Rome antique?
Did you know, Albert, that dice were already used in ancient Rome?
Pas de doute qu'à l'époque aussi cet objet était source de nombreux conflits.
There’s no doubt that even back then this object was a source of numerous conflicts.
disons que je lance le dé d'oscar deux fois s'il n'est pas pipé en défaveur des
Let’s say I toss Oscar’s die twice; if it’s not loaded against values five and six,
valeurs cinq et six mes chances d'obtenir une face gagnante deux fois d'affilée sont
my chances of obtaining a winning face twice in a row are
égales à deux sur six fois deux sur six soit quatre sur trente six
equal to two over six times two over six, i.e., four over thirty-six.
De façon similaire, on peut calculer la probabilité d'avoir d'abord une phase
Similarly, we can calculate the probability of first having a winning phase,
gagnante et ensuite une phase perdante, ou d'avoir d'abord une phase perdante et
then a losing phase, or first a losing phase,
ensuite une phase gagnante.
then a winning phase.
l'addition de ces deux dernières probabilités nous donne les chances d'avoir
The addition of these two latter probabilities gives us the chances of having
exactement une face gagnante et une face perdante sans s'intéresser à l'ordre dans
exactly one winning face and one losing face without caring about the order in
lequel les choses se produisent.
which things occur.
Pour finir, la probabilité de ne tenir aucune face gagnante sur deux lancés est
Finally, the probability of holding no winning face in two rolls is
égale à seize sur trente- six.
equal to sixteen over thirty-six.
Sous forme d'un beau graphique, voici ce que tout ça donne.
In a nice graph, here's what all this yields.
Et même si c'est un peu long, on peut également calculer les probabilités pour 3
And even though it's a bit long, we can also calculate the probabilities for 3
lancers, pour 4 lancers, pour 20 lancers, et finalement pour 60 lancers.
rolls, for 4 rolls, for 20 rolls, and finally for 60 rolls.
Si le dé d'Oscar n'est pas pipé, je m'attends à avoir en moyenne vingt faces
If Oscar's die is not loaded, I expect to have on average twenty winning faces in sixty rolls.
gagnantes sur soixante lancers.
This is indeed the most probable result,
C'est d'ailleurs le résultat le plus probable, qu'on obtient onze pour cent du
which occurs eleven percent of the time.
temps. Lorsque le résultat est 20 ou plus, comme 24, 25 ou même 35,
time. When the result is 20 or higher, such as 24, 25, or even 35,
je n'ai aucune raison de croire que le dé est pipé en défaveur des faces gagnantes.
I have no reason to believe the die is biased against the winning faces.
C'est la zone de résultat dans laquelle Oscar est totalement blanchi.
This is the outcome range in which Oscar is completely exonerated.
En revanche, si le résultat de 60 lancers est plus petit que 20 faces gagnantes,
Conversely, if the number of winning faces in 60 rolls is less than 20,
je me dois d'être suspicieux.
I must be suspicious.
mais même si le dé n'est pas pipé, on voit que les chances d'obtenir par exemple 19,
but even if the die is not biased, we see that the chances of obtaining, for example, 19,
17 voire 14 faces gagnantes sont loin d'être négligeables.
17 or even 14 winning faces are far from negligible.
Dans le jargon statistique, on dira qu'il y a un risque élevé de commettre une
In statistical jargon, we say there is a high risk of committing a
erreur de type I, c'est- à- dire de conclure à la culpabilité d'Oscar même s'il est
type I error, i.e., concluding Oscar is guilty even though he is
en réalité innocent.
in fact innocent.
que ce soit dans le milieu médical en physique en chimie ou ailleurs les erreurs de
whether in medicine, physics, chemistry, or elsewhere, type I errors are a genuine scourge.
type i sont un véritable fléau
type I errors are a genuine scourge.
Si un test de dépistage du sida revient positif pour un patient en réalité
If an HIV screening test returns positive for a patient who is actually
parfaitement sain, il s'agit d'une erreur de type I.
perfectly healthy, it is a type I error.
C'est aussi le cas si des physiciens pensent avoir détecté une nouvelle particule
if physicists think they have detected a new particle
sur base de données expérimentales alors qu'il s'agit juste d'une fluctuation
based on experimental data, whereas it is merely a statistical fluctuation.
statistique et que cette particule n'existe en réalité pas.
and this particle does not actually exist.
Pour minimiser nos chances de conclure à la culpabilité d'Oscar à tort,
To minimize our chances of wrongly concluding Oscar's guilt,
je ne vois qu'une solution: agrandir la zone dans laquelle Oscar est blanchi pour
I see only one solution: enlarge the area in which Oscar is whitewashed to
englober presque toutes les probabilités.
encompass nearly all probabilities.
Mais faire ça aggrave un autre problème.
But doing this worsens another problem.
Recalculons les probabilités de notre graphique pour un dé pipé qui ne produit en
Let's recalculate the probabilities on our chart for a loaded die that produces on average only
moyenne que dix faces gagnantes au lieu des vingt attendus.
ten winning faces instead of the expected twenty.
si je lance ce dé pipé soixante fois je vois qu'obtenir douze treize et même quinze
if I roll this loaded die sixty times, I see getting twelve, thirteen, and even fifteen
ou seize faces gagnantes sera loin d'être rare
or sixteen winning faces will be far from rare
Ça, c'est un vrai problème, car les résultats tombent à présent dans la zone où le
That's a real problem, because the results now fall into the
joueur est complètement blanchi.
zone where the player is completely wiped out.
Dans le jargon statistique, on dira qu'il y a un risque élevé de commettre une
In statistical jargon, we would say there is a high risk of committing a
erreur de type II, ce qui est très grave aussi.
type II error, which is also very serious.
Si un meurtrier coupable est libéré faute de preuves convaincantes,
If a guilty murderer is released due to lack of compelling evidence,
il s'agit d'une erreur de type II.
It is a type II error.
C'est aussi le cas si une femme est enceinte mais qu'un test de grossesse ne le
It is also the case if a woman is pregnant but a pregnancy test fails to
détecte pas. Pour me prémunir contre le risque d'une telle erreur,
detect it. To protect myself against the risk of such an error,
je ne vois qu'une solution: agrandir la zone rouge.
I see only one solution: enlarge the red zone.
Je sais Albert, on tourne un peu en rond.
I know, Albert, we’re going in circles a bit.
Mais ne t'inquiète pas, les statisticiens ont une solution: la p- valeur.
But don’t worry—statisticians have a solution: the p-value.
Revenons aux résultats collectifs que Marine, Émilie et toi avez obtenus: quatre
Let’s return to the collective results obtained by Marine, Émilie, and you: four
faces gagnantes sur soixante lancers.
winning heads out of sixty tosses.
plutôt que de me casser la tête à définir une zone où oscar est blanchi et une zone
Rather than straining to define a zone where Oscar is exonerated and a zone
où oscar est jugé coupable, je vais me poser la question suivante: si le dé d'oscar
where Oscar is judged guilty, I’ll ask myself this question: if Oscar’s die is not loaded,
n'est pas pipé, quelles sont mes chances d'obtenir un résultat aussi suspect ou
what are my chances of obtaining a result as suspicious—or even more suspicious—than the one observed?
encore plus suspect que celui obtenu?
?
La réponse, qu'on appelle p valeur, est la somme des minuscules probabilités pour
The answer, called the p-value, is the sum of the tiny probabilities for
les résultats 0 à 4, ce qui donne une chance sur un million.
results 0 through 4, yielding a one-in-a-million chance.
Réalise bien Albert ce que cette p valeur nous dit.
Albert, truly grasp what this p-value tells us.
Si le dé d'Oscar n'est pas pipé, Marine, Émilie et toi aviez une chance sur un
If Oscar's die is not loaded, Marine, Émilie, and you had a one-in-a-million chance of obtaining a result at least as suspicious as the one obtained.
million d'arriver à un résultat au moins aussi suspect que celui obtenu.
million of obtaining a result at least as suspicious as the one obtained.
Et pourtant c'est arrivé.
And yet it happened.
Il est bien sûr possible que vous ayez eu un manque de bol monumental,
It is of course possible that you suffered monumental bad luck,
mais il me paraît bien plus raisonnable de conclure qu'Oscar s'est payé votre tête.
but it seems far more reasonable to conclude that Oscar was mocking you.
Si un petit chat physicien dit« J'ai découvert en laboratoire une nouvelle particule
If a little physicist cat says, "I have discovered in the lab a new particle
dont l'existence remet en question toute la physique», ses collègues sont en droit
whose existence challenges all of physics," its colleagues are entitled
d'attendre de lui des preuves expérimentales extrêmement convaincantes,
to expect extremely convincing experimental evidence from it,
ce qui va se traduire par une très faible p- valeur, du même genre que celle
which will translate into a very low p-value, of the same kind as that
qu'Albert, Marine et Émilie ont obtenue.
obtained by Albert, Marine, and Émilie.
Si ce petit chat physicien dit que la p- valeur liée à ses preuves expérimentales
If this little physicist cat claims that the p-value associated with its experimental evidence
est par exemple de trente- cinq,
is, for example, thirty-five,
difficile de prendre sa découverte au sérieux.
it is difficult to take its discovery seriously.
Ben oui, une p- valeur de trente- cinq, c'est comme si Albert,
Well yes, a p-value of thirty-five is like Albert,
Marine et Émilie avaient obtenu dix- huit faces gagnantes sur soixante lancers.
Marine, and Émilie obtaining eighteen winning faces in sixty tosses.
De la même manière qu'on ne conclurait pas à la culpabilité d'Oscar dans ces
Similarly, one would not conclude Oscar's guilt based on these.
conditions, on ne va pas non plus conclure à l'existence de la particule
conditions, we will not conclude the existence of the particle either
révolutionnaire avancée par notre petit chat physicien.
revolutionary theory advanced by our little cat physicist.
La règle générale en science, c'est: plus une découverte est extraordinaire,
The general rule in science is: the more extraordinary a discovery,
plus la p valeur liée aux preuves expérimentales se doit d'être faible.
the lower the p-value associated with the experimental evidence must be.
Prenons une étude publiée en janvier 2000 dans la revue Homéopathie.
Take a study published in January 2000 in the journal Homeopathy.
Dans cette étude, des chercheurs ont essayé de mettre en évidence un effet de
In this study, researchers attempted to demonstrate an effect of
l'homéopathie au- delà de l'effet placebo dans le traitement de patients souffrant
homeopathy beyond the placebo effect in the treatment of patients suffering
de migraines chroniques.
from chronic migraines.
Les résultats n'ont pas été bons, et la plus petite p- valeur obtenue par les
The results were not good, and the smallest p-value obtained by the
chercheurs était de 4 %.
researchers was 4%.
Tu dois bien comprendre Albert que si l'homéopathie a vraiment un effet propre au
You must clearly understand, Albert, that if homeopathy truly has a specific effect,
delà de l'effet placebo, cela nous forcera à remettre en question énormément de
beyond the placebo effect, this will force us to question a great deal of
choses en science qui fonctionnent pourtant bien.
things in science that nevertheless work well.
En soi ce n'est pas un problème.
In itself, this is not a problem.
S'il y a des preuves solides, on le fera.
If there is solid evidence, we will do it.
Mais une p- valeur de 4% cela reste bien trop grand dans ce cas- ci.
But a p-value of 4% remains far too high in this case.
Les auteurs de l'étude ont beau avoir écrit le contraire, cette p- valeur n'est pas
Although the study’s authors claim otherwise, this p-value is not
significative.
significant.
répétons le plus une découverte est extraordinaire plus la p valeur liée aux preuves
Let us repeat: the more extraordinary a discovery, the lower the p-value associated with the experimental evidence must be.
expérimentales se doit d'être faible
must be.
Comme Albert, Marine et Émilie, j'ai à présent la conviction que le dé d'Oscar est
Like Albert, Marine and Émilie, I am now convinced that Oscar’s die is
pipé. Mais un petit chat tricheur ou un dé pipé, ce n'est pas si extraordinaire.
loaded. But a cheating kitten or a loaded die isn’t so extraordinary.
Même si la p- valeur qu'Albert, Marine et Émilie ont obtenue avait été d'un sur
Even if the p-value Albert, Marine and Émilie obtained had been one in a thousand—or even one in ten—instead of one in a million, I would still conclude
mille ou même d'un sur dix à la place d'un sur un million, j'aurais conclu à la
thousand, or even one in ten instead of one in a million, I would have concluded that
culpabilité d'Oscar.
Oscar’s guilt.
D'ailleurs Oscar, tu es bien mignon, mais tu vas rendre tout de suite leurs
By the way, Oscar, you’re very cute, but you’ll hand their kibble back to Albert, Marine and Émilie right now.
croquettes à Albert, Marine et Émilie.
kibble back to Albert, Marine and Émilie.
Quant à toi Albert, je te conseille de ne plus jouer avec Oscar.
As for you, Albert, I advise you not to play with Oscar anymore.
Cette vidéo a été financée par le fond Gustave Wernars ainsi que par les donations
This video was funded by the Gustave Wernars Fund as well as by donations.
toujours plus nombreuses de nos fans sur tipeee.
more and more of our fans on Tipeee.
Com/ amisdalbert.
Com/ amisdalbert.
Entre le dix novembre et le dix décembre deux mille dix- sept,
Between November 10 and December 10, 2017,
nous avons vendu un total de trois cent cinquante- cinq tasses à l'effigie de la
we sold a total of three hundred and fifty-five mugs featuring the channel's logo,
chaîne, dépassant de loin nos meilleures estimations.
far exceeding our best estimates.
Pour vous remercier, nous avons décidé d'organiser un nouveau concours.
To thank you, we've decided to hold a new contest.
Concrètement, nous allons expédier à trois d'entre vous une tasse très spéciale dans
Concretely, we'll ship a very special mug to three of you in
un peu plus d'un mois.
a little over a month.
L'un des trois chanceux sera tiré au hasard parmi ceux à avoir partagé le post
One of the three winners will be randomly drawn from those who shared the Facebook post currently pinned to our page.
Facebook en ce moment épinglé sur notre page.
Facebook post currently pinned on our page.
Un autre sera tiré parmi ceux à avoir retweeté le message épinglé sur notre compte
Another will be drawn from those who retweeted the pinned tweet on our Twitter account.
Twitter. Et un dernier parmi ceux qui nous soutiendront sur tipeee.
And a final one from those supporting us on Tipeee.
com/ amisdalbert au cours des trente et un jours suivant la publication de la
com/ amisdalbert during the thirty-one days following the release of the
présente vidéo.
present video.
Attention, pour être éligible, votre adresse de livraison doit se situer dans l'un
Note: to be eligible, your shipping address must be located in one of
des pays à l'écran.
countries on screen.
À très bientôt pour de nouvelles aventures avec Albert dans un peu plus d'un mois.
See you very soon for new adventures with Albert in just over a month.