B2 · Episode 1 · 7:38

The Survivorship Bias Explained

This episode explains the survivorship bias using a Parisian vet's mistaken conclusion about cats surviving high falls—showing how focusing only on survivors (injured cats who made it to the clinic) while ignoring those who didn’t survive leads to flawed reasoning. Real-world examples include wartime aircraft analysis and misleading self-help or health claims.

Source:Nathan / skeptikon.fr · License:CC0 1.0

Transcript

  1. Dans un cabinet vétérinaire au cœur de Paris,

    In a veterinary clinic in the heart of Paris,

  2. un praticien accueille chats et chiens afin de soigner leurs bobos.

    a veterinarian treats cats and dogs for minor injuries.

  3. Beaucoup de félins lui arrivent blessés en raison d'une chute,

    Many cats arrive injured due to falls,

  4. et le praticien, qui est fan de statistiques,

    and the veterinarian—who loves statistics—

  5. a pris l'habitude de systématiquement prendre note de la hauteur de la chute.

    has made it a habit to systematically record the height of each fall.

  6. Dans un tableur Excel, en plus de la date et du nom du chat,

    In an Excel spreadsheet, besides the date and the cat’s name,

  7. il note un s'il est tombé du premier étage, deux s'il est tombé du second,

    he notes “1” if the cat fell from the first floor, “2” if from the second,

  8. etc. Le cœur de Paris, c'est un endroit où règne une grande uniformité

    and so on. The heart of Paris is an area marked by great architectural uniformity,

  9. architecturale.

    with buildings looking remarkably alike.

  10. La plupart des bâtiments y sont de style haussmannien,

    Most buildings there are Haussmannian in style,

  11. avec des toits en zinc, faisant typiquement six à sept étages.

    featuring zinc roofs and typically standing six to seven stories tall.

  12. On peut au choix trouver cette uniformité horrible ou au contraire charmante.

    Some people find this uniformity dreadful; others find it charming.

  13. Moi, le seul commentaire que je ferai,

    As for me, the only comment I’ll make is that

  14. c'est que ça manque de vert dans certains quartiers.

    some neighborhoods lack greenery.

  15. L'autre jour, alors qu'il analysait ses données,

    The other day, while analyzing his data,

  16. notre vétérinaire s'est rendu compte d'un truc:

    our veterinarian noticed something:

  17. la plupart des chats blessés qu'il reçoit sont tombés des étages 2 à 4 et très

    most injured cats he treats fell from floors two to four,

  18. rarement des étages 5 à 7.

    and very rarely from floors five to seven.

  19. Comme il n'a pas de raison de croire que les chats tombent moins des étages

    Since he has no reason to believe cats fall less often from higher floors in general,

  20. supérieurs en général, il en conclut que d'une façon ou d'une autre,

    he concludes that, one way or another,

  21. nos amis félins se rattrapent mieux si la chute est suffisamment longue,

    our feline friends right themselves better during longer falls,

  22. évitant toute blessure sérieuse et un passage dans son cabinet.

    avoiding serious injury—and thus avoiding a visit to his clinic.

  23. En clair, pour un chat, mieux vaut tomber du septième que du deuxième.

    In short, for a cat, falling from the seventh floor is safer than falling from the second.

  24. Fort de cette découverte, le vétérinaire suggère à ses clients habitant aux étages

    Armed with this discovery, the veterinarian suggests to clients living on lower floors

  25. inférieurs d'interdire leur boule de poils de sortie sur les balcons.

    to forbid their furry pets from going out onto balconies.

  26. Hmm, toi aussi cher internaute, tu es un peu mal à l'aise avec cette conclusion?

    Hmm, dear internet user, are you also a bit uncomfortable with this conclusion?

  27. Tu sais quoi? Je pense avoir compris ce qui ne va pas.

    You know what? I think I’ve figured out what’s wrong.

  28. Moi, de base, ce que je crois,

    What I originally believe is—

  29. c'est que plus une chute libre se fait de haut et donc sera longue,

    the higher the free fall, the longer its duration,

  30. plus les dégâts lors de l'impact seront importants.

    and thus the impact damage will be greater.

  31. En physique, la quantité d'énergie entrant en jeu au moment de cet impact est

    In physics, the amount of energy involved at impact is

  32. décrite par l'équation m x g x h, m

    described by the equation m × g × h, where m

  33. représentant la masse de l'objet en kilogrammes,

    represents the object’s mass in kilograms,

  34. g valant 10 à la surface de la Terre, et h représentant la hauteur en mètres.

    g equals about 10 at Earth’s surface, and h stands for height in meters.

  35. Pour faire simple, on peut dire que tomber de cinq mètres sera cinq fois plus

    Put simply, falling from five meters will be five times more

  36. violent que de tomber d'un mètre.

    violent than falling from one meter.

  37. Pourquoi diable le vétérinaire parisien ne reçoit il que rarement des chats tombés

    So why does the Parisian veterinarian so rarely treat cats that fell from upper floors?

  38. des étages supérieurs?

    Why on earth?

  39. Pas parce que ces chats se rattrapent et s'en tirent sans même une égratignure,

    Not because these cats land safely without even a scratch,

  40. bien parce que l'impact au sol de leur petit corps est si violent qu'ils ne s'en

    but because the impact on the ground is so violent for their small bodies

  41. tirent pas. Dévastés, les maîtres ne notifient généralement pas le vétérinaire local

    that they don’t survive. Devastated owners usually don’t report the incident to their local vet,

  42. de l'incident, amenant à un biais dans les données récoltées par ce dernier.

    leading to bias in the data this vet collects.

  43. C'est le biais du survivant.

    This is called ‘survivorship bias.’

  44. Pour vulgariser ce biais, plutôt que de parler de chats tombant de balcons

    To explain this bias more accessibly, instead of using examples of cats falling from Parisian balconies,

  45. parisiens, l'usage est de prendre pour exemple des avions de guerre.

    the common analogy is wartime fighter planes.

  46. Ceux- ci reviennent de mission endommagés,

    These planes return from missions damaged,

  47. et l'ingénieur militaire chargé de les retaper fait un constat:

    and the military engineer tasked with repairing them observes:

  48. ce sont presque toujours le bout des ailes qui semblent avoir encaissé des dégâts.

    it’s almost always the wingtips that appear most damaged.

  49. Très vite, il propose de renforcer le blindage du bout des ailes de tous les avions

    He quickly proposes reinforcing the armor on the wingtips of all planes

  50. sous sa responsabilité.

    under his responsibility.

  51. Problème: les avions tombés en territoire ennemi,

    Problem: the planes crashed on enemy territory,

  52. l'ingénieur n'a bien sûr pas pu les analyser.

    so the engineer, of course, couldn't analyze them.

  53. S'il avait pu, il se serait rendu compte que les endroits critiques de l'appareil ne

    If he had been able to, he would have realized that the critical parts of the aircraft

  54. sont pas le bout des ailes, mais d'autres parties comme par exemple le moteur.

    are not the wingtips, but other parts—such as the engine.

  55. C'est précisément parce que les avions réussissent à rentrer de mission avec le bout

    It is precisely because aircraft can return from missions even with damaged wingtips,

  56. des ailes endommagé qu'il ne faut pas trop s'en soucier.

    that we need not worry too much.

  57. En fait, ce qu'il faut faire, c'est blinder les parties intactes.

    In fact, what needs to be done is to reinforce the intact parts.

  58. Nos librairies croulent sous les ouvrages consacrés au développement personnel et

    Our bookstores are overflowing with books on personal development and

  59. aux conseils santé, des livres du genre« Top dix des habitudes des millionnaires»

    health advice, such as books titled 'Top Ten Habits of Millionaires.'

  60. ou« Les sept secrets des personnes ayant une bonne mémoire» ou encore« Voici ce que

    or 'The Seven Secrets of People with Good Memory'

  61. mangent les centenaires».

    or even 'Here's What Centenarians Eat.'

  62. Ce qu'ils listent a beau être caractéristique des gens ayant au choix beaucoup

    What they list may indeed be characteristic of people who are wealthy, have good memories, or live a long time,

  63. d'argent, une bonne mémoire ou ayant vécu longtemps,

    but these traits aren’t exclusive to them.

  64. rien ne nous dit que ce n'est pas aussi caractéristique des gens pauvres,

    Nothing tells us that these traits aren’t also characteristic of poor people,

  65. avec des troubles de la mémoire ou décédés à 40 ans.

    those with memory disorders, or those who die at age 40.

  66. Ceux qui, via internet, mettent en avant une méthode de leur cru destinée à soigner

    Those who, via the internet, promote their own method to treat

  67. les gens d'un truc mortel, exploitent fréquemment le biais du survivant,

    people with a deadly condition frequently exploit the survivorship bias,

  68. parfois sans le réaliser, parfois en sachant très bien ce qu'ils font.

    sometimes without realizing it, sometimes fully aware of what they’re doing.

  69. Mettons- nous dans la peau d'un gourou santé.

    Let's put ourselves in the shoes of a health guru.

  70. Afin de soigner le cancer, vous proposez jeûne, méditation,

    To treat cancer, you recommend fasting and meditation,

  71. et pourquoi pas un peu de nudisme en forêt.

    and why not a bit of nude relaxation in the forest?

  72. Si vous faites massivement la promotion de votre approche sur les réseaux sociaux,

    If you massively promote your approach on social media,

  73. le risque d'être inondé de messages de malades dénonçant que la méthode ne marche

    the risk of being flooded with messages from patients claiming the method doesn’t work

  74. pas est, heureusement pour vous, très faible.

    is, fortunately for you, very low.

  75. Ben oui, soit le malade se remet de son cancer en ayant suivi votre méthode et il

    Well yes, either the patient recovers from their cancer by following your method, and they

  76. laissera alors un superbe témoignage vous remerciant de l'avoir sauvé,

    will then leave a glowing testimonial thanking you for saving their life;

  77. soit le malade décédera, ce qui l'empêchera de se plaindre et de dénoncer votre

    or the patient will die, preventing them from complaining or exposing your nonsense.

  78. baratin. Imaginons que dix mille cancéreux ayant vu la promotion de votre méthode

    Imagine ten thousand cancer patients who saw the promotion of your method online

  79. sur les réseaux décident de vous faire confiance.

    decide to trust you.

  80. Votre approche fonctionnant mal,

    Since your approach is ineffective,

  81. neuf mille neuf cents décèdent et cent survivent. Concrètement,

    9,900 people die and only 100 survive. In practice,

  82. la seule chose que vous vivrez de votre côté,

    what you’ll experience on your end is

  83. c'est une pluie de cent témoignages positifs,

    a flood of one hundred positive testimonials,

  84. remerciements et incitations à promouvoir davantage cette méthode afin de sauver

    including thanks and encouragement to promote this method more widely,

  85. encore plus de gens.

    so as to save even more lives.

  86. Point bonus si vous dénigrez au passage la médecine moderne,

    Bonus points if you also disparage modern medicine,

  87. l'accusant de cacher aux gens qu'on peut aisément guérir sans passer par des

    accusing it of hiding from people that one can easily heal without resorting to

  88. affreuses chimios, des rayons et autres trucs lourds que vous affirmerez ne sont

    awful chemotherapy, radiation, and other heavy-duty treatments,

  89. destinés qu'à enrichir Big Pharma.

    which you’ll claim are designed solely to enrich Big Pharma.

  90. Alors si le gourou que vous êtes est un peu plus malin qu'il en a l'air,

    So, if the guru you are is a bit smarter than they appear,

  91. il sera normalement gêné par le décalage entre les dizaines voire centaines de

    they will normally feel embarrassed by the discrepancy between

  92. milliers de vues des vidéos présentant son approche,

    the tens or even hundreds of thousands of views on videos presenting their approach,

  93. et les seulement centaines voire dizaines de témoignages,

    and the mere hundreds—or even dozens—of testimonials they receive,

  94. certes tous positifs, qu'il reçoit.

    though all of these testimonials are indeed positive.

  95. Rassurez- vous, pas besoin d'admettre qu'une véritable hécatombe est à l'origine de

    Rest assured,

  96. ce décalage et que vous êtes responsable de la mort de beaucoup de gens qui auraient

    you don’t need to admit that this gap stems from a true catastrophe,

  97. pu être sauvés par les traitements conventionnels.

    nor that you’re responsible for the deaths of many people who could have been saved by conventional treatments.

  98. Déclarez simplement: « Oui mais en fait beaucoup de malades n'osent pas sauter le

    Simply state: “Yes, but in fact, many patients dare not take this step after seeing the principles of my method.”

  99. pas après avoir vu les principes de ma méthode,

    It’s therefore logical that we receive no feedback from them.

  100. c'est donc logique de ne recevoir aucun retour de ceux- là»,

    Or say instead: “Many people recover, but you know—

  101. ou encore: « Beaucoup guérissent mais vous savez,

    they’re too shy to leave me a testimonial.”

  102. ils sont trop timides et n'osent pas me laisser un témoignage. .

    (end punctuation omitted)

  103. Ne nous voilons pas la face.

    Let's not deceive ourselves.

  104. Rien qu'en France, ce genre de gourous poussent chaque année des dizaines de

    Just in France, each year these kinds of gurus

  105. milliers de malheureux vers une mort et des souffrances évitables.

    push tens of thousands of unfortunate people toward avoidable death and suffering.

  106. C'est très grave, mais ils n'y arriveraient pas sans complices.

    This is extremely serious,

  107. Je veux parler de ce flot de crédules sans aucun esprit critique qui partagent

    but they couldn’t succeed without accomplices.

  108. joyeusement les vidéos de ces gourous sur les réseaux,

    I’m referring to the flood of gullible people—completely lacking critical thinking—who cheerfully share

  109. mais aussi dans une moindre mesure des plateformes qui hébergent ces vidéos et

    these gurus’ videos on social media,

  110. ignorent les signalements dès qu'il y a de l'audience.

    but also, to a lesser extent, the platforms hosting these videos and ignoring reports as soon as they attract an audience.

  111. Je veux parler de gens comme les organisateurs de TEDxRohan qui en 2019 ont donné

    I’m referring to people like the organizers of TEDxRohan in 2019,

  112. une voix à l'un de ces gourous.

    who gave one of these gurus a platform to speak.

  113. Je veux aussi parler des ministres de la Santé, Agnès Buzyn en France,

    I’m also referring to health ministers—like Agnès Buzyn in France,

  114. Maggie De Block en Belgique, dont le rôle est de veiller à notre santé,

    and Maggie De Block in Belgium—whose role is to safeguard our health,

  115. mais qui ne font rien pour arrêter les catibombes,

    yet they do nothing to stop these ‘quack-bombs’,

  116. estimant que ce n'est pas leur responsabilité.

    believing it’s not their responsibility.

  117. Tous ces acteurs, eux aussi, ont du sang sur les mains.

    All these actors, too, have blood on their hands.

  118. Rien de tout ceci n'est toutefois une fatalité.

    Yet none of this is inevitable.

  119. Thomas de La Tronchambière l'a encore prouvé récemment.

    Thomas de La Tronchambière recently proved it again.

  120. Après avoir dénoncé l'incroyable bourde des organisateurs de TEDxRohan,

    After publicly denouncing the shocking blunder by the TEDxRohan organizers,

  121. il a été invité à une grande réunion d'organisateurs d'événements TEDx à travers

    he was invited to a major gathering of TEDx event organizers across the French-speaking world.

  122. toute la francophonie.

    The goal was to establish mechanisms ensuring that what happened in Rohan never happens again.

  123. Le but: mettre en place des mécanismes pour que ce qui s'est passé à Rohan ne se

    Face a health guru promising to cure a fatal disease by exploiting the survivorship bias—

  124. reproduise plus.

    don’t stay passive.

  125. Face à un gourou santé promettant la guérison d'une maladie mortelle exploitant le

    Politely but firmly point out to them that they’re pushing their listeners toward near-certain death.

  126. biais du survivant, ne restez pas impassible.

    Report such videos; report the guru to the authorities.

  127. Faites- lui remarquer poliment mais fermement qu'il pousse les gens qui l'écoutent

    Above all, train yourself and your loved ones in critical thinking.

  128. vers une mort presque certaine.

    Report such videos; report the guru to the authorities.

  129. Signalez ces vidéos, dénoncez- le aux autorités.

    Above all, train yourself and your loved ones in critical thinking.

  130. Surtout, formez- vous et votre entourage à l'esprit critique.

    Above all, train yourself and your loved ones in critical thinking.

  131. Et si vous avez un problème de santé, consultez

    If you have a health problem, consult a doctor.

  132. un médecin. Un vrai.

    A real one.