![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/Lise_Vaudor_headband-1.png\")
<\/p>\n<\/p>\n
Il y a peu de temps je suis tomb\u00e9e sur cet article qui m’a laiss\u00e9e songeuse:<\/p>\n
Ioannidis JPA (2005) Why Most Published Research Findings Are False.<\/em> PLoS Med 2(8):e124. (https:\/\/doi.org\/10.1371\/journal.pmed.0020124<\/a>\u000b)<\/p>\n Comme son titre l’indique, cet article s’appuie sur des calculs de probabilit\u00e9s pour montrer que lorsqu’un chercheur publie un r\u00e9sultat significatif, il y a en fait de fortes chances pour que ce r\u00e9sultat soit faux<\/strong>.<\/p>\n Pass\u00e9 le premier stade de stup\u00e9faction (\u00ab\u00a0Comment est-ce possible?\u00a0\u00bb), le deuxi\u00e8me stade de d\u00e9couragement (\u00ab\u00a0Las! A quoi bon continuer \u00e0 chercher?\u00a0\u00bb), le troisi\u00e8me stade de r\u00e9silience (\u00ab\u00a0Bon ben, puisque c’est comme \u00e7a je n’ai qu’\u00e0 rentrer chez moi!\u00a0\u00bb), j’ai eu envie de comprendre d’o\u00f9 l’auteur tirait cette conclusion (qui, si on l’en croit, aurait de fortes chances d’\u00eatre fausse, donc!).<\/p>\n J’ai donc tent\u00e9 de m’approprier son raisonnement \u00e0 travers une petite mise en situation\/bande dessin\u00e9e (une fois n’est pas coutume, ce billet ne traite pas du tout de R, mais uniquement de statistiques!).<\/p>\n Imaginons donc un chercheur souhaitant savoir quelle est la couleur d’une micro-b\u00eab\u00eate<\/strong> unicellulaire si minuscule qu’il ne peut l’observer directement (m\u00eame si nous, gr\u00e2ce \u00e0 nos dons d’omniscience, voyons bien que cette micro-b\u00eab\u00eate est rose)<\/p>\n Le chercheur formule une hypoth\u00e8se quant \u00e0 la couleur de la micro-b\u00eab\u00eate<\/strong> (ici, l’hypoth\u00e8se serait qu’elle est bleue) et dispose d’une m\u00e9thode pour tester son hypoth\u00e8se<\/strong>. Par exemple, il est capable de mesurer une quantit\u00e9 relative de pigment bleu et v\u00e9rifie si cette quantit\u00e9 augmente quand la quantit\u00e9 de micro-b\u00eab\u00eate augmente.<\/p>\n Ici, son test n’est pas concluant et il n’est pas en mesure d’affirmer que la micro-b\u00eab\u00eate est bleue.<\/p>\n Le chercheur va sans doute tester un certain nombre d’hypoth\u00e8ses<\/strong> de cette mani\u00e8re:<\/p>\n Et avec un peu de chance, il va \u00e9galement tester une hypoth\u00e8se vraie:<\/p>\n Dans ce cas, il aura une probabilit\u00e9 de 1\u2005\u2212\u2005\u03b2<\/em> d’obtenir un r\u00e9sultat significatif<\/strong>, ce qu’il va s’empresser (et c’est bien naturel) de communiquer au monde:<\/p>\n Revenons juste un instant \u00e0 cette valeur de 1\u2005\u2212\u2005\u03b2<\/em>, qui correspond \u00e0 la probabilit\u00e9 que le test indique un effet significatif si l’effet existe r\u00e9ellement. Cette valeur correspond \u00e0 la puissance<\/strong> d’un test.<\/p>\n La puissance d’un test r\u00e9sulte, grosso modo, d’une combinaison de plusieurs facteurs, et notamment de:<\/p>\n Bien qu’elle soit tr\u00e8s compliqu\u00e9e \u00e0 estimer, on peut n\u00e9anmoins dire que plus la taille d’effet est grande<\/strong>, plus la variabilit\u00e9 r\u00e9siduelle est faible<\/strong>, plus la taille d’\u00e9chantillon est grande<\/strong>, et plus l’on va avoir une puissance statistique \u00e9lev\u00e9e<\/strong>…<\/p>\n Malheureusement, il est aussi possible que le chercheur teste une hypoth\u00e8se fausse et obtienne un r\u00e9sultat malgr\u00e9 tout significatif.<\/p>\n Ce risque d’erreur correspond au fameux \u03b1<\/em> (souvent, \u03b1<\/em>\u2004=\u20040.05) des tests statistiques. En effet, quand on fait un test d’hypoth\u00e8se au seuil \u03b1<\/em>\u2004=\u20040.05 on accepte un niveau de risque de 5% de trouver un effet alors qu’il n’y en a pas.<\/p>\n Consid\u00e9rons maintenant deux scientifiques, un bien raisonnable (et bien peign\u00e9), qui ne teste qu’un petit nombre d’hypoth\u00e8ses<\/strong>, et un scientifique un peu plus foufou, qui envisage un nombre d’hypoth\u00e8ses plus important<\/strong> (dont certaines sembleront m\u00eame farfelues m\u00eame aux non-sp\u00e9cialistes des micro-b\u00eab\u00eates).<\/p>\n Dans le premier cas, le ratio R<\/strong> (nombre d’hypoth\u00e8ses vraies\/nombre d’hypoth\u00e8ses fausses) est de 1\/4<\/strong>, tandis qu’il est de 1\/10<\/strong> dans le deuxi\u00e8me.<\/p>\n Eh bien, il est en fait possible de calculer la probabilit\u00e9 qu’un r\u00e9sultat de recherche significatif soit effectivement vrai<\/strong> \u00e0 partir de \u03b1<\/em>, \u03b2<\/em>, et R, en passant par le calcul de probabilit\u00e9s d\u00e9crit dans le tableau ci-dessous (tir\u00e9 de l’article Ioannidis, 2005):<\/p>\n Ainsi, si<\/p>\n alors on a 71% de chances<\/strong> qu’un r\u00e9sultat significatif corresponde effectivement \u00e0 la couleur r\u00e9elle, soit (tout de m\u00eame) 29% de chances que le r\u00e9sultat fi\u00e8rement communiqu\u00e9 au monde soit faux.<\/p>\n Par ailleurs, si la puissance du test \u00e9tait plus faible<\/strong> -ici, 0.2- (par exemple parce que votre taille d’\u00e9chantillon est faible et vos mesures tr\u00e8s variables), alors cette probabilit\u00e9 descendrait \u00e0 50%<\/strong> (on aurait autant de chances que le r\u00e9sultat annonc\u00e9 soit faux qu’il soit vrai. Ouch).<\/p>\n Si en plus on a test\u00e9 tout un tas d’hypoth\u00e8ses pour sortir un r\u00e9sultat significatif (comme notre scientifique mal peign\u00e9 et son R=1\/10<\/strong>), alors on n’a que 29%<\/strong> de chances que le r\u00e9sultat annonc\u00e9 comme significatif soit vrai!<\/p>\n Si notre scientifique mal peign\u00e9 compense ses hypoth\u00e8ses excentriques par un travail acharn\u00e9 et r\u00e9ussit ainsi \u00e0 obtenir une puissance statistique de 0.5<\/strong>, il r\u00e9ussit \u00e0 augmenter ses chances que le r\u00e9sultat qu’il annonce est vrai \u00e0 50%<\/strong> (pas non plus de quoi pavaner, mais c’est d\u00e9j\u00e0 mieux!).<\/p>\n Il peut aussi d\u00e9cider d’\u00eatre plus strict sur son risque d’erreur \u03b1<\/em><\/strong> en le diminuant \u00e0 (par exemple), 1%<\/strong>, et ainsi augmenter ses chances que tout r\u00e9sultat significatif soit effectivement vrai avec une probablit\u00e9 de 67%<\/strong>.<\/p>\n On peut voir plusieurs le\u00e7ons \u00e0 cette \u00ab\u00a0d\u00e9monstration\u00a0\u00bb… La premi\u00e8re, comme le titre de ce billet l’indique, et que c’est une tr\u00e8s mauvaise id\u00e9e de de torturer ses donn\u00e9es jusqu’\u00e0 ce qu’elles parlent (tester des corr\u00e9lations entre tout un tas de variables, transform\u00e9es de tout un tas de mani\u00e8res, jusqu’\u00e0 obtenir un r\u00e9sultat significatif que l’on pourra publier!), car alors on a de fortes chances de publier un r\u00e9sultat qui est en fait faux.<\/p>\n On peut en fait comprendre ce probl\u00e8me comme r\u00e9sultant de plusieurs caract\u00e9ristiques (aux effets quelque peu pervers) de la recherche scientifique telle qu’on la pratique de nos jours.<\/p>\n Une des ces caract\u00e9ristiques est l’importance extr\u00eame accord\u00e9e \u00e0 la p-value<\/strong> en recherche quantitative. Dans certains domaines, une p-value<5% semble \u00eatre un Graal, garant \u00e0 la fois la \u00ab\u00a0scientificit\u00e9\u00a0\u00bb d’une \u00e9tude et de son apport \u00e0 un domaine. Or d’une part il existe d’autres mani\u00e8res de faire de la science et d’analyser ses donn\u00e9es que l’inf\u00e9rence statistique fr\u00e9quentiste classique et ses tests d’hypoth\u00e8se (oui oui, c’est une statisticienne qui dit \u00e7a). D’autre part, la \u00ab\u00a0philosophie\u00a0\u00bb des tests d’hypoth\u00e8se est parfois mal comprise, et est appliqu\u00e9e comme une recette de cuisine l\u00e0 o\u00f9 un peu de recul et de nuance serait n\u00e9cessaire (la notion de puissance statistique<\/strong>, notamment, m\u00e9riterait un peu plus d’attention qu’on ne lui en accorde g\u00e9n\u00e9ralement, comme on l’a vu pr\u00e9c\u00e9demment).<\/p>\n Une autre cause \u00e0 ce probl\u00e8me est le \u00ab\u00a0biais\u00a0\u00bb correspondant au fait que l’on publie plus volontiers (ou plus facilement) un r\u00e9sultat significatif qu’un r\u00e9sultat qui ne l’est pas. Or l’incapacit\u00e9 \u00e0 confirmer l’existence d’un effet, pourvu que la puissance statistique du test soit suffisante, devrait elle aussi \u00eatre consid\u00e9r\u00e9e comme un r\u00e9sultat<\/strong> (et non pas simplement \u00eatre mise sous le tapis comme impubliable ou impossible \u00e0 mettre en valeur)…<\/p>\n","protected":false},"excerpt":{"rendered":" Le pav\u00e9 dans la mare Il y a peu de temps je suis tomb\u00e9e sur cet article qui m’a laiss\u00e9e songeuse: Ioannidis JPA (2005) Why Most Published Research Findings Are False. PLoS Med 2(8):e124. (https:\/\/doi.org\/10.1371\/journal.pmed.0020124\u000b) Comme son titre l’indique, cet article s’appuie sur des calculs de probabilit\u00e9s pour montrer que lorsqu’un chercheur publie un r\u00e9sultat significatif, il y a en fait de fortes chances pour que ce r\u00e9sultat soit faux… Read More<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5],"tags":[],"class_list":["post-703","post","type-post","status-publish","format-standard","hentry","category-tous-les-posts"],"_links":{"self":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/703","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/comments?post=703"}],"version-history":[{"count":22,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/703\/revisions"}],"predecessor-version":[{"id":782,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/703\/revisions\/782"}],"wp:attachment":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/media?parent=703"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/categories?post=703"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/tags?post=703"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Essayons de comprendre<\/h1>\n
![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive7.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive8.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive9.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive12.JPG\")
![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive15.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive17.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive19.JPG\")
<\/p>\n\n
![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive20.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive23.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive24.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/journal.pmed.0020124.t001.png\")
<\/p>\n\n
![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive25.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive26.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive27.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive28.JPG\")
<\/p>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Torturer_ses_donnees\/diapos\/Diapositive29.JPG\")
<\/p>\nLa morale de l’histoire<\/h1>\n