Actualidad informática

Relacionado con la entrada “Lo que valen las encuestas”, vamos a reflexionar un poco sobre el valor de los estudios científicos desde el punto de vista estadístico, para poner en contexto toda esa avalancha de noticias que nos encontramos cada día en el periódico y que dicen algo así como: “Un estudio demuestra que (rellénese a gusto del lector)”. Variaciones al titular suelen incluir la palabra “prestigioso”.

En este post vamos a asumir dos cosas: primero, que nos creemos la noticia (cosa no siempre saludable dependiendo de la fuente donde la leamos); segundo, que el estudio sea en realidad un estudio (cosa que no siempre ocurre), realizado con una metodología adecuada y por alguien con conocimientos en el tema.

Con ese punto de partida, el estudio en cuestión debería tener en alguna parte una descripción del modelo estadístico utilizado. En ocasiones se cuenta incluso en el abstract, que es el resumen del estudio que nos ponn en la cabecera, para los que no tienen ganas de leérselo entero. Uno de los datos más importantes es el valor p utilizado, que usualmente está limitado a un valor por debajo de 0.05 o incluso 0.001.

En estadística, el valor p tiene una definición bastante incomprensible: “la probabilidad de obtener un valor como el observado o más extremo si la hipótesis nula (H0) es cierta.” Para dar una explicación menos rigurosa y más intuitiva, el límite superior de nuestro valor p es la probabilidad de que un experimento de un resultado por casualidad. Es decir, que si un estudio limita su valor p a por debajo de 0.05, eso significa que esos resultados tienen menos de un 5% de posibilidades de haber salido de chiripa.

Uno debería estar pensado que, vaya, con esas probabilidades un estudio es todo lo que necesitamos para demostrar que el chicle provoca cáncer y publicarlo en primera plana. Pero vamos ahora a poner este dato un poco en contexto:

Yo, demás de escribir un blog, en los ratos libres me dedico a hipnotizar monedas de 20 duros (aún tengo algunas). Les hablo, les hablo y les convenzo de que tienen que salir siempre cara, y así voy por lo bares haciendo apuestas para poder llegar a fin de mes. Para demostrátelo científicamente, podemos hacer un experimento estadístico y establecer un valor p de 0.05. Como la probabilidad de sacar una cara es de 0.5 (no consideramos cantos), un experimento que acepte la hipótesis nula H0 (es decir, que tengo poderes mentales ocultos) sería sacar cinco caras consecutivas. Porque la probabilidad de hacer eso sería de 0.5 x 0.5 x 0.5 x 0.5 x 0.5 = 0.03125, por debajo ya de nuestro límite de 0.05. ¿De acuerdo?

Hoy no me he levantado especialmente hipnotizante, así que tiro una moneda y sale cara, otra y sale cara, pero a la tercera sale cruz. Lo vuelvo a intentar y a la primera ya saco cruz. Pero, antes de que pienses que intentaba tomarte el pelo, te enseño un video grabado hace un par de años en el que aparezco sacando 5 caras seguidas. Además el vídeo no puede ser un truco porque en él aparece un amigo común en el que confías absolutamente. Ahí lo tienes: hipnotizo monedas de 20 duros.

¿Qué ha pasado aquí? Algo muy sencillo: los experimentos estadísticos no son infalibles, o como dicen los ingleses, shit happens. Con nuestro valor p de 0.03 tenemos bastante seguridad en que, repitiendo el mismo experiemento 100 veces, de media en 3 nos saldrán 5 caras seguidas. O sea, que si hay 100 hipnotizadores de monedas de 20 duros como yo en el mundo, seguramente tres tengan pruebas de ello. Esto debe servir al lector como otra herramienta escéptica para no dejarse engañar por gente intentando demostrar algo basándose en un estudio del año mil novecientos sesenta y cinco (y cosas peores he visto). Un estudio no sirve para mucho, por eso, cuando hay algo lo suficientemente importante ahí fuera, comunidades de investigadores replican el experimento porque, aunque la fuente sea absolutamente fiable, una vez más shit happens.