Peer review: el dios de los científicos

Los científicos no tienen dioses, no tienen figuras de autoridad a las que obedecen con los ojos cerrados. O sea, no importa si tenés mucha plata, viste muchos documentales de física cuántica, hiciste un viaje espiritual por la India o ganaste un premio Nobel. Si decís que encontraste una nueva cura para el cáncer, tenés que mostrar pruebas, hechos, datos, gráficos y argumentos que muestre qué es y cómo funciona.

Así es la ciencia. Para mostrar esos datos, hay que escribir un artículo (paper para los amigos) y ofrecerlo para que otros lo revisen, repitan y corroboren o desmientan. Esto es el famoso sistema de revisión por pares, o peer review. El concepto de peer review es la institución más importante del mundo científico. La autoridad más elevada, que fiscaliza la veracidad de las teorías. Hasta que nuevos datos llevan a nuevas ideas, y se repite el proceso.

Bueno, así se supone que es la ciencia. En la vida real, algunos científicos son presionados por las instituciones públicas o privadas para las que trabajan, o sus mismos compañeros para publicar. Las malas lenguas dicen que la “calidad” de un científico no se mide por los descubrimientos útiles que hizo para la humanidad sino por cuántos kilos de papers publicó. Y por eso muchos hablan de publicar o morir. Publish or perish. A estas alturas me estarán odiando por usar tantos términos en inglés. Pero es así, son las palabras que se usan en ambientes académicos.

Las revistas (journals) en las que se publican estos papers funcionan de un modo particular. Y por una cuestión estética voy a dejar las cursivas y aclaraciones. Las más conocidas son Science y Nature, que publican papers de temas variados, y luego están las específicas de temas puntuales de cada rama de la ciencia como Monthly Notices of the Royal Astronomical Society sobre astronomía o Behavioral and Brain Sciences sobre psicología (la de verdad, no psicoanálisis). La teoría dice que uno investiga, escribe y envía a los editores. Ellos se encargan de revisar que no tenga errores graves de diseño: por ejemplo, si es un experimento de efectividad de alguna droga, que se usen muchos ratones (o personas) y no uno, que haya algún grupo de control que no haya recibido la droga pero sí un placebo, que las estadísticas estén bien hechas, que si se usaron personas, los sujetos en cuestión no sean amigos de los dueños del laboratorio (y que casualmente se hicieron millonarios el mes anterior). Lo básico, digamos.

Los journals más tradicionales se financian con las suscripciones de investigadores que las quieren recibir todas las semanas en sus casas, o Universidades, lo que también les brinda acceso a todos los papers anteriores. Acá empieza uno de los problemas: los editores reciben montañas de papers todos los días, y tienen que elegir los que creen más importantes, debido a que el espacio que tienen es limitado. Según el International Council for Science, hay evidencia anecdótica (una forma pintoresca de decir “en los pasillos se anda diciendo”) que los editores tienden a publicar más estudios si conocen personalmente a los autores o les gusta el tema en cuestión -más allá de la calidad científica en sí-.

Cuando se popularizó Internet empezaron a aparecer journals online con peer review, y claro, el problema del límite de espacio desapareció. El problema se trasladó a otro lado: para que se popularicen, su lectura tiene que ser libre, entonces ¿Cómo ganar dinero? Fácil, cobrar a los científicos por publicar. PLOS (Public Library Of Science), y sus ramas (ONE, Biology, Medicine, Computational Biology) es una de las más importantes y respetadas en el rubro de los Journals de acceso libre, y cobra unos 2000 dólares por publicar cada paper. Pero bueno, si uno cree que su investigación vale la pena, y las grandes revistas lo rechazaron (Nature y Science rechazan el 90% de los papers enviados), no queda otra que pagar ra prata.

Entonces en unas rechazan a todo el mundo, y en otras te piden un riñón a cambio. O sea, que haya un paper publicado en un journal con peer review es casi una garantía que lo que dice el científico es verdad. Muchos se toman al peer review como un dios, y sólo el título es una especie de verdad inapelable. Uno puede decir cualquier guasada, y si cita un paper. AH, debe ser cierto. Lo cual es un garrón, claro, porque igual que con las noticias, a veces el título dice una cosa y los datos otra. Pero bueno, la barrera de entrada tan grande era algo.

Hasta que algunos se avivaron. Quedaban muchas investigaciones afuera, y empezaron a surgir journals que prometen hacer peer review, y publicarte por 150 dólares. Hace poco, un australiano de nombre Peter Vamplew se cansó de que lo spameen los de International Journal of Advanced Computer Technology y les mandó un paper que se llama Get me off Your Fucking Mailing List, y consta de 10 páginas de esa frase, repetida y algunas ilustraciones:

Pensaba que no iban a responder, o lo iban a dejar de molestar. Pero se lo aceptaron, y le pidieron 150 dólares para pubicarlo.

También se hizo famoso a fines de 2014 un paper aceptado por el Journal of Computational Intelligence and Electronic Systems que fue enviado por Maggie Simpson, Edna Krabbapel y Kim Jong Fun.

En 2013, John Bohannon se inventó una investigación en la que “descubría” una cura para el cáncer extraída de líquenes. El paper estaba lleno de errores e inexactitudes obvias, y lo envió a 340 journals online. Un 60% se lo aprobó. Y rastreando las IP descubrió que muchos de ellos estaban radicados en la India o Nigeria (¿Se acuerdan de aquella estafa del nigeriano millonario que te quería regalar plata por email?). O sea, hay toda una organización de Predator Journals esperando cobrar para publicar cualquier porquería. ¿Y cómo esperar que realmente tengan peer review si ni leyeron el título? Los resultados se publicaron en Science: Who's Afraid of Peer Review?

Una vez más, los dioses -las autoridades incuestionables-, no sirven. Que exista un artículo no significa mucho, ahora vamos a tener que leerlo, y leer sus críticas y opiniones de expertos en la materia y todo eso. Lo que deberíamos haber hecho siempre, digamos. Lo bueno es que si mañana alguien aparece con un paper de título: “Entregarme a tu hermana cura el cáncer”, vas a poder responderle: “Si me dabas los 150 dólares te la entregaba, pero haciendo fraude científico, no. Así, no”.

La lista más actualizada de Predatory Publishers: http://scholarlyoa.com/2014/01/02/list-of-predatory-publishers-2014/

(2011) Bias in science publishing, International Council for Science http://www.icsu.org/publications/cfrs-statements/bias-in-science-publishing

Easterbrook PJ et al (1991) Publication Bias in Clinical Research, The Lancet. Apr 13;337(8746):867-72.

Song F et al (2010) Dissemination and publication of research findings: an updated review of related biases, Health Technology Assessment. Feb;14(8):iii, ix-xi, 1-193 doi: 10.3310/hta14080

Abraham John (2014) Deciding who should pay to publish peer-reviewed scientific research, The Guardian. 18 de septiembre http://www.theguardian.com/environment/climate-consensus-97-per-cent/2014/sep/18/who-should-pay-to-publish-scientific-research

Bohannon, John (2013) Who's afraid of peer review?. Science 4, October. Vol 342 no. 6154 pp. 60-65 DOI: 10.1126/science.342.6154.60 https://www.sciencemag.org/content/342/6154/60.summary

Butler, Declan (2013) Investigating Journals: The dark side of publishing. Nature 495, 433-435 (28 March 2013) doi:10.1038/495433a http://www.nature.com/news/investigating-journals-the-dark-side-of-publishing-1.12666