Breve Introducción a los Informes Registrados

Roberto Rabasco -

Gracias a la metodologia de la revision por pares, los investigadores pueden reducir el sesgo en la recopilación de datos, aumentando así las posibilidades de que sus informes registrados se publiquen en más de 250 revistas.

¿Qué son los informes registrados?

¿Qué ocurre cuando se presiona a los investigadores para que obtengan "buenos resultados"? Obviamente, esto va a jugar en contra de uno de los objetivos finales de la ciencia, que es crear una investigación de alta calidad, publicada independientemente del resultado. Pero para que esto se convierta en algo real, primero hay que exigir que los resultados sean una moneda muerta en calidad.

Para que las decisiones editoriales sean ciegas a los resultados, tendríamos que reflexionar sobre lo que hace que la comprobación de hipótesis tenga valor científico, y eso es ambas cosas: la pregunta que formula y la calidad del método que utiliza, pero nunca el resultado que produce. Y esto es exactamente lo que buscan realmente los informes registrados, una reducción del sesgo de publicación.

Los Informes Registrados no son una idea nueva:

"Lo que necesitamos es un sistema de evaluación de la investigación basado únicamente en los procedimientos empleados. Si los procedimientos se consideran adecuados, sensatos y suficientemente rigurosos para permitir conclusiones a partir de los resultados, la investigación no puede entonces ser juzgada como no concluyente sobre la base de los resultados y rechazada por los árbitros o editores. El hecho de que los procedimientos fueran adecuados se juzgaría independientemente del resultado".

-Robert Rosenthal (1966) "Experimenter effects in behavioral research"

¿Cómo funcionan los informes registrados?

El proceso comienza cuando los autores presentan un manuscrito de la fase 1 que incluye una introducción, métodos y los resultados de cualquier experimento piloto que motive la investigación. El siguiente paso requiere que tanto los editores como los revisores evalúen el protocolo; si todo está bien, el manuscrito puede ofrecerse como aceptado en principio (IPA), lo que básicamente significa que si los autores realizan el experimento de acuerdo con ese protocolo aprobado, sólo entonces la revista prácticamente garantiza su publicación.

Tras la recopilación de datos, los autores vuelven a presentar un manuscrito de fase 2 que incluye la introducción y los métodos del envío original, además de los resultados y la discusión. Es posible que los autores deban compartir los datos en un archivo público y de libre acceso y compartir cualquier ensayo de análisis de datos. El artículo final se publica de forma similar a una investigación estándar una vez completado este proceso, lo que ofrece a los lectores una gran confianza en el proceso libre de prácticas de investigación cuestionables.

Algunos pueden argumentar que este proceso preestablecido podría limitar la flexibilidad del procedimiento y la creatividad analítica. El formato tiene mecanismos claros para evitar que se limiten los descubrimientos científicos. Las desviaciones en los procedimientos aprobados se permiten si los autores informan al comité editorial inmediatamente y luego en el informe final publicado. Aunque los autores están obligados a informar de los resultados de los métodos prerregistrados, son libres de realizar e informar de otros métodos exploratorios no registrados. Los resultados se informan en una sección separada de los Resultados para asegurar que los lectores diferencien entre los resultados confirmatorios y los exploratorios.

¿Por qué son importantes los informes registrados?

En primer lugar, un claro beneficio para los autores surge directamente de las tasas de rechazo de manuscritos. Por ejemplo, la tasa de rechazo de la revista Cortex para los informes registrados aceptados es sólo del 10%, mientras que la de los envíos regulares es del 90%. Esto no se debe a que se haya bajado el listón de la publicación, sino a que el proceso de revisión de la fase 1 es capaz de resolver los problemas metodológicos de un estudio antes de que surjan.

Debido a que el diseño del estudio se revisa antes de la recogida de datos, los Informes Registrados tienen más probabilidades de ser publicados en la revista a la que se enviaron originalmente, lo que evita el coste de tiempo que supone volver a enviar los manuscritos a varias revistas cuando son rechazados. Se invierte tiempo por adelantado, pero se recupera al final.

En segundo lugar, elimina una serie de prácticas de investigación cuestionables, como la baja potencia estadística, la comunicación selectiva de los resultados y el sesgo de publicación, al tiempo que permite una flexibilidad total para realizar análisis exploratorios (no registrados).

  • Falta de replicación: la frase se acuñó a principios de la década de 2010 y afecta de manera más severa a las ciencias sociales y la medicina. Básicamente, bloquea la eliminación de los falsos descubrimientos, bases sobre las que se construyen los futuros estudios.
  • Baja potencia estadística: aumenta la probabilidad de que un hallazgo estadísticamente significativo represente un resultado falso positivo.
  • P-hacking: se produce cuando los investigadores recogen o seleccionan datos o análisis estadísticos hasta que los resultados no significativos se convierten en significativos.

"Cuando una medida se convierte en un objetivo, deja de ser una buena medida".

-Ley de Goodhart

  • HARKing: o plantear una hipótesis después de conocer los resultados. Consiste en presentar una hipótesis a priori cuando se ha generado a partir de los datos.
  • Sesgo de publicación: se produce cuando las revistas rechazan manuscritos porque informan de resultados negativos o indeseables.
  • Falta de intercambio de datos: impide el metanálisis detallado y dificulta la detección de la fabricación de datos.

Por último, el formato proporciona un incentivo para que los investigadores realicen importantes estudios de replicación y proyectos que requieren muchos recursos. Proyectos que, de otro modo, sería demasiado arriesgado intentar si el éxito de la publicación depende de los resultados.

En Orvium nos esforzamos por ofrecer a nuestros usuarios las mejores herramientas de calidad en materia de publicación de investigaciones, y Registered Reports es una de las más importantes, que tiene mucho que ver con la mejora no sólo de las posibilidades de dar a conocer su trabajo, sino, sobre todo, de la forma en que funciona la ciencia. Visite nuestra aplicación en https://dapp.orvium.io

Referencias