Wilsdon: la revisión por pares distribuida (DPR, por sus siglas en inglés) reduce a la mitad el tiempo entre la presentación de un proyecto y la decisión final (foto: Phelipe Janning/Agência FAPESP)
La afirmación fue hecha por el investigador británico James Wilsdon, director ejecutivo del Research on Research Institute, en entrevista concedida a la Agência FAPESP
La afirmación fue hecha por el investigador británico James Wilsdon, director ejecutivo del Research on Research Institute, en entrevista concedida a la Agência FAPESP
Wilsdon: la revisión por pares distribuida (DPR, por sus siglas en inglés) reduce a la mitad el tiempo entre la presentación de un proyecto y la decisión final (foto: Phelipe Janning/Agência FAPESP)
Por Karina Toledo | Agência FAPESP – Científico social de formación, el británico James Wilsdon se ha convertido en uno de los nombres más reconocidos del llamado campo de la “metaciencia”, un área que propone el uso de métodos científicos para analizar el propio sistema de investigación, buscando aumentar su eficiencia. Estuvo en Brasil para participar en el seminario “Research on Research and Innovation Project: Indicators, Metrics, and Evidence of Impacts”, celebrado en la FAPESP y en la Universidad Estatal de Campinas entre los días 10 y 11 de julio.
Además de ocupar cargos académicos en universidades británicas como Sheffield, Sussex y Lancaster, Wilsdon trabajó en organizaciones no gubernamentales, think tanks y fue director de política científica de la Royal Society – la academia nacional de ciencias del Reino Unido.
Actualmente, es profesor de research policy (política de investigación) en el University College London (UCL) y director ejecutivo del Research on Research Institute (RoRI) de la UCL, que ayudó a fundar en 2019 con la misión de “liberar el potencial de los 3 billones de dólares invertidos globalmente en investigación cada año”, además de “transformar culturas y sistemas de investigación”. Desde 2022, también es miembro del Consejo Internacional de Ciencia (ISC).
Durante su visita a Brasil, Wilsdon concedió una entrevista a la Agência FAPESP. Lea a continuación, los principales fragmentos.
Agência FAPESP – En su presentación usted mencionó términos como “metaciencia”, “ciencia de la ciencia” e “investigación de la investigación”. Todos ellos están relacionados, de algún modo, con el estudio de cómo se lleva a cabo, publica y evalúa la investigación. ¿Podemos considerarlos sinónimos? ¿A qué se refieren exactamente?
James Wilsdon – Es un poco confuso, lo sé. Hay cuatro términos que se han vuelto más prominentes en la última década: ‘metaciencia’, ‘metainvestigación’, ‘ciencia de la ciencia’ e ‘investigación de la investigación’. Y ninguno de ellos es completamente nuevo. Son campos de estudio que existen desde hace más de cien años, de diferentes formas. Pero todos representan un apetito creciente, un entusiasmo creciente por usar métodos científicos sólidos para analizar el propio sistema científico. Así que, la mejor definición sería: la metaciencia es la ciencia de la ciencia. Es usar un conjunto de métodos científicos para entender el funcionamiento del sistema científico. Y usar ese conocimiento y las evidencias obtenidas para intervenir en el sistema, tratar de mejorarlo y hacerlo funcionar de forma más eficiente y justa. Entonces, todos estos términos representan el uso de metodologías más sofisticadas para comprender y transformar la ciencia.
Agência FAPESP – El Research on Research Institute fue creado en 2019 y luego surgieron varias iniciativas en este campo, como la Metascience Unit, creada por el gobierno británico en 2024, y más recientemente la Metascience Alliance. ¿Por qué cree usted que este tema ha cobrado tanta relevancia en los últimos años?
Wilsdon – Bueno, sí, hay muchas cosas sucediendo en cuanto a intentar traer un poco más de coordinación a este campo de trabajo. Cada vez hay más investigadores involucrandose en estos temas [iniciativas bottom-up]. Siguen haciendo investigación biomédica o en psicología, economía, física o lo que sea que hagan, pero dedican parte de su tiempo a investigar la propia investigación. Estudian cómo funciona en sí el sistema científico. Y también hay iniciativas gubernamentales [top-down], como la Metascience Unit. En este caso, el gobierno central y la agencia nacional de financiamiento se unieron para tratar de acelerar este tipo de trabajo en el Reino Unido. Y cosas similares están ocurriendo en varios países. También hay un movimiento por parte de los financiadores de investigación, sean públicos o fundaciones privadas, para apoyar iniciativas en esta área. Un ejemplo es la Wellcome Trust, del Reino Unido, que está invirtiendo en OpenAlex, una base de datos de publicaciones y citas. Como es una base abierta, cualquiera puede usarla sin licencia para hacer metaciencia.
Agência FAPESP – En un editorial publicado el 8 de julio, la revista Nature afirmó que “la metaciencia puede mejorar la ciencia, pero también necesita ser útil para la sociedad”. ¿Cómo se puede mostrar la importancia de este campo de estudio a quienes no pertenecen al ámbito académico?
Wilsdon – Ese es un reto importante. La metaciencia busca evitar la pérdida de recursos y aumentar el impacto de la investigación. Y, por supuesto, el uso más eficiente del dinero público beneficia la sociedad como un todo. Pero es algo un poco distante para la mayoría de las personas. Es más difícil de ‘vender’ que la idea de ‘hacer investigación para curar el cáncer’. Pero si queremos hacer investigación sobre el cáncer, es importante estudiar cómo asignar los recursos de forma eficiente, evitar la duplicación [sobreposición de esfuerzos]. En algunas áreas hay muchos ejemplos de malas prácticas de investigación, estudios que no pueden replicarse, resultados no reproducibles y, en casos extremos, fraude científico en diversas formas. Entonces, otro objetivo de la metaciencia es llamar la atención sobre lo que no está funcionando bien, para poder corregirlo. En mi opinión, todo esto tiene un beneficio público. No obstante, el editorial de Nature tiene razón: es un desafío para la comunidad de la metaciencia intentar demostrar con mayor claridad el valor de todo esto ante un grupo amplio de actores interesados (stakeholders) y asegurarse de que estamos enfocados en los resultados sociales más relevantes, que no estamos simplemente haciendo eso para jugar con la ciencia, sino intentando garantizar que la ciencia pueda contribuir con todo su potencial a la economía, la sociedad, la salud, la crisis climática y todos los grandes retos que necesitamos resolver.
Agência FAPESP – ¿Existe el riesgo de que los problemas señalados del modo en cómo se hace investigación se usen como justificación para recortes en la financiación?
Wilsdon – Sí, es un riesgo. Hemos visto esto ocurrir recientemente en Estados Unidos [en mayo, el presidente Donald Trump emitió una Orden Ejecutiva titulada Restaurando el Estándar de Oro de la Ciencia, en la que afirmó que la investigación en ciencia, tecnología, ingeniería y matemáticas está enfrentando una “crisis de reproducibilidad” resultante de la “falsificación de datos” por parte de investigadores y de la publicación de investigaciones “altamente engañosas” por agencias federales. También criticó las políticas de diversidad, equidad e inclusión, alegando que “politizaron aún más la ciencia”]. Yo creo que es un error culpar al movimiento que busca mejorar la ciencia por las acciones de Donald Trump y su gobierno, porque no creo que actúen de buena fe, sino que están buscando una excusa. Pero, por supuesto, tenemos que ser conscientes de que este tipo de cosas pueden ocurrir. Pero ¿cuál es la alternativa? Si sabemos que hay problemas en la ciencia, ¿debemos simplemente esconderlos bajo la alfombra? A largo plazo, eso sería peor para la ciencia, porque, eventualmente, los hechos saldrán a la luz. No tenemos realmente otra alternativa. Necesitamos ser inteligentes en cómo presentamos los hechos. Entre las personas que conozco involucradas en movimientos de metaciencia, de ciencia abierta o de reproducibilidad de resultados, nadie defiende recortes en la inversión pública en ciencia, al contrario, la mayoría son defensores firmes de una mayor financiación. Lo que queremos es que esos recursos se utilicen con sabiduría y eficiencia.
Agência FAPESP – Usted mencionó en su presentación experimentos que viene realizando el Research on Research Institute para probar métodos alternativos a la peer review (revisión por pares) en la evaluación de proyectos de investigación. ¿Podría explicar mejor lo que viene siendo examinado?
Wilsdon – Algo que hemos estado haciendo recientemente y que ha llamado mucho la atención es lo que llamamos distributed peer review [DPR, revisión por pares distribuida]. Funciona así: cuando presentas una solicitud de financiamiento, automáticamente aceptas actuar como revisor de tres o cuatro propuestas enviadas en la misma convocatoria. Es decir, todas las personas que presentan un proyecto se convierten también en revisores automaticamente. ¿Por qué esto es potencialmente útil? Porque resuelve algunos de los problemas observados en el sistema tradicional de revisión por pares. El principal es la dificultad para encontrar revisores especializados y de alta calidad. Y aun cuando alguien acepta hacer el trabajo, muchas veces no lo entrega o se retrasa. Así que cuando se organiza una convocatoria de propuestas, el proceso puede volverse muy lento. La evidencia de las primeras pruebas con el modelo DPR indica que aumenta drásticamente la eficiencia del proceso de revisión por pares. Como todos los revisores también están solicitando financiamiento, tienen interés en que el proceso ocurra de manera ágil. Hicimos una primera prueba en una convocatoria lanzada por la Fundación Volkswagen en Alemania, con resultados positivos. Y el gobierno británico repitió este experimento en una convocatoria de la UKRI [la agencia de fomento a la investigación del Reino Unido]. Los resultados muestran que la DPR reduce a la mitad el tiempo entre la presentación de un proyecto y la decisión final. Ahora, otras agencias de fomento de Europa planean experimentar con este modelo, entre ellas la Swiss National Science Foundation. No es algo complicado, costoso ni difícil. Es solo un pequeño ajuste en el proceso que, potencialmente, reduce el tiempo a la mitad. Son pequeñas acciones que pueden generar grandes ganancias en términos de eficiencia del proceso.
Agência FAPESP – ¿No existe el riesgo de que el revisor, en ese contexto, evalúe negativamente a sus competidores solo para favorecer su propia propuesta?
Wilsdon – Potencialmente sí, pero sería muy evidente, muy obvio. Los experimentos han mostrado que, en general, las personas no actúan de forma deshonesta. Se comportan como revisores y tratan las propuestas que evalúan de la misma forma en que quieren que se trate su propia propuesta. No es un método perfecto ni sirve para todo tipo de convocatoria. A veces es necesario que los revisores provengan de otras áreas o incluso de otro sector, como la industria, por ejemplo. Pero para convocatorias académicas clásicas es algo con cierto potencial de aplicación.
Agência FAPESP – Además de la demora, ¿este nuevo método ayuda a resolver otros problemas del sistema de revisión por pares, como los sesgos en la evaluación, por ejemplo?
Wilsdon – El DPR soluciona dos problemas: encontrar revisores calificados y reducir el tiempo de evaluación de los proyectos. En cuanto a la cuestión de los sesgos, este nuevo método no necesariamente los soluciona, pero en teoría tampoco debería agravarlos.
Agência FAPESP – El Research on Research Institute organizó este año la Metascience 2025 Conference y, durante el evento, se lanzó la Metascience Alliance. ¿Podría explicar de qué se trata esta iniciativa?
Wilsdon – Básicamente, se trata de una alianza de instituciones y no de individuos. Hay grupos de investigación vinculados a universidades o institutos, agencias de financiamiento, ministerios gubernamentales, entre otros. El Research on Research Institute es un miembro importante. Es un área que se ha vuelto bastante activa, hay muchas cosas ocurriendo, y la idea de esta alianza es tratar de coordinar los trabajos, conectar y construir la comunidad de la mejor manera posible. La iniciativa ha sido coordinada por el Center for Open Science, de Estados Unidos, y creo que entre 25 y 30 organizaciones se unieron en la primera semana. Y está abierta a otras organizaciones interesadas. La participación no tiene costo, al menos inicialmente. Contamos con financiamiento para unos dos años de trabajo. Eventualmente necesitaremos más, pero no será una gran suma. Ese financiamiento inicial proviene del Center for Open Science y recaudamos un poco más durante la Metascience 2025 Conference. Es simplemente un intento de fortalecer este campo, aportar más coherencia y cohesión. Y es realmente abierta, ya sea para entidades públicas o privadas.
The Agency FAPESP licenses news via Creative Commons (CC-BY-NC-ND) so that they can be republished free of charge and in a simple way by other digital or printed vehicles. Agência FAPESP must be credited as the source of the content being republished and the name of the reporter (if any) must be attributed. Using the HMTL button below allows compliance with these rules, detailed in Digital Republishing Policy FAPESP.