‘Ao evitar a perda de recursos e aumentar o impacto da pesquisa, a metaciência beneficia toda a sociedade’

Avaliação foi feita pelo pesquisador britânico James Wilsdon, diretor-executivo do Research on Research Institute, em entrevista concedida à Agência FAPESP

Karina Toledo | Agência FAPESP – Cientista social de formação, o britânico James Wilsdon tornou-se um dos nomes mais conhecidos da chamada “metaciência” – área que propõe o uso de métodos científicos para analisar o próprio sistema de pesquisa, buscando aumentar sua eficiência. Na semana passada, ele esteve no Brasil para participar do seminário “Research on Research and Innovation Project: Indicators, Metrics, and Evidence of Impacts”, sediado na FAPESP e na Universidade Estadual de Campinas (leia mais em: agencia.fapesp.br/55300).

Além de cargos acadêmicos em universidades britânicas, como Sheffield, Sussex e Lancaster, Wilsdon trabalhou em organizações não governamentais, think-tanks e como diretor de política científica da Royal Society – a academia nacional de ciências do Reino Unido.

Atualmente, é professor de research policy (política de pesquisa) na University College London (UCL) e diretor-executivo do Research on Research Institute (RoRI) da UCL, que ajudou a fundar em 2019 com a missão de “destravar o potencial dos US$ 3 trilhões investidos globalmente em pesquisa todos os anos”, além de “transformar culturas e sistemas de pesquisa”. Também é membro do Conselho Internacional de Ciência (ISC) desde 2022.

Durante sua passagem pelo Brasil, Wilsdon concedeu uma entrevista à Agência FAPESP. Leia a seguir os principais trechos.

Agência FAPESP – Em sua apresentação o senhor mencionou termos como “metaciência”, “ciência da ciência” e “pesquisa da pesquisa”. Todos de algum modo estão relacionados ao estudo de como a pesquisa é conduzida, publicada e avaliada. Podemos considerá-los sinônimos? A que se referem exatamente?
James Wilsdon – É um pouco confuso, eu sei. Há quatro termos que se tornaram mais proeminentes na última década. ‘Metaciência’, ‘metapesquisa’, ‘ciência da ciência’ e ‘pesquisa da pesquisa’. E nenhum deles é totalmente novo. São campos de pesquisa que existem há mais de cem anos, de diferentes formas. Mas todos representam um crescente apetite, um crescente entusiasmo em usar métodos científicos robustos para analisar o sistema científico em si. Então, a melhor definição seria: a metaciência é a ciência da ciência. É usar um conjunto de métodos científicos para entender o funcionamento do sistema científico. E usar esse conhecimento e as evidências obtidas para intervir no sistema, tentar melhorá-lo e fazê-lo funcionar de forma mais eficiente e justa. Então, todos esses termos representam o uso de metodologias mais sofisticadas para entender e mudar a ciência.

Agência FAPESP – O Research on Research Institute foi criado em 2019 e depois surgiram várias iniciativas nesse campo, como a Metascience Unit, criada pelo governo britânico em 2024, e mais recentemente, a Metascience Alliance. Por que nos últimos anos este tema tem ganhado mais relevância, na sua avaliação?
Wilsdon – Bem, sim, há muitas coisas acontecendo no sentido de tentar trazer um pouco mais de coordenação para esse campo de trabalho. Há muito mais pesquisadores se envolvendo com esses temas [iniciativas bottom up]. Eles continuam fazendo pesquisa biomédica ou em psicologia, economia, física ou o que quer que façam, mas dedicam parte de seu tempo para fazer pesquisa da pesquisa. Estudando como o sistema científico em si opera. E há também iniciativas governamentais [top down], como a Metascience Unit. Nesse caso, o governo central e a agência de financiamento nacional se uniram para tentar acelerar esse tipo de trabalho no Reino Unido. E há coisas semelhantes acontecendo em vários países. Há também um movimento por parte dos financiadores de pesquisa, sejam eles públicos ou fundações privadas, de apoiar iniciativas na área. Um exemplo é a Welcome Trust, do Reino Unido, que está investindo em OpenAlex, uma base de dados de publicações e citações. Como é uma base aberta, qualquer um pode usar sem licença para fazer metaciência.

Agência FAPESP – Em editorial publicado no dia 8 de julho, a revista Nature afirmou que “a metaciência pode aprimorar a ciência, mas também precisa ser útil para a sociedade”. Como mostrar a importância desse campo de estudos para quem não pertence ao meio acadêmico?
Wilsdon – Esse é um desafio importante. A metaciência visa evitar a perda de recursos e aumentar o impacto da pesquisa. E, claro, o uso mais eficiente do dinheiro público beneficia a sociedade como um todo. Mas é algo um pouco distante das pessoas. É mais difícil de ‘vender’ do que a ideia de ‘fazer pesquisa para curar o câncer’. Mas, se quisermos fazer pesquisa sobre câncer, é importante estudar como alocar recursos de forma eficiente, evitar duplicação [sobreposição de esforços]. Em algumas áreas há muitos exemplos de más práticas de pesquisa, estudos que não podem ser replicados, resultados não reproduzíveis e, em casos extremos, fraude científica de diversos tipos. Então, outro objetivo da metaciência é atrair a atenção para coisas que não estão funcionando bem, de modo que possamos corrigi-las. Ao meu ver tudo isso tem um benefício público. Contudo, o editorial da Nature está correto: é um desafio para a comunidade da metaciência tentar demonstrar mais visivelmente o valor de tudo isso para um grupo amplo de stakeholders e garantir que estamos focando nos resultados sociais mais importantes, que não estamos apenas fazendo isso para brincar com a ciência e sim tentando garantir que a ciência possa contribuir com todo o seu potencial para a economia, a sociedade, a saúde, a crise climática e todas as grandes coisas que precisamos resolver.

Agência FAPESP – Existe um risco de que eventuais problemas apontados no modo como pesquisas estão sendo feitas sejam usados como justificativa para cortes no financiamento?
Wilsdon – Sim, é um risco. Nós vimos isso acontecer nos Estados Unidos recentemente [em maio o presidente Donald Trump emitiu uma Ordem Executiva, intitulada Restaurando o Padrão-Ouro da Ciência, na qual afirmou que a pesquisa em ciência, tecnologia, engenharia e matemática está enfrentando uma "crise de reprodutibilidade" resultante da "falsificação de dados" por pesquisadores e da publicação de pesquisas "altamente enganosas" por agências federais. Também criticou as políticas de diversidade, equidade e inclusão que "politizaram ainda mais a ciência"]. Eu acho que é errado culpar o movimento que vem sendo feito para melhorar a ciência pelas ações de Donald Trump e seu governo, porque não acho que estão agindo de boa-fé e sim procurando uma desculpa. Mas, é claro, nós temos de estar conscientes de que esse tipo de coisa pode acontecer. Mas qual é a alternativa? Se nós estamos cientes de que há problemas na ciência, devemos apenas varrê-los para debaixo do tapete? No longo prazo isso será pior para a ciência, porque, eventualmente, os fatos virão à tona. Não temos realmente uma alternativa. Precisamos ser inteligentes no modo de apresentar os fatos. Entre as pessoas que eu conheço ligadas a movimentos de metaciência, de ciência aberta ou de reprodutibilidade de resultados, ninguém defende cortes nos investimentos públicos em ciência, pelo contrário. A maioria dessas pessoas também são fortes defensoras de maior financiamento. O que queremos é que esses recursos sejam gastos com sabedoria e eficiência.

Agência FAPESP – O senhor mencionou em sua apresentação experimentos que vêm sendo conduzidos pelo Research on Research Institute para testar métodos alternativos ao peer review (revisão por pares) na avaliação de projetos de pesquisa. Poderia explicar melhor o que vem sendo testado?
Wilsdon – Algo que estamos fazendo recentemente e atraiu muita atenção é o que chamamos de distributed peer review [DPR, revisão por pares distribuída]. Funciona assim: quando você submete um pedido de financiamento, automaticamente concorda em atuar como revisor para três ou quatro propostas submetidas no âmbito daquela mesma chamada. Então todas as pessoas que inscrevem um projeto tornam-se também revisores automaticamente. Por que isso é potencialmente útil? Porque resolve alguns dos problemas que observamos no sistema de revisão por pares. O principal é a dificuldade de encontrar revisores especializados de alta qualidade. E mesmo quando um deles concorda em fazer o trabalho, muitas vezes não o entrega ou atrasa. Então, quando se está organizando uma chamada de propostas o processo acaba se tornando muito demorado. As evidências dos primeiros testes com o modelo DPR indicam que ele aumenta dramaticamente a eficiência do processo de revisão por pares. Como todos os revisores estão também solicitando o financiamento, têm interesse de que o processo ocorra de forma rápida. Nós fizemos um primeiro teste em uma chamada lançada pela Fundação Volkswagen, na Alemanha, com resultados positivos. E o governo britânico repetiu esse experimento em uma chamada lançada pela UKRI [agência de fomento à pesquisa do Reino Unido]. Os resultados mostram que o DPR diminui pela metade o tempo entre a submissão de um projeto e a decisão final. Agora, outras agências de fomento da Europa pretendem fazer o experimento, entre elas a Swiss National Science Foundation. Não é algo complicado, caro ou difícil. É apenas um pequeno ajuste no processo que, potencialmente, reduz pela metade o tempo. São pequenas coisas que podem trazer grandes ganhos em termos de eficiência do processo.

Agência FAPESP – Não há risco de que o revisor, nesse contexto, avalie seus próprios concorrentes de forma negativa apenas para favorecer sua própria proposta?
Wilsdon – Potencialmente sim, mas fica muito evidente, muito óbvio. Os experimentos têm mostrado que, geralmente, as pessoas não se comportam mal. Elas estão se comportando como revisores e tratando as propostas que avaliam da forma como querem que as suas propostas sejam tratadas. Não é um método perfeito ou que serve para todos os tipos de chamada. Às vezes, é necessário que os revisores sejam de uma área de atuação diferente ou mesmo de um setor diferente, como o da indústria, por exemplo. Mas para as chamadas acadêmicas clássicas é algo que tem algum potencial de aplicação.

Agência FAPESP – Além da demora, há outros tipos de problemas do sistema de revisão por pares que esse novo método ajuda a resolver? Os vieses de avaliação, por exemplo?
Wilsdon – O DPR soluciona dois problemas: encontrar revisores qualificados e reduzir o tempo de avaliação dos projetos. Quanto à questão dos vieses, o método novo não necessariamente a soluciona, mas em tese não deve torná-la pior.

Agência FAPESP – O Research on Research Institute sediou este ano a Metascience 2025 Conference e, durante o evento, foi lançada a Metascience Alliance. Poderia explicar de que trata essa inciativa?
Wilsdon – Basicamente é uma aliança de instituições e não de indivíduos. Há grupos de pesquisa ligados a universidades ou institutos, há agências de fomento, ministérios governamentais, entre outros. O Research on Research Institute é um membro importante. É uma área que tem ficado bastante ativa, há muita coisa acontecendo e a ideia dessa aliança é tentar coordenar os trabalhos, conectar e construir a comunidade da melhor forma possível. A iniciativa tem sido coordenada pelo Center for Open Science, dos Estados Unidos, e acredito que entre 25 e 30 organizações aderiram logo na primeira semana. E está aberta para as demais organizações interessadas. A participação não tem custo, inicialmente. Temos financiamento para uns dois anos de trabalho. Eventualmente precisaremos de mais, mas não será nada grande. Esse financiamento inicial vem do Center for Open Science e levantamos um pouco mais durante a Metascience 2025 Conference. É apenas uma tentativa de fortalecer esse campo, trazer mais coerência, coesão. E é realmente aberto, seja a entidades públicas ou privadas.