Especialistas propõem novos critérios para avaliar revistas científicas

Em comentário publicado na revista Nature, pesquisadores apontam a necessidade de se repensar o fator de impacto como critério predominante na avaliação de periódicos

Elton Alisson | Agência FAPESP – A necessidade de repensar o fator de impacto como critério predominante na avaliação de publicações científicas foi tema de um comentário publicado na revista Nature, no dia 28 de maio, por especialistas de diversas áreas.

Os autores e cossignatários do texto – entre eles Renato Hyuda Luna Pedrosa, professor da Universidade Estadual de Campinas (Unicamp) e coordenador do Programa de Indicadores de Ciência, Tecnologia e Inovação da FAPESP – ressaltaram a importância de buscar um conjunto de métricas mais amplo e transparente para avaliação dos periódicos científicos.

“Essa avaliação é resultado de um encontro realizado na Universidade de Leiden, na Holanda, em 2017. No evento, especialistas internacionais em bibliometria, editores de revistas científicas e representantes de agências de fomento à pesquisa discutiram a necessidade de construir novos critérios de avaliação de publicações científicas”, disse Pedrosa à Agência FAPESP.

Na opinião dos pesquisadores, o fator de impacto – concebido na década de 1970 como um método para avaliar a importância dos periódicos em suas respectivas áreas – passou a ser usado para fins diferentes do propósito original.

O indicador, que reflete a média de citações de artigos científicos publicados em um determinado periódico, tem sido usado, em diversos países, como critério para concessão de financiamento a projetos de pesquisa ou de avaliação de programas de pós-graduação.

“A finalidade original do fator de impacto, que era de apoiar a avaliação de periódicos e os pesquisadores na escolha de revistas para publicarem seus trabalhos, foi distorcida”, disse Pedrosa.

“O indicador passou a ser usado para tomada de decisão e isso começou a causar efeitos, como manipulações para inflar o índice de revistas científicas por meio de autocitação ou de citação cruzada [uma ação coordenada entre dois periódicos, pela qual um cita os artigos do outro]”, disse.

A fim de coibir essas práticas, os autores sugerem a criação de novos indicadores que possam contemplar as novas funções dos periódicos científicos, assim como as tradicionais.

Entre as funções praticamente inalteradas desde que as revistas científicas surgiram, há mais de 350 anos, estão as de permitir a garantia da autoria dos trabalhos, a revisão por pares, a curadoria das pesquisas, a disseminação dos resultados e o registro permanente dos dados.

O fator de impacto, assim como a maioria dos indicadores de uso comum, baseados em citações, captura apenas aspectos limitados dessas funções dos periódicos científicos. A criação de novos indicadores é particularmente importante, uma vez que as revistas científicas estão evoluindo rapidamente e se tornando plataformas para divulgar dados, métodos e objetos digitais, apontaram os pesquisadores.

“O surgimento de plataformas de publicação de artigos científicos do tipo open source [acesso aberto], por exemplo, tem representado um grande desafio para o método tradicional de trabalho das revistas científicas”, afirmou Pedrosa.

“Algumas das funções tradicionais dos periódicos científicos, como o arquivamento dos dados, ficam um pouco perdidas nesses novos sistemas de publicação científica. Por isso, também serão necessários novos indicadores para assegurar a qualidade desses sistemas”, avaliou.

Critérios claros

Como ressaltaram os autores do texto, simplesmente aumentar a quantidade de indicadores para avaliar as publicações científicas não equivale a melhorar a avaliação. Por isso, é preciso garantir que as novas métricas sejam construídas e usadas de forma responsável e que atendam a um conjunto de critérios claros. Entre esses critérios estão os de serem válidos – refletindo o conceito medido –, compreensíveis, transparentes, justos, adaptativos e reprodutíveis.

Outra sugestão feita por eles é a criação de um órgão, composto por representantes de todo o sistema de publicação científica, com foco em indicadores de avaliação de periódicos científicos.

O órgão poderia propor novos indicadores para abordar as diversas funções das revistas científicas, fazer recomendações de seu uso responsável e desenvolver novos padrões. Dessa forma, poderia ajudar a proteger contra “revistas predatórias” – publicações de baixa qualidade criadas para fins essencialmente financeiros – e dar orientações sobre publicações de acesso aberto e compartilhamento de dados, por exemplo.

“A ideia é que esse trabalho de discussão de novos indicadores de avaliação de periódicos científicos continue nos próximos anos para que se avance na construção de métricas novas e melhoradas”, disse Pedrosa.

O artigo Rethinking impact factors: find new ways to judge a journal (DOI: 10.1038/d41586-019-01643-3), de Paul Wouters, Cassidy R. Sugimoto, Vincent Larivière, Marie E. McVeigh, Bernd Pulverer, Sarah de Rijcke e Ludo Waltman, pode ser lido na revista Nature em www.nature.com/articles/d41586-019-01643-3.