Confusão com números

Estudo analisa artigos publicados na área médica em periódicos de língua inglesa, espanhola e portuguesa e destaca que métodos estatísticos mal planejados levam muitas vezes a conclusões errôneas

Por Alex Sander Alcântara

Agência FAPESP – Muitos trabalhos científicos que dão peso excessivo a cálculos estatísticos podem trazer conclusões discutíveis e equivocadas, de acordo com uma pesquisa publicada na Revista Brasileira de Anestesiologia.

O estudo, que analisou trabalhos publicados na área médica em periódicos de língua inglesa, espanhola e portuguesa, aponta que métodos estatísticos mal planejados, tomados como fatores definitivos, podem referendar conclusões errôneas.

A pesquisa, realizada por Mário José da Conceição, professor de Técnicas Cirúrgicas da Universidade Regional de Blumenau (Furb), detectou que o "erro da prova de equivalência", exemplos de "amostra muito grande" e "escolha errada de programa estatístico" são algumas das recorrências nos artigos.

Segundo Conceição, o objetivo do estudo foi apresentar alguns conceitos relacionados com os cálculos estatísticos que são fundamentais para a leitura e o pensamento críticos na literatura médica.

"A estatística, quando utilizada em trabalhos da área médica, tem como finalidade referendar conclusões. Muitos autores apóiam seus resultados de forma excessiva nos cálculos estatísticos, como prova incontestável de acerto. O risco implícito é que os cálculos matemáticos podem ter sido planejados de forma errada, manipulados voluntária ou involuntariamente, ou apresentar apenas uma das facetas do problema", disse à Agência FAPESP.

Um dos erros mais freqüentes e que comprometem os resultados é a prova de equivalência. Muitas vezes, afirma Conceição, o erro ocorre por desconhecimento do autor, que se limita a repetir a forma que foi consagrada por especialistas no assunto.

"A comparação entre duas amostras pode ser insuficiente para garantir a existência de determinado fenômeno, ou negá-lo por completo, mesmo que os testes estatísticos indiquem o contrário. O autor necessita explicar aos leitores esses pormenores e evitar concluir de forma absoluta a existência ou inexistência do fenômeno observado", salientou.

Conceição usa como exemplo um estudo hipotético que tenha por objetivo estudar a prevalência de acidentes entre duas empresas aéreas brasileiras durante a primeira semana de junho. "Se aplicarmos qualquer modalidade de testes estatísticos, os resultados jamais serão significativos, porque na primeira semana de junho não se registrou acidente aéreo no Brasil. Com base nisso, poderíamos afirmar que aviões não sofrem acidentes, ou que viajar de avião é 100% seguro sem nenhum risco."

"Essas conclusões na prática diária estão erradas. O cálculo correto deveria levar em consideração as inúmeras variáveis que podem contribuir para os acidentes e quais as probabilidades de elas ocorrerem. Nesse caso, ainda existem fatores agravantes do risco, como equipamentos sucateados ou controladores de vôos despreparados", afirmou.


Perpetuação do erro

Outro erro recorrente nas pesquisas, de acordo com Conceição, é isolar uma amostra grande ou pequena demais, levando a falsos resultados. "Centenas de pessoas foram tratadas com o antiinflamatório Rofecoxibe, mas o fármaco foi retirado de uso porque causou graves problemas cardiovasculares em determinados pacientes. A grande amostra de indivíduos sem problemas revelou-se uma falácia. A conclusão precipitada foi de que a droga era segura em 100% dos pacientes, sem se considerar determinadas variáveis como a idade avançada, por exemplo", disse.

O mais grave, segundo ele, é a perpetuação do erro, sobretudo nos trabalhos que retomam a pesquisa do ponto no qual a anterior foi interrompida, ou repetem a mesma fórmula como garantia de acerto na escolha das amostras.

"Muitas vezes são seguidas linhas de pesquisa, com a repetição do erro por várias amostras. O problema quase sempre está no planejamento pouco cuidadoso da metodologia, ou seja, o seu desenho. Os cálculos estatísticos fazem parte desse desenho e, portanto, precisam ser planejados de forma adequada. Um trabalho de pesquisa precisa partir de uma hipótese clara que se pretende provar. No final logra-se esse êxito ou não. A estatística deveria ser a contraprova", destacou.

Equívoco não menos raro, segundo Conceição, é a escolha errada do programa estatístico, o que também pode comprometer os resultados. "Existem erros óbvios, como o uso de testes exclusivos para dados paramétricos em dados não paramétricos, e outros mais sutis, como a utilização de testes idealizados para comparações a priori em comparações post hoc [posteriores ao evento]. Se o autor se sente inseguro na escolha do modelo estatístico a adotar, o melhor caminho é discutir os detalhes com profissional da área, quando do planejamento da metodologia."

O professor da Furb apresenta no estudo algumas recomendações, como conhecimento básico dos princípios de estatística. De acordo com ele, durante o planejamento do método é possível desprezar determinadas variáveis.

"O autor, no entanto, precisa explicar de forma convincente qual poderia ter sido o impacto das variáveis excluídas em seus resultados. Modelos com muitas variáveis são difíceis de interpretar e utilizar. Os resultados só serão convincentes se forem apresentados de forma correta. Antes de escrever a conclusão, ele deve rever as hipóteses e examinar o que apontam seus resultados. Sua conclusão deverá definir se a hipótese foi provada ou não, levando em consideração o tamanho da amostra e as condições nas quais foi realizada sua pesquisa", disse.

Para ler o artigo Leitura crítica dos dados estatísticos em trabalhos científicos, de Mário José da Conceição, disponível na biblioteca on-line SciELO (Bireme/FAPESP), clique aqui.