SciELO - Scientific Electronic Library Online

 
vol.15 issue2Dental fluorosis in children from Princesa Isabel, Paraíba author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Pesquisa Odontológica Brasileira

Print version ISSN 1517-7491

Pesqui. Odontol. Bras. vol.15 no.2 São Paulo Apr./June 2001

http://dx.doi.org/10.1590/S1517-74912001000200001 

EDITORIAL

 

Como ler um artigo científico*

 

 

Diferentes razões ou interesses podem motivar um profissional a ler artigos científícos, mas é, basicamente, a necessidade de se atualizar ou de aprofundar conhecimentos que coloca um médico diante desse trabalho. No entanto, a quantidade enorme de informação, de qualidade variável, disponível hoje na literatura, obriga o médico a fazer uma seleção do que deve ler.

É possível escolher entre diferentes tipos de publicação: artigo de atualização, artigo de divulgação, análise crítica pontual (editorial), registro de caso, pesquisa clínica ou experimental. Qualquer que seja a opção, é preciso considerar, ainda, características importantes como qualidade do periódico em que foi publicado o artigo, idoneidade do editor e do corpo editorial, exigências do periódico para aceitar a publicação de artigos, e credenciais, tanto do autor como da instituição.

Lendo um artigo científico, algumas pessoas podem pensar que os editores das revistas científicas são sempre capazes de fazer um trabalho tão extraordinário que todos os artigos ali publicados têm, além de veracidade, qualidade e exatidão. Basta, porém, olhar os fatos do passado para presumir que ainda estamos longe desse ideal. Os leitores das revistas científicas precisam ser capazes de julgar os argumentos apresentados em cada artigo, contra ou a favor de idéias, posturas, interpretações ou intervenções.

A leitura de um artigo científico deve ser eminentemente crítica. Por exemplo, parece razoável desconfiar da qualidade de artigos científicos que relatem dados extremamente "de acordo com a teoria", como genes que segregam exatamente na proporção de 3:1, taxas de crescimento constantes de 10% ao mês, experimentos nos quais todos os pacientes que receberam a droga foram curados e todos os pacientes que receberam placebo, em lugar da droga, não apresentaram qualquer tipo de reação. Enfim, convém sempre lembrar que dados verdadeiros não têm "excesso de coerência".

É razoável levantar dúvidas, até prova em contrário, sobre a qualidade de experimentos que relatam verdadeiros milagres. Por exemplo, um produto que já foi vendido no Brasil como capaz de prevenir a cárie, mas depois acusado de não ter experimentação adequada, relatava estatísticas presumivelmente obtidas com crianças e informava que a porcentagem de redução de cárie conseguida havia sido de 80%, um número alto demais para ser observado em curto período de tempo.

É preciso observar números e proporções com cuidado. Como as proporções dão a importância relativa das categorias, elas expressam, mais do que os números, a extensão dos sucessos ou problemas. No entanto, dependendo do contexto e, principalmente, quando o número de indivíduos na amostra é pequeno, as percentagens podem dar impressão falsa. Por exemplo, seria ingênuo acreditar em um artigo que alardeia um tratamento que curou 66% dos pacientes, se esse percentual foi calculado sobre uma amostra de três pessoas.

É muito importante lembrar que, em geral, as afirmativas não valem por si mesmas: é preciso uma base de comparação. Não se pode confiar em um artigo que informe, por exemplo, que determinado tratamento tem "menos risco", ou "mais ação". É só pensar um pouco: menos risco do que o quê? Mais ação do que o quê?

Nos artigos que relatam experimentos é particularmente importante ler, com cuidado, a descrição do esforço que os pesquisadores fizeram para usar o delineamento adequado. Podem faltar detalhes importantes. Por exemplo, às vezes não está claro se foram feitas observações múltiplas nos mesmos indivíduos ou se as observações foram feitas em indivíduos diferentes. Os métodos de pareamento são, em geral, descritos de maneira vaga. Ainda, é comum ler artigos científicos que relatam "ensaios clínicos casualizados" e "ensaios duplo-cegos". No entanto, não se pode pressupor, com base nessas simples palavras, que os autores usaram tais técnicas corretamente.

O artigo científico deve, pois, descrever todas as técnicas aplicadas, incluindo as estatísticas, e o leitor deve julgá-las com cuidado. Afinal de contas, autores que estudaram vários experimentos que comparam os mesmos tratamentos em geral verificaram que ensaios mal delineados mostram efeitos maiores de tratamentos que ensaios bem delineados. Existe, portanto, a tendência de delineamentos incorretos apresentarem achados muito bons ou, como escreveu FISHER1, "bons demais para serem verdadeiros".

Muitos artigos relatam inferência para a população, com base em dados de amostras. A teoria exige que a amostra seja casual. Como na prática isso raramente acontece, é crucial que a amostra seja representativa da população. Para saber se a amostra pode ser considerada representativa da população, é preciso comparar as características dos indivíduos amostrados com as características da população. Então, todo artigo deve descrever as características dos indivíduos da amostra. Não tem sentido, por exemplo, fazer inferência para toda a população com base em uma amostra de alto risco.

Tem surgido, mais recentemente, muita discussão em torno do tamanho das amostras. Isto porque muitas pesquisas que não detectaram diferença estatística entre tratamentos tinham, na verdade, pouca chance de fazê-lo devido ao pequeno tamanho das amostras. É preciso muita atenção neste ponto. Ainda, são poucos os trabalhos que relatam como foi estabelecido o tamanho da amostra. Aliás, a idéia de calcular o tamanho da amostra é pouco conhecida na pesquisa médica e, por causa disso, muitos trabalhos são feitos com amostras muito pequenas.

Por outro lado, não se pode esquecer que embora vários artigos admitam que os estudos são retrospectivos, muitos informam incorretamente que os estudos foram planejados, porque parece melhor dizer que a idéia surgiu antes dos dados. São sintomas de estudos mal delineados a variação dos tratamentos e dos métodos de avaliação utilizados, o número diferente de observações por voluntário, a falta de observações e certa indeterminação geral sobre o que foi feito, e porquê.

Os erros de análise são, infelizmente, muito comuns, embora os métodos estatísticos de delineamento e análise sejam parte essencial da pesquisa médica. Como a aplicação de técnicas estatísticas exige habilidades que não são menores do que as exigidas em outras partes da pesquisa, é necessário ler a estatística de trabalhos publicados com certa prudência, principalmente quando não referenciam um consultor especializado. Também não se pode esquecer que a análise estatística complexa pode dar ao artigo um ar espúrio de respeitabilidade, mas por si só não demonstra nada. Boas respostas são dadas para boas questões – e não por análises esotéricas2.

Na interpretação dos resultados, é freqüente o erro de igualar associação e causa. Uma associação não implica, necessariamente, numa relação de causa e efeito. Não se pode inferir causa sem outros tipos de evidência. Contudo, a maioria dos erros de interpretação de análises estatísticas parece estar ligada aos testes de hipóteses. É comum a interpretação errada de "significante" e "não-significante". Como em geral se acredita que a finalidade da pesquisa é chegar a um resultado significante, o resultado não-significante implicaria a idéia de pesquisa malsucedida. Aliás, muitas vezes se descrevem os estudos como "positivos" e "negativos", nomenclatura inadequada que felizmente está sendo banida da literatura.

O p-valor não é, como comumente se escreve, a probabilidade de que o efeito observado tenha ocorrido por acaso, mas sim a probabilidade de obter o efeito observado (ou um valor menos provável) quando a hipótese é verdadeira. Outra interpretação falsa é a de que um p-valor de, digamos, 0,001 significa efeito maior do que um p-valor de, digamos, 0,01. Embora isto possa ser verdade, os p-valores não demonstram isto.

Finalmente, ajuda muito, ao ler um trabalho, ter uma lista de pontos específicos que precisam ser observados. É impossível produzir uma lista de questões que possa ser usada sempre, e para qualquer tipo de pesquisa. No entanto, usar uma lista para a verificação torna o trabalho mais fácil, principalmente quando se tem em conta que é mais difícil detectar uma omissão do que um erro. Já existem várias dessas listas, disponíveis na literatura3. Mas não basta seguir a lista: é preciso julgar com profundidade e senso crítico.

De qualquer forma, o leitor de artigos científicos deve se preocupar, primeiro, com os erros de delineamento. Se o delineamento do estudo é inaceitável, o trabalho é inaceitável. Se o delineamento está correto, o leitor deve verificar se os dados foram coletados com metodologia adequada e se a análise está certa. Se isso acontecer, o leitor deve verificar se a interpretação dos dados e da análise é justa. Feito isto, só resta saber se as conclusões são aceitáveis. A prescrição parece simples, mas só quem já tentou segui-la sabe o trabalho que dá.

 

Sonia Vieira e William Saad Hossne

 

1. FISHER, R. A. Has Mendel’s work been rediscovered? Annals of Science, (1) 1936. p. 115-137.

2. SCHOOLMAN, H. M. et al. Statistics in medical research: principles versus practice. J Lab Clin Med, v. 71, p. 357-367, 1968.

3. VIEIRA, S.; HOSSNE, W. S. Metodologia científica para a área de saúde. Rio de Janeiro : Campus, 2001.

 

*Fonte: Jornal do Conselho Federal de Medicina. Brasília, ano XVI, n. 126, p. 18-19, fev. 2001.