A importância da qualidade dos estudos para a busca da melhor evidência

The relevance of trial quality to find the best evidence

ATUALIZAÇÃO

A importância da qualidade dos estudos para a busca da melhor evidência^*

The relevance of trial quality to find the best evidence

Fernando Baldy dos Reis^I; Andréa Diniz Lopes^II; Flávio Faloppa^III; Rozana Mesquita Ciconelli^IV

^ILivre-Docente, Professor do Departamento de Ortopedia e Traumatologia da Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP - São Paulo (SP), Brasil

^IIPós-graduanda do Departamento de Ortopedia e Traumatologia da Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP - São Paulo (SP), Brasil

^IIIProfessor Titular do Departamento de Ortopedia e Traumatologia da Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP - São Paulo (SP), Brasil

^IVProfessora Afiliada da Disciplina de Reumatologia do Departamento de Medicina da Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP - São Paulo (SP), Brasil

^{Endereço para correspondência}

RESUMO

A busca do conhecimento científico cada vez mais tem sido norteada por orientações metodológicas que têm por objetivo fornecer diretrizes para a execução e posterior análise dos resultados obtidos. A padronização desta metodologia está sendo cada vez mais discutida e avaliada, contribuindo para a melhora da qualidade dos estudos publicados. Este artigo tem por objetivo apresentar essas diretrizes, sugeridas por grupos internacionais para autores e editores que orientam a avaliação critica de ensaios clínicos controlados e randomizados.

Descritores: Diretrizes, ensaios clínicos controlados aleatórios

ABSTRACT

The search for scientific knowledge has been more and more guided by methodological principles whose objective is to provide guidelines for the execution and later analysis of the results achieved. The standardization of this method is being more and more debated and evaluated, thus contributing to improved quality of published trials. The purpose of this article is to present the guidelines suggested by international groups to authors and publishers who critically evaluate controlled and randomized clinical trials.

Keywords: Guidelines, controlled random clinical trials

APRESENTAÇÃO

Os estudos controlados randomizados (ECR) são considerados "padrão-ouro" para a avaliação de tratamentos e servem como referência para a tomada de decisão por médicos e profissionais da saúde^(1-2); portanto, a qualidade desses estudos é de grande importância. Contudo, sua apresentação nem sempre é suficientemente clara para permitir adequada análise dos resultados e conclusões⁽¹⁾.

Pensando nisso, em meados de 1990, duas iniciativas independentes, com a finalidade de melhorar a qualidade dos ECR, levaram à publicação das diretrizes CONSORT (Consolidated Standards of Reporting Trials)^(1-3), desenvolvidas por um grupo internacional de pesquisadores clínicos, estatísticos, epidemiologistas e biomédicos⁽¹⁾. Essas orientações têm sido adotadas por um número cada vez maior de revistas, como a British Medical Journal, JAMA, Lancet, entre outras. Além disso, já foram traduzidas em vários idiomas e também podem ser acessadas no website: http://www.consort-statement.org⁽¹⁾. Em 1999, essas diretrizes foram revisadas e incluídos 22 itens, que orientam como devem ser relatados os ECR, ressaltando os itens relevantes para a análise crítica dos ECR⁽¹⁾.

Com a finalidade de auxiliar os colegas que encaminham ECR para a nossa revista, objetivando, assim, aprimorar a qualidade dos mesmos, estamos disponibilizando essas orientações na Revista Brasileira de Ortopedia.

Em 2005, o Comitê Internacional de Editores de Artigos Médicos (International Committee of Medical Journal Editors - ICMJE) interpretou a política para registro de ensaios clínicos antes que os pacientes tenham sido incluídos⁽⁴⁾. Essa medida tem como objetivo assegurar que a informação sobre a existência e desenho de ensaios clínicos permaneça disponível publicamente. Essa política é seguida pelos 12 membros desse comitê, embora outras revistas científicas também venham adotando essa prática. Informações mais detalhadas sobre o comitê e suas propostas estão disponíveis no site: www.icmje.org. Os ensaios clínicos só serão considerados aptos para publicação caso tenham sido previamente registrados. Inicialmente, o número de registros era de 13.153 ensaios clínicos; um mês após o estabelecimento dessa nova política o número aumentou para 22.714 e, em abril de 2007, o número era de 40.000, com registro de aproximadamente 200 novos ensaios clínicos por mês⁽⁴⁾.

Após algumas modificações ficou definido que seria considerado ensaio clínico: "qualquer pesquisa que prospectivamente envolvesse seres humanos em uma ou mais intervenções para avaliação de desfechos em saúde". Estas incluem qualquer intervenção usada para modificar um desfecho biomédico ou relacionado à saúde, como, por exemplo: medicamentos, procedimentos cirúrgicos, aparelhos, tratamentos comportamentais, intervenções dietéticas e mudanças no processo de cuidado. Medidas de saúde incluem qualquer medida biomédica ou relacionada à saúde obtida em pacientes ou participantes, incluindo medidas farmacocinéticas e de efeitos adversos⁽⁴⁾. Estudos puramente observacionais não necessitam de registro⁽⁴⁾.

Apresentamos, a seguir, a lista de itens que devem ser incluídos quando se escreve um ECR (tabela 1), o fluxograma das diversas fases de um ECR (figura 1) e um glossário com a explicação dos principais termos que fazem parte dessas diretrizes⁽³⁾.

GLOSSÁRIO

Alocação aleatória, seleção aleatória, aleatoriedade: No estudo randomizado, é o processo de seleção dos participantes para os grupos, no qual cada um tem uma chance igual e conhecida de ser selecionado para um dado grupo, com a intenção de assegurar que o grupo selecionado não pode ser prejudicado⁽³⁾.

Análise ajustada: Geralmente, refere-se à tentativa de controlar (ajustar) os desequilíbrios basais entre os grupos em características importantes dos pacientes. Algumas vezes, é usada para se referir aos ajustes do valor de P que leva em conta múltiplos testes. Ver Comparações múltiplas⁽³⁾.

Análise de subgrupos: Análise na qual o efeito da intervenção é avaliado num subgrupo definido da população, ou num subgrupo complementar, tal como pelo sexo ou em categorias de idade. Tamanhos de amostras em análise de subgrupos são freqüentemente menores e, por isso, análises de subgrupos geralmente perdem em poder estatístico. Também são sujeitas a problemas de comparações múltiplas⁽³⁾.

Análise por intenção de tratar: Estratégia para analisar os dados de todos os participantes incluídos no grupo para o qual eles foram selecionados, independentemente de terem completado a intervenção. A análise por intenção de tratar evita viés causado por perda de participantes, os quais podem romper a equivalência basal estabelecida pela seleção randomizada e podem refletir a não-aderência ao protocolo⁽³⁾.

Análise interina: Análises comparando grupos de intervenções antes de o estudo estar formalmente completado, geralmente antes de concluir o recrutamento. Freqüentemente usado com regras de interrupção; assim, um estudo pode ser interrompido se participantes forem expostos a risco desnecessário. O tempo e a freqüência das análises interinas devem ser especificados no protocolo original do estudo⁽³⁾.

Análise planejada: Análise estatística especificada no protocolo do estudo (que é planejada anteriormente à coleta de dados). Também é chamada de análise a priori. Em contraste com as análises não planejadas (também chamadas exploratórias, derivadas de dados, ou análises post hoc), que são análises sugeridas pelos dados⁽³⁾.

Características basais: Dados demográficos, clínicos e outros coletados para cada participante no início do estudo, antes de a intervenção ser administrada⁽³⁾.

Comparação de grupos: Os grupos que estão sendo comparados no estudo randomizado. Também referido como "grupos de estudo", "grupos de tratamento", "braços de um estudo", ou com termos individuais, tais como "grupo de tratamentos" e "grupo-controle"⁽³⁾.

Comparações múltiplas: Realizações de análises múltiplas com os mesmos dados. Comparações estatísticas múltiplas aumentam a probabilidade de um erro tipo I: que é atribuir a diferença a uma intervenção quando a chance é a explicação mais lógica⁽³⁾.

Critérios de elegibilidade: Características clínicas e demográficas que definem quais pessoas são elegíveis para participar de um estudo⁽³⁾.

Desenho de permuta em blocos: Abordagem para gerar uma seqüência de alocação, na qual o número de seleção para grupos de intervenção satisfaz uma taxa de alocação especifica (tal como 1:1 ou 2:1) depois de cada "bloco" do tamanho especificado. Por exemplo, o tamanho do bloco de 12 pode conter seis de A e seis de B (taxa de 1:1) ou oito de A e quatro de B (taxa de 2:1). Geralmente, a seqüência de alocação envolve seleção aleatória de todas as permutações de seleção que encontram as taxas especificadas⁽³⁾.

Desvio do protocolo: Quebra na aderência ao protocolo do estudo preestabelecido, ou falha ocorrida dentre os participantes do estudo. Exemplos são participantes inelegíveis que foram incluídos no estudo por engano e aqueles para os quais a intervenção ou outro procedimento diferiu daquele indicado no protocolo⁽³⁾.

Determinação do método de alocação: Método de alocar os participantes em intervenções que usa uma regra predeterminada sem um elemento de randomização (por ex.: seleção alternada ou baseada em um dia da semana, registro hospitalar, ou data de nascimento). Por a seleção dos grupos poder ser revelada em determinados métodos, a alocação dos participantes pode ser manipulada, causando viés na seleção⁽³⁾.

Efeito colateral: Um não pretendido, não esperado, ou indesejável resultado de uma intervenção. Ver também Efeito adverso⁽³⁾.

Efeito de tratamento: Uma medida da diferença nos resultados entre os grupos de intervenção. Comumente expressada como uma razão de risco (risco relativo), razão de chance ou diferença de risco para variáveis binárias e como diferença nas medidas para variáveis contínuas. Freqüentemente referidas como "tamanho do efeito"⁽³⁾.

Estudo aberto: Um estudo randomizado, no qual ninguém é cego em relação ao grupo que foi selecionado⁽³⁾.

Evento adverso: Um evento não desejado detectado em participantes em um estudo. O termo é usado levando-se em consideração se o efeito pode ser atribuído à intervenção sob avaliação⁽³⁾.

Fator de confusão: Situação na qual o efeito da intervenção estimada sofre viés em virtude de algumas diferenças entre os grupos de comparação, além das intervenções planejadas, como: características basais, fatores prognósticos ou intervenções concomitantes. Para um fator ser um confundidor, ele deve diferir entre os grupos de comparação e predizer o parâmetro de interesse⁽³⁾.

Geração da seqüência de alocação: O procedimento usado para criar (randomizar) a seqüência para selecionar a intervenção, tal como uma tabela com números aleatórios ou um gerador de números aleatórios no computador. Tais opções como uma simples randomização, randomização em bloco e randomização estratificada são parte da geração de seqüências de alocação⁽³⁾.

Hipóteses: Num estudo, é o relato da possível diferença das intervenções sobre os parâmetros. A hipótese de nulidade de nenhum efeito é aceita para explicar a avaliação estatística por um teste de hipótese, o qual gera um valor de p (probabilidade)⁽³⁾.

Imprecisão: É a quantificação da incerteza em uma estimativa tal como o tamanho do efeito, geralmente expresso como o intervalo de confiança de 95% da estimativa. Também refere mais genericamente para outras forças da incerteza, como a mensuração do erro⁽³⁾.

Interação: Uma situação na qual o efeito de uma variável explanatória sobre o resultado é afetado pelo valor de uma segunda variável explanatória. Em um estudo, um teste de interação examina se o efeito do tratamento varia através de subgrupos de participantes. Ver Análise de subgrupos⁽³⁾.

Intervalo de confiança: Uma medida de precisão de um valor estimado. O intervalo representa uma variação de valores, consistentes com os dados, que se acredita englobar o valor "verdadeiro" com alta probabilidade (geralmente, 95%). O intervalo de confiança é expresso na mesma unidade da estimada. Intervalos amplos indicam precisão mais baixa, intervalos estreitos, grande precisão⁽³⁾.

Intervenção: O tratamento ou outra ação no curso do cuidado da saúde sob investigação. Os efeitos de uma intervenção são quantificados pela medida dos resultados⁽³⁾.

Mascaramento ("cegueira"): A prática de manter ocultos os participantes do estudo, os cuidadores, os coletores de dados e, algumas vezes, aqueles que analisam dados sem saber qual intervenção está sendo administrada para qual participante. Os mascaramento é feito na tentativa de evitar viés por parte dos coordenadores do estudo. A aplicação mais comum é o duplo-cego, no qual os participantes, cuidadores e avaliadores dos resultados ficam "cegos" para a intervenção selecionada. O termo mascaramento pode ser usado no lugar de "cegueira"⁽³⁾.

Multiplicidade: É a proliferação de comparações possíveis em um estudo. Situações comuns de multiplicidade são parâmetros múltiplos, parâmetros avaliados várias vezes no decorrer do estudo depois da intervenção, da análise de subgrupos ou de múltiplas intervenções nos grupos⁽³⁾.

Minimização: É uma estratégia de seleção, semelhante na intenção para estratificação, que assegura um equilíbrio excelente entre os grupos de intervenção para fatores prognósticos especificados. O próximo participante é selecionado para o grupo; este participante pode minimizar o desequilíbrio entre os grupos em relação aos fatores prognósticos específicos. Minimização é uma alternativa aceitável para a seleção aleatória⁽³⁾.

OBJETIVOS: Questões gerais para as quais o estudo foi designado. O objetivo pode estar associado a uma ou mais hipóteses que, quando testadas, ajudaram a responder à questão⁽³⁾.

Ocultação de alocação: Técnica usada para evitar o viés de seleção por ocultação da seqüência de alocação daqueles participantes selecionados para os grupos de intervenção, até o momento da seleção. Ocultação de alocação evita que pesquisadores (inconscientemente ou por outro motivo) influenciem quais participantes serão selecionados em um determinado grupo de intervenção⁽³⁾.

Parâmetros: Uma variável de interesse no estudo (também chamada de end point). Considera-se que as diferenças entre grupos nos parâmetros avaliados são resultados da diferença das intervenções. O parâmetro primário é o parâmetro de maior importância. Os dados dos parâmetros secundários são usados para avaliar efeitos adicionais da intervenção⁽³⁾.

Participante: Uma pessoa que toma parte em um estudo. Participantes devem preencher certos critérios de elegibilidade⁽³⁾.

Perda do seguimento: Perda do contato com alguns participantes; assim, os pesquisadores não podem completar a coleta dos dados como planejado. Perda do follow-up é uma causa comum da perda de dados, especialmente em estudos prolongados. Ver também Seguimento⁽³⁾.

Poder: Probabilidade (geralmente calculada antes do início do estudo) que um estudo poderá detectar como estatisticamente significante; o efeito de uma intervenção do tamanho especificado. O tamanho do estudo pré-especificado é freqüentemente escolhido para dar ao estudo o poder desejado. Ver: Tamanho da amostra⁽³⁾.

Precisão: Ver Imprecisão⁽³⁾.

Randomização estratificada: Alocação randomizada dentro de grupos definidos por características dos participantes, tais como idade ou gravidade da doença, que pretende assegurar o bom equilíbrio desses fatores através dos grupos de intervenção. Ver também Randomização restrita⁽³⁾.

Randomização restrita: Qualquer procedimento usado como seleção aleatória para alcançar o equilíbrio entre os grupos de estudos no tamanho ou nas características basais. Blocos são usados para assegurar que os grupos de comparação terão aproximadamente o mesmo tamanho. Com estratificação, randomização com restrição é feita separadamente dentro de dois ou mais subgrupos de participantes (p. ex.: definir a gravidade da doença ou centro de estudo) para assegurar que as características dos pacientes sejam equilibradas dentro de cada grupo de intervenção⁽³⁾.

Randomização simples: Randomização sem restrição. Em um estudo com dois grupos, é análoga à probabilidade de uma moeda. Ver Randomização restrita⁽³⁾.

Razão de alocação: Razão dos números pretendidos de participantes em cada grupo de comparação. Para estudos de dois grupos, a razão de alocação é geralmente de 1:1, mas alocação desigual (como, p. ex., 1:2) é algumas vezes usada⁽³⁾.

Recrutamento: O ato de admitir um participante em um estudo. Participantes deveriam ser recrutados somente depois de o pesquisador ter confirmado que todos os critérios de elegibilidade foram preenchidos. Recrutamento formal deve ocorrer antes de a randomização ser realizada⁽³⁾.

Regra para interrupção: Em alguns estudos, um critério estatístico, quando alcançado por dados acumulados, indica que o estudo pode ou deveria ser interrompido para evitar que os participantes corram um risco desnecessário ou porque o efeito da intervenção é tão grande que mais dados são desnecessários. Geralmente definida em protocolo de estudo e implementada durante uma análise interina planejada. Ver também Análise interina⁽³⁾.

Seleção: Processo de recrutar os participantes em um estudo randomizado⁽³⁾.

Seqüência de alocação: Uma lista de intervenções, randomizadamente ordenadas, usada para selecionar seqüencialmente participantes recrutados para grupos de intervenção. Também chamada de "esquema de seleção", "esquema de randomização" ou "lista de randomização"⁽³⁾.

Seguimento: Um processo periódico de contato com os participantes recrutados em um estudo randomizado com a finalidade de administrar as intervenções selecionadas, modificando o curso das intervenções, observando os efeitos destas e coletando os dados⁽³⁾.

Tamanho da amostra: O número de participantes no estudo. O tamanho da amostra pretendido é o número de participantes planejados para serem incluídos no estudo, que deve ser adequado para fornecer uma alta probabilidade de detectar como significante o tamanho de um efeito de uma dada magnitude se tal efeito realmente existir. Geralmente é determinado pelo uso do cálculo de um poder estatístico. O tamanho da amostra alcançado é o número de participantes recrutados, tratados ou analisados no estudo⁽³⁾.

Validade externa: A extensão para a qual os resultados de um estudo fornecem bases corretas visando generalização de outras circunstâncias. Também chamado de generalização ou aplicabilidade⁽³⁾.

Validade interna: A extensão para a qual o desenho e condução de um estudo eliminam a possibilidade de viés⁽³⁾.

Variáveis prognósticas: Variável basal que é prognóstica na ausência de uma intervenção. Não restrita, uma randomização simples pode levar a um desequilíbrio nas probabilidades das variáveis prognósticas, o que pode afetar os resultados e enfraquecer a credibilidade do estudo. Estratificação e minimização protegem contra tais desequilíbrios. Ver também: Análise ajustada e Randomização restrita⁽³⁾.

Viés (Bias): Distorção sistemática dos efeitos de intervenções estimadas longe da "verdade", causada por inadequação do desenho, condução ou análise de um estudo⁽³⁾.

Viés de seleção: Erro sistemático na criação dos grupos de intervenção, levando-se a diferir com respeito ao prognóstico. Isto é, o grupo difere nas características basais mensuráveis ou não, por causa do modo pelo qual os participantes foram selecionados para o estudo ou para seu grupo de estudo. O termo é também usado para referir que os participantes não são representativos de toda a população possível de participantes. Ver também Ocultação de alocação e Validade externa⁽³⁾.

Viés de performance: Diferenças sistemáticas no cuidado fornecido aos participantes no grupo de comparação, além da intervenção sob investigação⁽³⁾.

CRÍTICA

Li com atenção o trabalho de atualização A IMPORTÂNCIA DA QUALIDADE DOS ESTUDOS PARA A BUSCA DA MELHOR EVIDÊNCIA, de autoria de um grupo de pesquisadores da UNIFESP, que, como é do conhecimento de todos, se dedica à Metodologia Científica de longa data. Pelo conhecimento dos autores e pela leitura do texto só nos é possível recomendar a atenção para essa mensagem.

Os autores se propõem a buscar a melhor evidência científica e recomendação, para trabalhos do tipo ensaios clínicos controlados e randomizados. Esse Nível de trabalho, no entanto, constitui minoria na literatura nacional de Ortopedia, como o são também em outras especialidades cirúrgicas. Esse tipo de trabalho de Nível I é mais usado na análise dos efeitos benéficos de diferentes terapêuticas médicas e são coordenados por laboratórios que se interessam pelo desenvolvimento de drogas.

É citada a literatura e os principais trabalhos sobre metodologia, mas todos para esse tipo de estudo de Nível I; trabalhos randomizados e comparativos.

Comenta-se a recomendação de 2005 do Comitê Internacional de Editores de Artigos Médicos que disciplina todos os protocolos de ensaios clínicos, em seu desenho, antes que os participantes sejam incluídos no trabalho. Essa medida, apesar de disciplinadora, amarra os pesquisadores nacionais a uma realidade que ainda está longínqua no nosso país e que, por isso mesmo, merece ser discutida e talvez revista.

É apresentado um glossário de termos e sentenças que devem ser conhecidas dos pesquisadores e leitores. Dentre eles a "Intenção de Tratar", expressão que tem algumas outras interpretações também interessantes. Poderiam ter sido acrescentados à literatura alguns trabalhos nacionais publicados na própria RBO, inclusive dos próprios autores.

A validação do trabalho de atualização é dada pela excelência dos autores. O assunto abordado é de alta qualidade, talvez até difícil de ser compreendido pela nossa especialidade, acostumada com trabalhos de níveis muito mais baixos e mesmo assim com alguns viéses que mereceriam um estudo antes de se entrar na qualificação de trabalhos de melhor Nível.

Marco Martins Amatuzzi

Professor Emérito da Faculdade de Medicina da Universidade de São Paulo

Recebido em 10/12/07.

Aprovado para publicação em 12/2/08.

* Trabalho realizado no Departamento de Ortopedia e Traumatologia da Escola Paulista de Medicina da Universidade Federal de São Paulo - UNIFESP São Paulo (SP), Brasil.

• 1. Moher D, Schulz KF, Altman D; CONSORT Group (Consolidated Standards of Reporting Trials). The CONSORT statement: revised recommendations for improving the quality of reports of parallel-group randomized trials. JAMA. 2001; 285(15):1987-91.
• 2. Moher D, Jones A, Lepage L; CONSORT Group (Consolitdated Standards for Reporting of Trials). Use of the CONSORT statement and quality of reports of randomized trials: a comparative before-and-after evaluation. JAMA. 2001;285(15): 1992-5.
• 3. Altman DG, Schulz KF, Moher D, Egger M, Davidoff F, Elbourne D, Gotzsche P, Lang T; CONSORT GROUP (Consolidated Standards of Reporting Trials). The revised CONSORT statement for reporting randomized trials: explanation and elaboration. Ann Intern Med. 2001;134(8):663-94.
• 4. Laine C, Horton R, DeAngelis CD, Drazen JM, Frizelle FA, Godlee F, et al. Clinical trial registration - looking back and moving ahead. N Engl J Med. 2007;356(26):2734-6.

Endereço para correspondência:

Dr. Fernando Baldy dos Reis

Rua Adma Jafet, 50, 14º andar

01308-050 - São Paulo (SP)

Tel.: [phone]

Datas de Publicação

• Publicação nesta coleção
  30 Jul 2008
• Data do Fascículo
  Jun 2008

Histórico

• Aceito
  12 Fev 2008
• Recebido
  10 Dez 2007