Acessibilidade / Reportar erro

Avaliação da qualidade dos ensaios clínicos aleatórios em anestesia publicados na Revista Brasileira de Anestesiologia no período de 2005 a 2008

Evaluación de la calidad de los ensayos clínicos aleatorios en anestesia publicados en la Revista Brasileña de Anestesiología en el período de 2005 a 2008

Resumos

JUSTIFICATIVA E OBJETIVOS: O ensaio clínico aleatório (ECA) é definido como um estudo que envolve grupos de intervenção e controle, com alocação aleatória dos participantes. O objetivo deste trabalho foi avaliar a qualidade dos artigos de ECA em anestesia publicados num determinado período. Desenho do estudo: descritivo. MÉTODO: Foi realizada busca manual dos artigos publicados na Revista Brasileira de Anestesiologia entre janeiro de 2005 e fevereiro de 2008, que tivessem características de ECA. A variável primária foi a qualidade dos ECA; as variáveis secundárias foram: encaminhamento da pesquisa para o Comitê de Ética em Pesquisa (CEP), utilização do termo de consentimento livre e esclarecido (TCLE), descrição da fonte de fomento, realização do cálculo do tamanho da amostra, número de autores, local de origem, teste estatístico utilizado, nível de significância adotado na pesquisa e classificação do tipo de estudo. Foi utilizada a escala de qualidade para avaliar a qualidade dos ECA, estatística descritiva e o cálculo do intervalo de 95% de confiança. RESULTADOS: Dos 114 artigos originais, 42 foram identificados como ECA. Destes, somente 3 (7,1%) foram classificados como de boa qualidade metodológica, considerando distribuição aleatória, encobrimento duplamente encoberto, perdas e exclusões. Dos 114 artigos, 107 foram encaminhados ao CEP, 67 utilizaram TCLE, em nenhum houve descrição do fomento, em 17 houve cálculo do tamanho da amostra, o número médio de autores por artigo foi 4,49; São Paulo contribuiu com 60 publicações, o teste t de Student foi o mais utilizado (47,4%), o nível de significância de 5% foi adotado em 97 e 42 foram ECA. CONCLUSÕES: Após a busca manual, 7,1% dos ensaios clínicos aleatórios foram considerados de boa qualidade metodológica.

ANESTESIOLOGIA; publicação; METODOLOGIA; ensaios clínicos controlados aleatórios


JUSTIFICATIVA Y OBJETIVOS: El ensayo clínico aleatorio (ECA) se define como un estudio que involucra a grupos de intervención y control, con la ubicación aleatoria de los participantes. El objetivo de este trabajo fue evaluar la calidad de los artículos de ECA en anestesia publicados en un determinado período. Diseño del estudio: descriptivo. MÉTODO: Se realizó una búsqueda manual de los artículos publicados en la Revista Brasileña de Anestesiología entre enero de 2005 y febrero de 2008, que tuviesen características de ECA. La variable primaria fue sobre la calidad de los ECA; las variables secundarias de los artículos fueron las siguientes: elevar la investigación al Comité de Ética en Investigación (CEP), utilización del término de consentimiento informado (TCI), descripción de la fuente de fomento, realización del cálculo del tamaño de la muestra, número de autores, local de origen, test estadístico utilizado, nivel de significancia adoptado en la investigación y clasificación del tipo de estudio. Se utilizó la escala de calidad para evaluar la calidad de los ECA, estadística descriptiva y el cálculo del intervalo de un 95% de confianza. RESULTADOS: De los 114 artículos originales, 42 fueron identificados como ECA. De ellos, solamente 3 (7,1%) se clasificaron como siendo de buena calidad metodológica, considerando la distribución aleatoria, el encubrimiento doble ciego, las pérdidas y exclusiones. De los 114 artículos, 107 fueron elevados al CEP, 67 utilizaron TCLE, en ninguno de ellos hubo descripción del fomento, en 17 hubo cálculo del tamaño de la muestra, el número promedio de autores por artículo fue 4,49; São Paulo contribuyó con 60 publicaciones, el teste t de Student fue el más utilizado (47,4%), el nivel de significancia de 5% fue adoptado en 97 y 42 fueron ECA. CONCLUSIONES: Después de la búsqueda manual, 7,1% de los ensayos clínicos aleatorios fueron considerados como siendo de buena calidad metodológica.


BACKGROUND AND OBJECTIVES: A random clinical trial (RCT) is defined as a study involving intervention and control groups with random distribution of the participants. The objective of the present study was to assess the quality of RCT in anesthesiology published during a specific time. Design of the study: descriptive. METHODS: A manual search of the articles published by the Brazilian Journal of Anesthesiology between January 2005 and February 2008 was undertaken to identify studies with characteristics of RCTs. The quality of RCTs was the primary parameter; secondary parameters included: approval by the Ethics on Research Committee (ERC), use of the informed consent (IC), description of the source of the grant, the sample size was calculated, number of authors, place of origin, statistical tests used, level of significance adopted, and classification of the type of study. The quality scale, descriptive statistics, and calculation of the 95% confidence interval were used to evaluate the quality of the RCTs. RESULTS: Out of 114 studies, 42 were identified as RCT. Only 3 (7.1%) of those were classified as having good methodological quality considering the random distribution, double blind, losses, and exclusions. One-hundred and seven out of 114 studies were submitted to the ERC, 67 used IC, none of them described the source of the grant, 17 calculated the size of the sample, the studies had a mean of 4.49 authors; 60 publications were from São Paulo; the Student t test was used more often (47.4%), a level of significance of 5% was adopted by 97 studies; and 42 were RCTs. CONCLUSIONS: After the manual search, 7.1% of the random clinical assays were considered of good methodological quality.

ANESTHESIOLOGY; publication; METHODOLOGY; randomized controlled clinical assays


ARTIGO DE REVISÃO

Avaliação da qualidade dos ensaios clínicos aleatórios em anestesia publicados na Revista Brasileira de Anestesiologia no período de 2005 a 2008* * Recebido do Hospital Geral do Estado Professor Osvaldo Brandão Vilela, Maceió, AL

Evaluación de la calidad de los ensayos clínicos aleatorios en anestesia publicados en la Revista Brasileña de Anestesiología en el período de 2005 a 2008

Fabiano Timbó BarbosaI; Mário Jorge JucáII

IMestrando em Ciências da Saúde pela Universidade Federal de Alagoas; Tutor da Liga de Anestesia, Dor e Terapia Intensiva do Estado de Alagoas

IIPós-Doutorado em Coloproctologia pela Universidade do Texas, Dallas, EUA; Doutor em Gastroenterologia Cirúrgica na Área de Concentração em Coloproctologia; Membro Titular do conselho e do Colegiado do Curso de Pós-Graduação em Ciências da Saúde do Instituto de Ciências Biológicas e da Saúde da Universidade Federal de Alagoas

Endereço para correspondência Endereço para correspondência: Dr. Fabiano Timbó Barbosa Rua Comendador Palmeira, 113/202 - Farol 57051-150 Maceió, AL E-mail: fabianotimbo@yahoo.com.br

RESUMO

JUSTIFICATIVA E OBJETIVOS: O ensaio clínico aleatório (ECA) é definido como um estudo que envolve grupos de intervenção e controle, com alocação aleatória dos participantes. O objetivo deste trabalho foi avaliar a qualidade dos artigos de ECA em anestesia publicados num determinado período. Desenho do estudo: descritivo.

MÉTODO: Foi realizada busca manual dos artigos publicados na Revista Brasileira de Anestesiologia entre janeiro de 2005 e fevereiro de 2008, que tivessem características de ECA. A variável primária foi a qualidade dos ECA; as variáveis secundárias foram: encaminhamento da pesquisa para o Comitê de Ética em Pesquisa (CEP), utilização do termo de consentimento livre e esclarecido (TCLE), descrição da fonte de fomento, realização do cálculo do tamanho da amostra, número de autores, local de origem, teste estatístico utilizado, nível de significância adotado na pesquisa e classificação do tipo de estudo. Foi utilizada a escala de qualidade para avaliar a qualidade dos ECA, estatística descritiva e o cálculo do intervalo de 95% de confiança.

RESULTADOS: Dos 114 artigos originais, 42 foram identificados como ECA. Destes, somente 3 (7,1%) foram classificados como de boa qualidade metodológica, considerando distribuição aleatória, encobrimento duplamente encoberto, perdas e exclusões. Dos 114 artigos, 107 foram encaminhados ao CEP, 67 utilizaram TCLE, em nenhum houve descrição do fomento, em 17 houve cálculo do tamanho da amostra, o número médio de autores por artigo foi 4,49; São Paulo contribuiu com 60 publicações, o teste t de Student foi o mais utilizado (47,4%), o nível de significância de 5% foi adotado em 97 e 42 foram ECA.

CONCLUSÕES: Após a busca manual, 7,1% dos ensaios clínicos aleatórios foram considerados de boa qualidade metodológica.

Unitermos: ANESTESIOLOGIA: publicação; METODOLOGIA: ensaios clínicos controlados aleatórios

RESUMEN

JUSTIFICATIVA Y OBJETIVOS: El ensayo clínico aleatorio (ECA) se define como un estudio que involucra a grupos de intervención y control, con la ubicación aleatoria de los participantes. El objetivo de este trabajo fue evaluar la calidad de los artículos de ECA en anestesia publicados en un determinado período. Diseño del estudio: descriptivo.

MÉTODO: Se realizó una búsqueda manual de los artículos publicados en la Revista Brasileña de Anestesiología entre enero de 2005 y febrero de 2008, que tuviesen características de ECA. La variable primaria fue sobre la calidad de los ECA; las variables secundarias de los artículos fueron las siguientes: elevar la investigación al Comité de Ética en Investigación (CEP), utilización del término de consentimiento informado (TCI), descripción de la fuente de fomento, realización del cálculo del tamaño de la muestra, número de autores, local de origen, test estadístico utilizado, nivel de significancia adoptado en la investigación y clasificación del tipo de estudio. Se utilizó la escala de calidad para evaluar la calidad de los ECA, estadística descriptiva y el cálculo del intervalo de un 95% de confianza.

RESULTADOS: De los 114 artículos originales, 42 fueron identificados como ECA. De ellos, solamente 3 (7,1%) se clasificaron como siendo de buena calidad metodológica, considerando la distribución aleatoria, el encubrimiento doble ciego, las pérdidas y exclusiones. De los 114 artículos, 107 fueron elevados al CEP, 67 utilizaron TCLE, en ninguno de ellos hubo descripción del fomento, en 17 hubo cálculo del tamaño de la muestra, el número promedio de autores por artículo fue 4,49; São Paulo contribuyó con 60 publicaciones, el teste t de Student fue el más utilizado (47,4%), el nivel de significancia de 5% fue adoptado en 97 y 42 fueron ECA.

CONCLUSIONES: Después de la búsqueda manual, 7,1% de los ensayos clínicos aleatorios fueron considerados como siendo de buena calidad metodológica.

INTRODUÇÃO

A qualidade de um ensaio clínico aleatório pode ser definida como a probabilidade de um estudo planejado gerar resultados sem tendências e que se aproximem da realidade terapêutica 1. A qualidade de artigos originais de ensaios clínicos aleatórios pode ser avaliada por meio de três tipos de instrumentos: itens individuais, listas de verificação e escalas 2. As escalas têm a vantagem de transformar as informações em números cuja simplicidade permite rápida e fácil compreensão da qualidade dos ensaios clínicos 1.

O ensaio clínico aleatório é um tipo de estudo definido como prospectivo que compara o efeito e o valor de intervenções em seres humanos, em um ou mais grupos contra um grupo controle 3. Deve sempre testar o efeito de uma intervenção, seja terapêutica, diagnóstica ou profilática 3. O melhor tipo de estudo primário para responder a perguntas sobre intervenções, sejam elas relacionadas ao tratamento ou à prevenção de doenças, é o ensaio clínico aleatório 4. Os avanços nos cuidados da saúde dependem dos resultados dos trabalhos executados sem a ocorrência de vieses 5. Uma vez que os ensaios clínicos aleatórios representam a única esperança na eliminação no viés de seleção nas investigações, eles são considerados os estudos que servem de base para o avanço da ciência 5.

A hipótese testada nessa pesquisa foi que 10% dos artigos originais de ensaios clínicos aleatórios publicados no Brasil eram de boa qualidade metodológica.

O objetivo dessa pesquisa foi avaliar a qualidade dos artigos originais dos ensaios clínicos aleatórios publicados em anestesia no Brasil, no período de janeiro de 2005 a fevereiro de 2008.

MÉTODO

Essa pesquisa foi submetida ao Comitê de Ética em Pesquisa da Universidade de Ciências da Saúde de Alagoas. O termo de consentimento esclarecido não se aplica a esse tipo de pesquisa. Os gastos inerentes a essa pesquisa foram de responsabilidade dos próprios autores.

Tratou-se de um estudo descritivo para avaliação da qualidade dos ensaios clínicos aleatórios. O critério de inclusão para a análise da qualidade metodológica foi o artigo original de ensaio clínico aleatório publicado em anestesia no Brasil. Os critérios de exclusão para a análise da qualidade metodológica foram: artigo original referente a procedimentos que não envolveram algum tipo de anestesia, artigo original de estudo experimental e artigos originais em anestesia classificados como sendo de qualquer outro tipo de estudo que não o ensaio clínico aleatório.

A variável primária foi a qualidade dos ensaios clínicos aleatórios, definida como a probabilidade de um ensaio clínico planejado gerar resultados sem tendenciosidades 1. As variáveis secundárias foram: encaminhamento da pesquisa para o Comitê de Ética em Pesquisa, utilização do termo de consentimento livre e esclarecido, descrição da fonte de fomento, realização do cálculo do tamanho da amostra, número de autores, local de origem, teste estatístico utilizado, nível de significância adotado na pesquisa e classificação do tipo de estudo. As variáveis secundárias foram colhidas em todos os artigos originais identificados por meio da busca manual.

A Revista Brasileira de Anestesiologia foi escolhida para análise dos artigos originais por ser o órgão oficial responsável pela divulgação do conhecimento científico entre os anestesiologistas no Brasil e por ser esta revista recomendada e amplamente divulgada pela Sociedade Brasileira de Anestesiologia como meio para atualização dos conhecimentos médicos relacionados à anestesia. Foram analisados os artigos originais da RBA publicados entre janeiro de 2005 a fevereiro de 2008 por meio da busca manual, observando as palavras randômico, randomizado, aleatório, distribuição aleatória, encobrimento, duplamente encoberto, duplo-cego, placebo ou quaisquer outras palavras que sugerissem que o artigo poderia ser classificado como um ensaio clínico aleatório. Os ensaios clínicos aleatórios foram separados em um conjunto e submetidos à avaliação da qualidade. A escala de qualidade1 utilizada nessa pesquisa pode ser vista no Quadro I.


Os critérios descritos para a avaliação pela escala de qualidade e utilizados nessa pesquisa foram 1:

a) Para a distribuição aleatória: o método de geração da sequência aleatória foi considerado apropriado quando permitiu a cada participante do estudo ter a mesma chance de receber cada intervenção e quando o investigador não pudesse prever qual seria o próximo tratamento.

b) Para o encobrimento duplamente encoberto: um estudo foi considerado duplo-cego quando o termo duplo-cego foi usado. O método foi tido como apropriado quando nem o paciente nem o responsável pela coleta de dados tiveram como identificar o tipo de tratamento dispensado a cada um, ou, na ausência dessa declaração, se o uso de placebos idênticos ou imitações é mencionado. Quando o termo duplamente encoberto foi utilizado, os autores também consideraram o item para identificar o estudo como duplo-cego.

c) Para as perdas e exclusões: os participantes que entraram no estudo, mas não completaram o período de observação ou que não foram incluídos na análise e que foram descritos pelos autores dos artigos originais. O número e as razões para as perdas em cada grupo têm de ser declarados. Quando não há perdas, também deve ser declarado no artigo. Quando não há a descrição de perdas, foi atribuída nota zero ao item.

Um máximo de cinco pontos poderia ser obtido por meio dessa escala: três pontos para cada sim, um ponto adicional para um método adequado de distribuição aleatória e um ponto adicional para um método adequado de encobrimento. Quando o termo duplo-cego não foi mencionado, mas houve descrição do encobrimento do paciente e do pesquisador das variáveis, houve pontuação nesse item na escala de qualidade. Um estudo foi considerado de má qualidade quando recebeu dois pontos ou menos na escala de qualidade 1.

Os artigos originais de ensaios clínicos aleatórios também foram analisados quanto à forma de distribuição aleatória e quanto ao sigilo da alocação.

As variáveis secundárias foram mostradas como porcentagens. O número de autores foi apresentado como média ± DP. Foi calculado o intervalo de 95% confiança (IC 95%) para cada ponto estimado. O cálculo do tamanho da amostra foi realizado considerando uma hipótese de que 10% dos artigos de ECA eram de boa qualidade, com precisão absoluta de 9% e um nível de significância de 5% e teve como resultado 42 artigos originais.

RESULTADOS

Foram analisados 114 artigos originais, sendo 36,8% (42/114 IC 95% 27,9% a 45,6%) identificados como ensaios clínicos aleatórios. Os resultados da análise pela escala de qualidade podem ser vistos na Tabela I.

Na avaliação da qualidade 92,9% (39/42 IC 95% 85,1% a 100%) obtiveram dois ou menos pontos e foram classificados como de má qualidade metodológica, e 7,1% (3/42 IC 95% 0% a 14,1%) atingiram mais de dois pontos e foram classificados como de boa qualidade metodológica 6-8.

O método da distribuição aleatória foi descrito em 35,7% (15/42 IC 95% 21,2% a 50,2%) dos artigos de ensaios clínicos e o sigilo da alocação foi descrito em 21,4% (9/42 IC 95% 9% a 33,8%) destes artigos.

Em relação à variável encaminhamento ao Comitê de Ética em Pesquisa, 93,85% (107/114 IC 95% 89,4% a 98,2%) descreveram que encaminharam o projeto de pesquisa e em 6,15% (7/114 IC 95% 1,8% a 10,6%) não houve descrição deste item 9-15.

Em relação a variável termo de consentimento livre e esclarecido, 58,8% (67/114 IC 95% 49,8% a 67,8%) descreveram seu uso, 25,4% (29/114 IC 95% 117,4% a 33,4%) não o descreveram, 14,9% (17/114 IC 95% 8,4% a 21,4%) realizaram estudos em animais e em 0,9% (1/114 IC 95% 0% a 2,63%) dos artigos originais não era necessária a sua aplicação.

Nenhum artigo original descreveu informações sobre a variável fonte de fomento.

Em relação à variável cálculo do tamanho da amostra, 14,9% (17/114 IC 95% 8,4% a 21,4%) dos artigos originais descreveram essa variável e em 85,1% (97/114 IC 95% 78,6% a 91,6%) não houve descrição.

O número da média de autores por artigo encontrado foi de 4,49 (± 1,54).

Em relação à variável origem do artigo original, os resultados podem ser vistos nas Tabelas II e III.

Em relação à variável teste estatístico, os resultados podem ser vistos na Tabela IV.

Em relação à variável nível de significância, 85,1% (97/114 IC 95% 78,6% a 91,6%) utilizaram o nível de 5% nos artigos originais; 0,9% (1/114 IC 95% 0% a 2,6%) utilizaram valor menor do que 1%; 2,6% (3/114 IC 95% 0% a 5,5%) não descreveram a variável e 11,4% (13/114 IC 95% 5,6% a 17,2%) dos artigos originais não utilizaram teste estatístico.

A classificação de todos os artigos originais revelou que 36,9% (42/114 IC 95% 28,1% a 45,7%) se tratava de ensaios clínicos aleatórios; 33,3% (38/114 IC 95% 24,7% a 41,9%) eram estudos de coorte prospectivo; 14,9% (17/114 IC 95% 8,4% a 21,4%) foram pesquisas em animais; 12,3% (14/114 IC 95% 6,3% a 18,3%) foram estudos transversais e 2,6% (3/114 IC 95% 0% a 5,5%) se tratava de outros tipos de estudos 9,12,16.

DISCUSSÃO

Os leitores devem conhecer o desenho, a condução, a análise e a interpretação dos resultados de um ensaio clínico aleatório para compreender por que foi realizado e como foi conduzido e interpretado 17. Esse objetivo só pode ser alcançado se houver transparência por parte dos pesquisadores e dos responsáveis pela publicação nos periódicos 17. A descrição inadequada de um estudo pode torná-lo difícil ou impossível de ser interpretado 17 bem como impraticável a aplicação dos seus resultados na prática clínica diária.

A avaliação dos 114 artigos originais incluídos nessa pesquisa revelou que 36,8% se classificaram como do tipo ensaio clínico aleatório. Nessa pesquisa o ensaio clínico aleatório poderia fazer cinco pontos na escala de qualidade 1: dois pontos atribuídos a distribuição aleatória, dois pontos ao encobrimento e um ponto relacionado às perdas e exclusões. Somente três artigos originais 6-8 fizeram mais de dois pontos e foram classificados como de boa qualidade metodológica. A maior limitação encontrada nos artigos de ensaios clínicos avaliados nessa pesquisa para marcar pontos na escala de qualidade 1 foi a falta da descrição do método da distribuição aleatória, assim como a descrição das perdas e exclusões.

Houve descrição do método da distribuição aleatória em 15 dos 42 artigos de ensaios clínicos aleatórios (35,7%). A falta de uma adequada descrição do método de distribuição aleatória tem sido associada com vieses na estimativa da efetividade das intervenções 17. O uso do termo escolha aleatória ou estudo randomizado foi insuficiente para descrever a sequência da distribuição impedindo que 27 entre os 42 artigos originais de ensaios clínicos aleatórios (64,3%) apresentassem pontuação nesse item na escala de qualidade 1.

Na pesquisa o encobrimento foi descrito em 20 dos 42 artigos originais de ensaios clínicos aleatórios (47,6%), sendo considerado adequado em 11 artigos (26,2%). O encobrimento protege a sequência da distribuição aleatória após ter ocorrido a alocação 18, por isso é importante que os autores façam uma correta descrição desse item nas publicações. A ausência do encobrimento pode trazer consequências prejudiciais ao estudo, uma vez que o conhecimento da intervenção recebida pode afetar as respostas psicológicas e físicas do participante da pesquisa 18. As inclinações dos pesquisadores a favor ou contra a intervenção podem ser diretamente transferidas aos participantes por meio de suas atitudes podendo até encorajar ou desencorajar a continuidade dos participantes da pesquisa 18. Quando a pessoa responsável pela coleta dos dados não recebe encobrimento, então suas inclinações a favor ou contra a intervenção podem atribuir maior ou menor peso às variáveis pesquisadas 18. O termo duplo-cego foi adotado na pesquisa como indicador do encobrimento utilizado nos estudos, entretanto na falta desse termo buscou-se a descrição do encobrimento adotado para poder atribuir adequada pontuação ao estudo analisado, por isso também foram procurados os termos duplamente encoberto, vedamento e mascaramento, entretanto essa medida não aumentou o número de artigos que pontuaram nesse item.

Em nenhum dos 42 artigos originais de ensaios clínicos aleatórios houve a descrição conjunta das perdas e exclusões ocorridas após a distribuição aleatória dos pacientes, por isso nenhum artigo pontuou nesse item, entretanto houve a descrição das perdas em um artigo (2,4%) e das exclusões em sete (16,7%) artigos de ensaios clínicos aleatórios. É importante que o leitor tenha acesso às taxas e aos motivos dessas perdas e exclusões para que ele mesmo possa avaliar a viabilidade da execução da intervenção em sua prática cotidiana.

O sucesso da distribuição aleatória depende de dois processos: geração da sequência da distribuição aleatória e do sigilo da alocação 18. O sigilo da alocação foi descrito em nove entre os 42 artigos originais de ensaios clínicos aleatórios (21,4%) avaliados. Um desenho metodológico inadequado em estudos controlados, particularmente aqueles que representam um pobre sigilo da alocação, está associado a tendenciosidades 19. O sigilo da alocação não deve ser confundido com o encobrimento, pois o sigilo serve para prevenir o viés de seleção e protege a sequência da alocação antes e até que ela seja empregada 18.

Nessa pesquisa observou-se que sete entre os 114 artigos originais (6,15%) não descreveram o contato com o Comitê de Ética em Pesquisa; 29 entre os 114 artigos originais (25,4%) não descreveram o uso do termo de consentimento livre e esclarecido, e os 114 artigos (100%) não descreveram a fonte de fomento. Esses itens também são analisados por outras escalas e listas como parte integrante da avaliação da qualidade metodológica 20. Em relação ao Comitê de Ética, entre os artigos classificados com a resposta negativa, um artigo referia-se a uma revisão de literatura 9, dois artigos apresentaram aprovação para a realização da pesquisa por clínicas 10,11, um estudo foi aprovado por um laboratório12, e três não relataram esse item no artigo original 13-15.

O nível de significância de 5% foi utilizado em 97 entre os 114 artigos originais (85,1%). Esse nível indica que há probabilidade menor que 5% do desfecho pesquisado ser atribuído ao acaso 21. A escolha do nível de significância em uma pesquisa é arbitrária cabendo ao pesquisador a escolha mais adequada, porém o nível mais utilizado nas pesquisas na área de saúde é o valor de 5% 21 e esse evento foi observado nessa pesquisa.

A análise da variável teste estatístico evidenciou que o teste t de Student foi o teste mais utilizado entre os 114 artigos originais (47,4%). Uma análise estatística pode ser realizada por meio dos testes de hipóteses e pelo intervalo de confiança 21. Os testes de hipóteses são expressos pelo valor de P que significa a probabilidade de um evento ocorrer numa amostra mesmo que esse evento seja nulo na população que deu origem àquela amostra 21. Nos 114 artigos originais avaliados nessa pesquisa evidenciou-se que o valor de P foi demonstrado, quando foi utilizado algum teste estatístico, mesmo quando não foi descrito o nível de significância adotado para a pesquisa.

Avaliando a variável cálculo do tamanho da amostra observou-se que 97 entre os 114 artigos originais (85,1%) não descreveram o cálculo do tamanho da amostra. O tamanho da amostra influencia inversamente no valor de P, por isso amostras muito grandes tendem a apresentar baixos valores de P e induzir aos erros na tomada de decisões em relação às diferenças encontradas na pesquisa 21. Não apresentar o cálculo do tamanho da amostra põe em dúvida a validade dos resultados obtidos, visto que o valor de P pode estar super ou subestimado. Também existem implicações éticas envolvidas no cálculo do tamanho da amostra, pois utilizar o número adequado para cada amostra evita que um número maior de participantes se exponha a uma determinada intervenção. Saber o número de participantes também permite prever os gastos envolvidos em uma pesquisa. As fórmulas para o cálculo do tamanho da amostra normalmente demonstram um resultado numérico que deve ser utilizado em cada grupo envolvido na pesquisa, entretanto em um artigo original observou-se que o valor obtido foi distribuído equitativamente entre os grupos envolvidos, e isso pode ter comprometido os resultados encontrados.

O número médio de autores por artigo original foi de 4,49. Não existe uma regra específica que defina o número ideal. Uma explicação plausível para esse valor seria a prática de acrescentar os nomes de pessoas que contribuíram direta ou indiretamente com a execução da pesquisa e não apenas o nome do pesquisador principal.

Quanto ao local de origem da publicação o estado de São Paulo contribuiu com a maioria das publicações, foram 60 entre os 114 artigos originais (52,5%). A diferença encontrada em relação aos outros locais de origem não pareceu ser qualitativa, mas quantitativa, uma vez que é no estado de São Paulo que existe o maior número de anestesistas por região, o maior número de faculdades e o maior número de cursos de pós-graduação.

A avaliação da classificação dos estudos revelou que 42 (36,9%) e 38 entre os 114 (33,3%) artigos originais foram classificados respectivamente como ensaios clínicos aleatórios e estudos de coorte prospectiva. Isso reflete a intenção dos autores dos artigos originais em realizar pesquisas que envolvam a criação de uma intervenção ou apenas a observação da intervenção já feita numa amostra selecionada. O método da distribuição aleatória é empregado nos ensaios clínicos aleatórios com o objetivo de eliminar a possibilidade de vieses que possam levar ao aparecimento de diferenças sistemáticas entre os grupos que estão sendo tratados e analisados 22. Em algumas circunstâncias, por causa do estado mórbido dos pacientes ou por razões éticas, a aleatorização não pode ser executada e nessas condições é admissível que as evidências surjam de estudos observacionais 22. Os estudos de coorte também são possíveis de serem executados na investigação das variáveis de uma população, entretanto uma distribuição aleatória simples é aconselhável 22.

As limitações dessa pesquisa foram: a utilização de apenas uma escala para avaliar a qualidade e a avaliação da qualidade por apenas um único revisor dos artigos. A escala de qualidade utilizada nessa pesquisa 1 avalia apenas os itens da validade interna negligenciando os itens da validade externa e o método estatístico. Outras formas de avaliação da qualidade metodológica também poderiam ter sido utilizadas como o uso de itens individuais e listas 20. É recomendável que mais de um revisor avalie os artigos e que as discordâncias sejam resolvidas por meio de reuniões de consenso. Avaliação por dois revisores ajudaria a diminuir tendências 1.

A avaliação da qualidade dos artigos de ensaios clínicos aleatórios é importante para: observar o número de artigos de ensaios clínicos aleatórios; evitar eventuais falhas no planejamento, execução e divulgação de futuros estudos; e para determinar o grau de confiabilidade dos resultados apresentados nos estudos publicados. Na década de 1990 um grupo internacional de estatísticos, pesquisadores, epidemiologistas e editores de revistas biomédicas desenvolveram o CONSORT (Consolidated Standards of Reporting Trials) statement para melhorar a qualidade das publicações dos ensaios clínicos aleatórios 17. Esse instrumento consta de uma lista com 22 itens a serem verificados e um fluxograma que apresenta informações sobre as quatro fases de um estudo (cadastro, distribuição aleatória, seguimento e a análise). Esse instrumento deve ser consultado por todos os autores de artigos originais que desejem publicar ensaios clínicos aleatórios.

Após a busca manual dos artigos originais e avaliação dos ensaios clínicos aleatórios, 7,1% dos ensaios clínicos aleatórios foram considerados de boa qualidade metodológica.

Apresentado em 4 de março de 2008

Aceito para publicação em 25 de novembro de 2008

  • 01. Jadad AR, Moore A, Carroll D et al. - Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials, 1996;17:1-12.
  • 02. Moher D, Jadad AR, Nichol G et al. - Assessing the quality of randomized controlled trials: an annotated bibliography of scales and checklists. Control Clin Trials, 1995;16:62-73.
  • 03. Castelo Filho A, Sesso RC, Atallah AN - Epidemiologia clínica: uma ciência básica para o clínico. J Pneumol, 1989;15:89-98.
  • 04. Guyatt GH, Cook DJ, Sackett DL et al. - Grades of recommendation for antithrombotic agents. Chest 1998;114(suppl 5):441s-444s.
  • 05. Schulz KF - Unbiased research and the human spirit: the challenges of randomized controlled trials. CMAJ 1995;153:783-786.
  • 06. Helayel PE, Kroth L, Boos GL et al. - Efeitos da clonidina por via muscular e perineural no bloquio do nervo isquiático com ropivacaina a 0,5%. Rev Bras Anestesiol, 2005;55:483-490.
  • 07. Helayel PE, Lobo G, Vergara R et al. - Volumes efetivos de anestésicos locais para bloqueio do compartimento da fáscia ilíaca: estudo comparativo duplamente encoberto entre ropivacaína a 0,5% e bupivacaina a 0,5%. Rev Bras Anestesiol, 2006; 56:454-460.
  • 08. Contreras-Domingues V, Carbonell-Bellolio P - Profilaxia antiemética em cirurgia de abdome agudo. Estudo comparativo entre droperidol, metoclopramida, tropisetron, granisetron e dexametasona. Rev Bras Anestesiol, 2008;58:35-44.
  • 09. Gonçalves LO, Cicarelli DD - Manobra de recrutamento alveolar em anestesia: como, quando e por que utilizá-la. Rev Bras Anestesiol, 2005;55:631-638.
  • 10. Beato L, Camocardi G, Imbelloni LE. - Bloqueio de plexo braquial pela via posterior com uso de neuroestimulador e ropivacaína a 0,5%. Rev Bras Anestesiol, 2005;55:421-428.
  • 11. Imbelloni LE, Beato L, Beato C et al. - Analgesia pós-operatória para procedimentos cirúrgicos ortopédicos de quadril e fêmur: comparação entre bloqueio do compartimento do psoas e bloqueio perivascular inguinal. Rev Bras Anestesiol, 2006;56:619-629.
  • 12. Tanaka PP, Estèbe JP, Campos R et al. - Preparação, caracterização e avaliação in vitro de microesferas de bupivacaína em excesso enantiomérico de 50% (S75-R25). Rev Bras Anestesiol, 2008;58:15-22.
  • 13. Carlos RV, Bittar CS, Lopes MR et al. - Variação da pressão sistólica como método diagnóstico da hipovolemia durante anestesia para cirurgia cardíaca. Rev Bras Anestesiol, 2005;55:3-18.
  • 14. Bafatini A, Trindade RD, Gomes CR et al. - Anestesia para cirurgia bariátrica. Avaliação retrospectiva e revisão da literatura. Rev Bras Anestesiol, 2006;56:205-222.
  • 15. Marcondes G, Soeiro FS, Ferreira EA et al. - Transporte de pacientes sem oxigenioterapia para a sala de recuperação pós-anestésica: repercussões na saturação de oxigênio e fatores de risco associados a hipoxemia. Rev Bras Anestesiol, 2006;56: 352-361.
  • 16. Torres MLA, Yamaguchi ET, Fonseca US - Sistemas respiratórios com absorção de CO2, circulares, valvulares: comparação do comportamento térmico entre sistema coaxial e convencional com diferentes fluxos de gás fresco. Rev Bras Anestesiol, 2005; 55:72-77.
  • 17. Moher D, Schulz KF, Altman D - The CONSORT statement: revised recommendations for improving the quality of reports of parallel-group randomized trials. JAMA, 2001;285:1987-1991.
  • 18. Schulz KF, Chalmers I, Altman DG - The landscape and lexicon of blinding in randomized trials. Ann Intern Med, 2002;136:254-259.
  • 19. Schulz KF, Chalmers I, Hayes RJ et al. - Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995; 273:408-412.
  • 20. Verhagen AP, De Vet HC, de Bie RA et al. - The Delphi list: a criteria list for quality assessment of randomized clinical trials conducting systematic reviews developed by Delphi consensus. J Clin Epidemiol 1998;51:1235-1241.
  • 21. Cavalcanti AB, Akamine N, Sousa JMA - Avaliação Crítica da Literatura, em: Knobel E - Condutas no Paciente Grave. 3Ş ed. São Paulo, Atheneu, 2006;2635-2647.
  • 22. Altman DG - Randomisation. BMJ, 1991;302:1481-1482.
  • Endereço para correspondência:
    Dr. Fabiano Timbó Barbosa
    Rua Comendador Palmeira, 113/202 - Farol
    57051-150 Maceió, AL
    E-mail:
  • *
    Recebido do Hospital Geral do Estado Professor Osvaldo Brandão Vilela, Maceió, AL
  • Datas de Publicação

    • Publicação nesta coleção
      17 Abr 2009
    • Data do Fascículo
      Abr 2009

    Histórico

    • Recebido
      04 Mar 2008
    • Aceito
      25 Nov 2008
    Sociedade Brasileira de Anestesiologia R. Professor Alfredo Gomes, 36, 22251-080 Botafogo RJ Brasil, Tel: +55 21 2537-8100, Fax: +55 21 2537-8188 - Campinas - SP - Brazil
    E-mail: bjan@sbahq.org