Qualidade dos resumos estruturados apresentados em congresso médico

Quality of the structured abstracts presented at a congress

ARTIGO ORIGINAL

Qualidade dos resumos estruturados apresentados em congresso médico

Quality of the structured abstracts presented at a congress

Edilson F. dos Santos^*; Maurício G. Pereira

RESUMO

OBJETIVO: Avaliar e comparar a qualidade dos resumos apresentados em congresso médico (anais do XIV Congresso da Sociedade Brasileira de Infectologia, Novembro de 2005). A hipótese testada foi de que trabalhos de melhor qualidade são escolhidos para apresentação oral.

MÉTODOS: Todos os 63 resumos apresentados oralmente e uma amostra aleatória simples (n=63) dos 664 expostos como pôster. A qualidade foi aferida por intermédio de questionário estruturado, constituído por 33 critérios, organizados em oito categorias: objetivo, delineamento, local, participantes, intervenção, medida das variáveis, resultados e conclusão. O questionário foi aplicado de maneira não cega por um dos pesquisadores. O escore final podia variar entre 0 (péssimo) e 1 (excelente).

RESULTADOS: Os resumos publicados nos anais do congresso obtiveram avaliação apenas regular na aferição da qualidade. Os escores médios de qualidade foram 0,60 e 0,62, respectivamente, para os resumos apresentados oralmente e como pôsteres (diferença não significativa; p=0,086). Os critérios que mais comprometeram a qualidade pertencem às categorias participantes, medida das variáveis, local e conclusão.

CONCLUSÃO: A hipótese testada, de melhor qualidade dos resumos selecionados para apresentação oral, não foi confirmada. Recomenda-se aos organizadores de congressos a utilização de critérios objetivos de qualidade para selecionar a forma de exposição dos trabalhos nesse tipo de evento científico e mesmo melhorar a sua qualidade.

Unitermos: Resumos. Resumos e indexação. Congressos.

SUMMARY

OBJECTIVE: To assess and compare quality of abstracts presented at a medical congress (XIV Congresso da Sociedade Brasileira de Infectologia, November, 2005). The hypothesis is that material of better quality is chosen for oral presentation.

METHODS: All the 63 abstracts selected for oral presentation were compared with a random sample (n=63) of the 664 abstracts registered as poster presentations. Quality was measured by a structured questionnaire comprised of 33 criteria, distributed in eight categories: purpose, research design, setting, subjects, intervention, measurement, results and conclusions. The questionnaire was applied by one of the authors who were not blind to the objective of the study. The final score could range from 0 (bad) to 1 (excellent).

RESULTS: Abstracts quality was considered moderately good. The overall mean quality scores were 0.60 and 0.62 respectively, for poster and oral presentation (p = 0.086). The criteria rated poorly were: subjects, variable measurements, location and conclusion.

CONCLUSIONS: The tested hypothesis of better quality in abstracts selected for oral presentation has not been confirmed. It is recommended that organizers of the congresses the use of objective quality criteria to select the form of presentation while improving on quality.

Key words: Abstracts. Abstracting and Indexing. Meeting.

INTRODUÇÃO

A apresentação de temas livres durante os congressos de especialidades médicas representa importante fonte de informação sobre o desenvolvimento de pesquisas. Além de ser um espaço democrático, no qual pesquisadores novos e veteranos podem expor o que produziram, a sessão de temas livres permite que os trabalhos apresentados durante o congresso sejam publicados em anais na forma de resumos, o que pode alcançar ampla audiência^1-2.

A consulta aos anais possibilita acesso ao conjunto dos trabalhos que foram desenvolvidos sobre determinado tema e a avaliação mais aprofundada do seu conteúdo. Permite considerar, por exemplo, a validade e a aplicabilidade dos resultados das pesquisas³. No entanto, essa avaliação depende da qualidade do resumo. Textos informativos, estruturados, são considerados melhores para esclarecimentos sobre o método e os resultados da pesquisa do que resumos não estruturados⁴.

O objetivo desse estudo foi verificar a qualidade dos resumos dos trabalhos apresentados no XIV Congresso da Sociedade Brasileira de Infectologia (SBI)⁵. A hipótese subjacente era de que os resumos apresentados oralmente têm melhor qualidade do que aqueles apresentados como pôsteres, considerando-se ser a qualidade um dos critérios na escolha para apresentação oral.

MÉTODOS

Foi realizado um estudo transversal nos resumos publicados nos anais do citado evento.

Amostra para o estudo

Nos anais do congresso constavam 754 resumos, a maioria sob a forma de pôster. Dos 90 resumos selecionados pelos organizadores para apresentação oral, 63 preencheram os critérios de inclusão. O fluxograma do processo de seleção da amostra e as razões das exclusões estão assinalados na Figura 1. Os trabalhos apresentados como pôsteres foram selecionados aleatoriamente até que 63 resumos estivessem incluídos na amostra, número igual ao de resumos de apresentação oral.

Avaliação da qualidade

A aferição da qualidade dos resumos foi realizada por intermédio de questionário estruturado. Esse instrumento de avaliação foi construído, originalmente, para avaliar a qualidade dos resumos de artigos originais publicados no "Canadian Medical Association Journal"⁶, a partir de orientações para elaboração de resumos estruturados^7-9. Foi modificado por Taddio et al.¹⁰ com a inclusão de mais um item e passou a ser constituído por 33 critérios, separados em oito categorias: objetivo, delineamento, local, participantes, intervenção, medida das variáveis, resultados e conclusão.

Para adquirir familiaridade com a aplicação do questionário, um dos pesquisadores (EFS) procedeu da seguinte maneira: a partir das recomendações sobre resumo estruturado³, foram padronizadas orientações específicas que atendessem cada critério do questionário. Em seguida, foi realizado pré-teste em 20 resumos estruturados, selecionados por conveniência, publicados nos anais do VII Congresso Brasileiro de Controle de Infecções e Epidemiologia Hospitalar¹¹. Posteriormente, foi avaliada a qualidade de cada resumo selecionado do XIV Congresso da SBI, por duas vezes consecutivas e independentes. Somente os resultados da segunda aferição foram utilizados neste artigo.

O texto do resumo foi considerado estruturado quando dividido em, pelo menos, quatro categorias: objetivo, método, resultados e conclusão.

O local de realização das investigações, quando não manifesto no texto, foi depreendido pela afiliação dos autores. Se o local de realização do estudo não estava expresso no texto do resumo ou foi indicado mais de um local de afiliação dos autores, considerou-se o que correspondia ao primeiro autor da pesquisa.

A especificação sobre o nível de atenção à saúde do local de realização do estudo, se primário, secundário ou terciário, deveria estar expressa no texto. Caso contrário, foi designado como "não informado".

As definições para os tipos de estudo se basearam no "glossário de termos metodológicos"³ e o relato dos resumos serviu como base para classificação dos estudos.

O escore de qualidade foi calculado como uma proporção: o número de respostas afirmativas para a presença do critério, em cada item avaliado, foi dividido pelo número total de critérios efetivamente aplicados em cada resumo. Os itens não considerados em determinado resumo não foram computados para o cálculo do escore de qualidade. O valor da avaliação é expresso como proporção ou porcentagem, podendo variar entre 0 a 1 ou 0 e 100%, respectivamente.

Análise estatística

A diferença entre as médias foi verificada por meio do teste t para amostras independentes. Para variáveis categóricas foi empregado o Qui-quadrado. O grau de correlação entre variáveis contínuas foi testado por meio do coeficiente de Pearson (r). O nível de significância empregado em todos os testes foi 5%. O programa de computador EPI INFOÔ, versão 3.3.2, foi utilizado para armazenar e analisar os dados.

RESULTADOS

Nas apresentações orais predominaram os inquéritos e, nos pôsteres, as séries de casos, e houve diferença significativa na distribuição dos tipos de estudos segundo as formas de apresentações (p = 0,001).

A média do escore de qualidade do grupo de trabalhos apresentados oralmente (0,60 ± 0,07) não diferiu (p = 0,086) da média do escore de qualidade do grupo de apresentação como pôster (0,62 ± 0,07). Não houve, tampouco, diferença significativa entre os grupos nas oito categorias consideradas na avaliação da qualidade dos resumos (Tabela 1). Os critérios que mais comprometeram a qualidade pertencem às categorias: participantes, medida das variáveis, local e conclusão. Cada uma das quatro categorias com percentual de adequação abaixo de 60%.

A Tabela 2 mostra o instrumento empregado na aferição da qualidade, juntamente com o número e a proporção de adequação obtida em cada critério avaliado, segundo o tipo de apresentação. Alguns critérios tiveram avaliação muito baixa na maioria dos trabalhos. Por exemplo, a maioria dos resumos não informava o nível de cuidado à saúde no local do estudo (critério número 8), não descrevia tecnicamente a forma de seleção dos participantes (número 11) ou não mencionava as limitações do estudo (número 31).

A mesma ausência de diferença estatística foi verificada em relação ao número médio de autores dos trabalhos de cada grupo (p = 0,624). O número de autores de cada trabalho não se correlacionou com o escore de qualidade dos resumos (coeficiente de Pearson = 0,031; p = 0,731).

DISCUSSÃO

No cômputo geral, os resumos publicados nos anais do congresso obtiveram avaliação apenas regular na aferição da qualidade, não havendo diferença entre os trabalhos apresentados oralmente e como pôsteres. Portanto, a hipótese testada, de melhor qualidade dos resumos selecionados para apresentação oral, não foi confirmada.

A principal contribuição desse estudo é apontar, de forma objetiva, os itens que prejudicaram a qualidade dos resumos aprovados para apresentação no congresso⁵. Possibilita, dessa forma, que os organizadores de eventos médicos dessa natureza estabeleçam normas mais claras e específicas e os participantes corrijam suas principais deficiências na redação dos textos dos resumos, de maneira que melhore sua qualidade.

As orientações fornecidas pelos organizadores de congressos médicos para submissão de trabalhos são, em geral, limitadas. Estão restritas, usualmente, aos temas abrangidos pelo evento, à forma de envio do material, à obrigação do apresentador do trabalho estar inscrito no evento, ao formato como os trabalhos devem ser apresentados – o tamanho da fonte, o espaço entre as linhas, o número de palavras e a necessidade do texto especificar o objetivo, materiais e métodos, resultados e conclusão – e a data limite para submissão dos trabalhos. Não são fornecidas informações detalhadas sobre a estrutura do texto como, por exemplo, a necessidade de especificar o delineamento do estudo, a forma de seleção da amostra, as limitações ou as implicações dos resultados para pesquisas futuras sobre o tema.

A seleção dos trabalhos submetidos à organização dos congressos médicos é realizada, na maioria das vezes, por membros de uma comissão científica do evento e os critérios para a escolha da forma de apresentação, oral ou pôster, não são divulgados.

Por outro lado, nos trabalhos remetidos aos congressos médicos, diferente do que ocorre na preparação de artigo a ser submetido para publicação em periódico científico, há um prazo pequeno para entregar os resumos. Os textos, normalmente, são enviados próximo ao fim da data limite, sugerindo que houve pouco tempo para sua elaboração^2,12. Nos artigos científicos, ao contrário, os autores têm oportunidade de revisar o texto depois de avaliado pelos pares. Nos congressos, os resumos não são revistos por seus autores após a aprovação pelos organizadores do evento. A maioria dos trabalhos é produzida para apresentação e raramente são publicados^13-15. Todos esses aspectos interagem e influenciam de forma negativa a qualidade dos resumos apresentados nos congressos.

Nessa pesquisa, o instrumento utilizado continha 33 critérios e o escore médio de qualidade (0,61; desvio-padrão = 0,07) foi próximo ao encontrado na avaliação dos resumos de artigos originais publicados pelo "Canadian Medical Association Journal" em 1989⁶ (escore médio = 0,63; desvio-padrão = 0,13), empregando um instrumento que contava com um item a menos na categoria resultado, totalizando 32 itens. Ressalta-se, no entanto, que essa semelhança nos resultados dos escores de qualidade pode estar relacionada à época em que o estudo pioneiro foi realizado, correspondente ao início da implantação do modelo de resumo estruturado.

Nos trabalhos apresentados em congresso, o único texto disponível para apreciação é o resumo. Para os trabalhos publicados em periódicos, existe a possibilidade de comparação do resumo com o texto do artigo original. Essa última situação foi verificada em três publicações usadas aqui para comparação. Os resultados do escore de qualidade foram superiores aos encontrados em nosso estudo. Taddio et al.¹⁰ avaliaram resumos estruturados publicados em 1991 e 1992 em três conceituados periódicos de associações médicas ("British Medical Journal", "Canadian Medical Association Journal" e "Journal of the American Medical Association") e obtiveram valor médio de 0,74. Os mesmos periódicos foram avaliados 10 anos depois¹⁶ (2001 e 2002) e foi encontrado o mesmo valor médio de 0,74. Em outro estudo foi verificada a qualidade de resumos estruturados de artigos originais publicados em 2000 por três importantes periódicos da especialidade de dermatologia ("Archives of Dermatology", "The British Journal of Dermatology" e o "Journal of the American Academy of Dermatology")¹⁷. A média do escore de qualidade foi 0,71 (desvio-padrão = 0,11). A possibilidade de comparar o resumo com o texto do artigo original permite aferir a qualidade do resumo de maneira mais precisa do que quando não há padrão para comparação, conforme aconteceu em nossa pesquisa.

Não é possível afirmar que os achados desse estudo aplicam-se aos textos apresentados em reuniões médicas de outras especialidades, sendo necessárias outras avaliações. Além disso, esse estudo apresenta limitações de validade interna. A mais importante refere-se à possibilidade de viés de aferição. A avaliação dos resumos não foi cega e realizada por um único avaliador. Acrescentem-se os fatos do instrumento de avaliação ter sido construído a partir de instruções para preparação de resumos estruturados para relatos de resultados de pesquisas clínicas em seres humanos³ e de atribuir o mesmo valor para todos os critérios, o que pode não ser adequado¹⁷.

Seria importante que os organizadores de congressos considerassem alguns pontos para melhoria dos resumos de trabalhos apresentados nos próximos eventos: 1) o fornecimento de orientações mais específicas sobre a sua elaboração, em particular com relação aos aspectos do texto que trazem maior prejuízo para sua qualidade; 2) a priorização da qualidade dos resumos como critério para seleção dos melhores para apresentação oral e 3) a possibilidade de revisão pelos autores dos textos aprovados, antes da publicação, recomendação que, pela exigüidade de tempo de preparação do congresso, pode ser de difícil execução.

Conflito de interesse: não há.

Artigo recebido: 19/12/06

Aceito para publicação: 23/02/07

Trabalho realizado na Fundação de Ensino e Pesquisa em Ciências da Saúde, Brasília, DF, e na Faculdade de Medicina e Programa de Pós-Graduação em Ciências da Saúde, Universidade de Brasília, Brasília, DF

• 1. Panush RS, Delafuente JC, Connelly CS. Profile of a meeting: how abstracts are written and reviewed. J Rheumatol. 1989;16(2):145-7.
• 2. Weinstein R. How to write an abstract and present it at the annual meeting. J Clin Apher, 1999;14(4):195-9.
• 3. Haynes RB, Mulrow CD, Huth EJ, Altman DG, Gardner MJ. More informative abstracts revisited. Ann Intern Med, 1990;113(1):69-76.
• 4. Shannon S. Writing a structured abstract. Can Assoc Radiol J, 2000;51(6):328-9.
• 5. Sociedade Brasileira de Infectologia. Abstracts of the 14th Brazilian Infectious Diseases Congress. Braz J Infect Dis, 2005;9(Suppl 1):S29-S287.
• 6. Narine L, Yee DS, Einarson TR, Ilersich AL. Quality of abstracts of original research articles in CMAJ in 1989. CMAJ. 1991;144(4):449-53.
• 7. A proposal for more informative abstracts of clinical articles. Ad Hoc Working Group for Critical Appraisal of the Medical Literature. Ann Intern Med. 1987;106(4):598-604.
• ⁸
  Uniform requirements for manuscripts submitted to biomedical journals. International Committee of Medical Journal Editors. Disponível em www.icmje.org Acesso em 08/7/2007.
• 9. Fletcher RH. Writing an abstract. J Gen Intern Med. 1988;3(6):607-9.
• 10. Taddio A, Pain T, Fassos FF, Boon H, Ilersich AL, Einarson TR. Quality of nonstructured and structured abstracts of original research articles in the British Medical Journal, the Canadian Medical Association Journal and the Journal of the American Medical Association. CMAJ. 1994;150(10):1611-5.
• 11. Associação Brasileira dos Profissionais em Controle de Infecções e Epidemiologia Hospitalar. In: VII Congresso Brasileiro de Controle de Infecções e Epidemiologia Hospitalar. Belo Horizonte; 2000. Anais.
• 12. Taboulet P. Advice on writing an abstract for a scientific meeting and on the evaluation of abstracts by selection committees. Eur J Emerg Med. 2000;7(1):67-72.
• 13. Larian B, Namazie A, Agha N, Azizzadeh B, Blackwell K, Wang MB. Publication rate of abstracts presented at the annual meeting of the American Academy of Otolaryngology-Head and Neck Surgery. Otolaryngol Head Neck Surg. 2001;125(3):166-9.
• 14. Hashkes P, Uziel Y. The publication rate of abstracts from the 4th Park City Pediatric Rheumatology meeting in peer-reviewed journals: what factors influenced publication? J Rheumatol. 2003;30(3):597-602.
• 15. Morgan CJ, Cooper AJ, Dyer JP, Friedmann PS. The publication rate of abstracts presented at the British Association of Dermatologists Annual Meeting. Br J Dermatol. 2005;153(4):855-7.
• 16. Wong HL, Truong D, Mahamed A, Davidian C, Rana Z, Einarson TR. Quality of structured abstracts of original research articles in the British Medical Journal, the Canadian Medical Association Journal and the Journal of the American Medical Association: a 10-year follow-up study. Curr Med Res Opin. 2005;21(4):467-73.
• 17. Dupuy A, Khosrotehrani K, Lebbe C, Rybojad M, Morel P. Quality of abstracts in 3 clinical dermatology journals. Arch Dermatol. 2003;139(5):589-93.

Datas de Publicação

• Publicação nesta coleção
  21 Set 2007
• Data do Fascículo
  Ago 2007

Histórico

• Recebido
  19 Dez 2006
• Aceito
  23 Fev 2007