Doutorado em cardiologia no Instituto do Coração da FMUSP, de 1994 a 2004: defesa e publicação

Resumos

BACKGROUND: A study evaluated the relationship between the defense of dissertations and their publication within the realm of the entire Medical School of the University of São Paulo (FM-USP). The existence of differences among different areas of knowledge and the time between defense of dissertations and their publication is questioned. OBJECTIVE: To characterize publications related to dissertations defended in graduate courses of the Heart Institute (InCor) of the University of São Paulo Medical School (FM-USP). METHODS: A retrospective survey was carried out featuring graduate work at FM/USP for the 1994 - 2004 period. Initially, data were collected on students who defended dissertations during this period, on their advisors, and on the dissertations defended in the course of the period. Then, by crossing these data with data from Medline® and Web of Science®, publications by these authors and data were located that referred to the respective publications. RESULTS: During that period, 268 dissertations were defended, resulting in 195 publications within a period of up to 10 years after their defense. The median time for publication after defense was one year and nine months, with a median impact factor of 2.1, and a median of 4 citations per paper. There was no statistically significant correlation among any of the data studied. CONCLUSION: A significant percentage of the dissertations were published, and in the group studied, publication took place within increasingly short times after their defense. This fact may be related to the success of the graduate commissions' policies and to the importance currently lent to debates on this theme, all of which contribute to improvement in the quality of graduate studies.

Education, medical graduate; impact factor; peer review, research

ARTIGO ORIGINAL

EXPERIMENTAL

Doutorado em cardiologia no Instituto do Coração da FMUSP, de 1994 a 2004: defesa e publicação

Julio Flávio Meirelles Marchini^II; Bruno Caramelli^I

^IUnidade de Medicina Interdisciplinar em Cardiologia do Instituto do Coração da Faculdade de Medicina da Universidade de São Paulo, São Paulo, SP - Brasil

^IIFaculdade de Medicina de Ribeirão Preto da Universidade de São Paulo, Ribeirão Preto, SP - Brasil

^{Correspondência}

RESUMO

FUNDAMENTO: Um estudo avaliou a relação entre defesas de tese e publicações no âmbito de toda a Faculdade de Medicina da Universidade de São Paulo (FMUSP). Questiona-se a existência de diferenças entre diferentes áreas do conhecimento e no domínio do tempo.

OBJETIVO: Caracterizar as publicações relacionadas às teses defendidas na pós-graduação do Instituto do Coração (InCor) da FMUSP.

MÉTODOS: Realizou-se um levantamento retrospectivo junto à pós-graduação de cardiologia da FMUSP, no período de 1994 a 2004. Inicialmente foram coletados dados de alunos que defenderam teses nesse período, de seus orientadores e das próprias teses. A seguir, cruzando informações da Medline® e Web of Science®, localizaram-se publicações desses autores e dados referentes às respectivas publicações.

RESULTADOS: Nesse período, foram defendidas 268 teses, que resultaram em 195 publicações, no período de até dez anos após a defesa. As publicações ocorreram com mediana de um ano e nove meses após a sua defesa, com fator impacto mediano de 2,1 e uma mediana de 4 citações por trabalho. Não houve correlação com significância estatística em nenhum dos dados estudados.

CONCLUSÃO: Uma porcentagem importante das teses é publicada. A publicação tem ocorrido de maneira cada vez mais precoce após a defesa. Esse fato pode estar relacionado ao sucesso das políticas das comissões de pós-graduação e à importância com que esse tema já é debatido atualmente, contribuindo para a melhoria da qualidade da pós-graduação.

Palavras-chave: Educação de pós-graduação em medicina, fator de impacto, avaliação pelos pares para publicação.

Introdução

O processo de formação do pós-graduando inclui aquisição de conhecimento, didática, metodologia científica e produção de conhecimento inovador. O aluno deve ser capaz de realizar a coleta de dados, tabulação e exposição de resultados, defesa e, finalmente, apresentação dos dados à comunidade de interesse. Um levantamento recente realizado na Faculdade de Medicina da Universidade de São Paulo (FMUSP) mostrou que havia baixas taxas de publicação¹. A defesa da tese não é o fim de um processo, mas sim seu início, gerando conhecimento a ser divulgado, além de servir de alicerce para novos trabalhos. Um editorial desta revista, na comemoração dos 30 anos da pós-graduação em cardiologia do Instituto do Coração (InCor), destacou a história dessa área e sua contribuição para a produção e exportação de saber².

Esses dados, entretanto, são gerais e podem não ser verdade para áreas específicas. Este trabalho procurou continuar essa análise dentro da cardiologia, como destaque dentro dessa mesma faculdade. A observação ocorreu em um período posterior ao previamente estudado, permitindo observar se houve tendência de mudança da taxa de publicação.

Métodos

Foram analisadas as teses em cardiologia da FMUSP apresentadas no período de 11 anos, de 1994 até 2004. Consideraram-se nesta análise apenas estudantes matriculados que defenderam suas teses durante o intervalo em estudo. Foram coletados dados dos alunos de pós-graduação, de seus orientadores e dos temas das teses defendidas. Sobre os alunos, obtiveram-se data de nascimento, ano de graduação, data de entrada no programa de pós-graduação e data de defesa da tese. Calcularam-se o intervalo entre a formatura e a matrícula na pós-graduação, o tempo de permanência no programa e as idades na matrícula e na defesa.

Sobre os orientadores cadastrados, foi obtido o número de teses que orientaram durante o período estudado.

Quatro pesquisadores (dois de área clínica e dois de área básica) analisaram o título das teses sem conhecimento do nome do pesquisador ou de seu orientador e classificaram, de maneira independente, cada uma delas conforme a área de interesse: básica, clínica e epidemiológica. Trabalhos não realizados em humanos, a partir de amostras de tecidos ou em modelos, foram classificados como área básica. Estudos não-experimentais, determinando prevalência, incidência e prognóstico, foram classificados como área epidemiológica, e estudos experimentais com seres humanos foram classificados como estudos clínicos.

As fontes de dados utilizadas neste estudo foram o arquivo Pubmed®, disponível na internet pela National Library of Medicine do National Institute of Health (ncbi.nih.nlm.gov), e o Web of Science®, disponível por meio da Coordenação de Aperfeiçoamento de Pessoa de Nível Superior (Capes). Por meio do título da tese, do nome do orientado e de seu orientador, foi identificado se a tese foi ou não publicada em periódico cadastrado nessas fontes até a conclusão do presente trabalho, em fevereiro de 2008. Se o trabalho era identificado, extraía-se sua data de publicação, o periódico em que foi publicado, seu fator de impacto no ano de sua publicação e o número de vezes que o artigo foi citado em outros trabalhos até o momento da análise. Calculou-se ainda o número de citações por ano desde a publicação até fevereiro de 2008. O fator de impacto utilizado foi proveniente do Journal Citation Reports® da Thomson Scientific (JCR), disponibilizado pela Capes desde 2001. Para 14 publicações prévias a 2001, o valor foi solicitado às oito revistas envolvidas ou obtido em duas publicações^3,4. Não estão definidos ainda os fatores de impacto para os anos de 2007 e 2008, casos em que foi utilizado o fator de impacto de 2006. Isso ocorreu com 11 publicações. Para os periódicos que não estão incluídos no JCR, foi atribuído o fator de impacto zero.

A análise estatística foi feita com o programa Stata 9.0®. Utilizou-se análise kappa para avaliar a concordância na classificação das teses em tipos. A regressão logística foi utilizada para testar a correlação entre publicar a tese com as variáveis pesquisadas e a regressão linear multivariável para correlacionar o fator de impacto obtido na publicação com as variáveis em questão. O teste t não-pareado unicaudal ou do qui-quadrado foi utilizado para comparação de grupos quando apropriado.

Resultados

No período de 11 anos, foram apresentadas 268 teses de doutorado. A idade dos alunos no momento da entrada no programa de pós-graduação em média foi de 37 anos, com desvio padrão de 7,0 anos. A defesa da tese em média foi aos 41 anos, com desvio padrão de 6,9 anos. Noventa e sete por cento dos alunos eram médicos. A média de duração da pós-graduação, ou seja, entre a matrícula e a apresentação da tese, foi de 4 anos, com desvio padrão de 1,6 anos.

O tempo entre a formatura e a entrada no programa foi em média de 13 anos, com desvio padrão de 6,7 anos. Esse período para quem se formou antes de 1980 foi de 23 anos, com desvio padrão de 6,15 anos, 13 anos para quem formou entre 1980 e 1989, com desvio padrão de 6,0 anos e 6 anos para quem se formou após 1989, com desvio padrão de 1,84 anos.

Observou-se que o programa de pós-graduação teve 47 teses defendidas na primeira metade e 221 teses na segunda metade do período.

No intervalo de estudo, participaram 68 orientadores distintos, cada um com uma mediana de 6 alunos variando de 1 a 15 alunos.

Após 2 anos e 8 meses de sua defesa, 50% dos alunos publicaram suas teses (fig. 1). Ao todo 195 (73%) foram publicadas, com uma mediana de 1 ano e 9 meses após a defesa, com percentis 25 e 75 de 1,1 anos e 3,1 anos, respectivamente. A publicação mais precoce ocorreu 6 anos e 4 meses antes da defesa da tese, e a última ocorreu 10 anos e 6 meses após. Cento e sete (55%) foram publicadas em periódicos que possuem fator de impacto. Nesse grupo, a publicação ocorreu com uma mediana de 1 ano e 9 meses após a defesa, com percentis 25 e 75 de 0,9 anos e 2,8 anos, respectivamente. O valor mediano do fator de impacto dessas publicações foi de 2,1, variando de 0,4 até 51,3, com percentis 25 e 75 de 1,4 e 3,6, respectivamente. As publicações foram citadas com uma mediana de 4 vezes variando de nenhuma vez até 353 vezes, com percentis 25 e 75 de 1 e 11 vezes, respectivamente. As publicações obtiveram uma mediana de 1,0 citação por ano, variando de nenhuma citação até 49,3 citações por ano, com percentis 25 e 75 de 0,3 e 1,9, respectivamente.

Quanto às publicações em periódicos não avaliados pelo JCR, a publicação ocorreu com uma mediana de 2 anos e 1 mês após a defesa, com percentis 25 e 75 de 1,2 e 3,7, respectivamente. A tabela 1 apresenta os números de teses defendidas e publicadas no decorrer dos anos estudados.

Foi realizado o teste do qui-quadrado comparando a porcentagem de publicações em cada ano, em relação a uma porcentagem em que a publicação fosse fixa todos os anos. Constatou-se que a distribuição observada não foi diferente (p = 0,99).

Observou-se ainda que 16% do total de publicações ocorreram antes da defesa, enquanto 17% aconteceram depois de 4 anos desse evento.

Dividiu-se o total de defesas publicadas em sua mediana, o que ocorreu em julho de 2002. A primeira metade, totalizando oito anos e meio com 98 teses publicadas e a segunda metade nos dois anos e meio restantes com 97 teses. O tempo para a publicação das primeiras 97 teses após a defesa apresentou uma mediana de 2 anos e 6 meses, com percentis 25 e 75 de 0,9 e 4,2, respectivamente, e nas restantes isso ocorreu com uma mediana de 1 ano e 7 meses, com percentis 25 e 75 de 1,1 e 2,4, respectivamente. Os dois grupos de valores foram significativamente diferentes (p = 0,0118) (fig. 2).

A concordância da análise dos tipos de tese pelo valor kappa foi de 0,11, ou seja, uma concordância pobre. A tabela 2 apresenta as concordâncias por tipo de tese. Observou-se que a classificação como tese básica, a qual obteve a melhor correlação, foi apenas regular (entre 0,2 e 0,4) por meio do valor kappa.

Em 111 teses (41%) não se estabeleceu uma maioria entre os classificadores sobre qual o tipo de tese. Quanto ao restante, 67 (25%) foram classificadas como estudo clínico, 61 (23%) como estudo epidemiológico e 29 (11%) como estudo básico. Se os tipos epidemiológico e clínico forem compreendidos como uma única classificação, o valor kappa da concordância aumenta para 0,23. Nesse caso, 53 teses (19%) ficaram sem classificação, 194 (72%) foram classificadas como clínica e as outras 21 (7%) como estudo básico.

Buscou-se correlação entre os fatores pesquisados e a publicação da tese. As variáveis consideradas nessa análise foram: ano de graduação, intervalo entre a formatura e a matrícula na pós-graduação, tempo de permanência no programa, idade na defesa e número de teses orientadas concomitantemente pelo respectivo orientador. A análise, por regressão logística, não mostrou correlação com nenhuma variável pesquisada. A seguir, foi realizada a análise da relação entre o fator de impacto do periódico no qual foi publicada a tese e os fatores pesquisados pela regressão linear multivariada. Os fatores considerados foram os mesmos. Não foi encontrada correlação entre o fator de impacto com nenhuma uma das variáveis. A figura 3 apresenta o tempo para publicação da tese em relação ao fator de impacto.

Discussão

Realizou-se um levantamento mostrando o desempenho e a evolução da pós-graduação em cardiologia do InCor/FMUSP. Foram buscados fatores que poderiam se correlacionar a maior probabilidade de publicação e/ou publicação em um periódico com maior fator de impacto.

O período de 13 anos entre a formatura e a matrícula no programa de pós-graduação é bastante extenso. Salienta-se ainda que esse tempo foi de 26 anos para quem se formou antes de 1980. Esse dado pode ser explicado em parte pela residência médica em cardiologia. Isso equivale a uma pequena fração do tempo para quem se formou antes de 1980, mas já corresponde a 50% do tempo para quem se formou após 1989. A residência médica em clínica médica em 2 anos começou nos anos 2000 e 2001, portanto não estão incluídos alunos de pós-graduação com 4 anos de residência nesta amostra. Outra possibilidade para complementar esse valor seria o tempo despendido para a preparação do projeto de pós-graduação, incluindo seu início antes da matrícula formal no programa.

Encontrou-se nesse período de 11 anos a publicação de 195 trabalhos. Outro levantamento publicado em 2005 apontou a produção de 204 publicações de teses no período de 30 anos de pós-graduação do Instituto do Coração². Excluindo 42 publicações que ocorreram após 2005, observou-se que nos 11 anos estudados se concentram 75% das publicações realizadas nessa instituição.

Esses resultados podem ser comparados com o estudo realizado por Younes e cols.¹, no qual foi analisado o tempo para a primeira publicação dos doutores que obtiveram o seu título na FMUSP, em todas as áreas da pós-graduação no período de 1990-2000. Constatou-se que em cinco anos 50% dos pós-graduandos ainda não tinham publicado nenhum trabalho. Neste estudo, o valor encontrado para a publicação da tese por 50% dos alunos foi de dois anos e oito meses. Não temos, para o estudo anterior, uma análise apenas dos alunos da área de cardiologia, no entanto, ao compararmos dois subgrupos deste estudo atual (divididos pela sua mediana), observamos uma diminuição significativa do tempo para publicação da tese (fig. 2).

A classificação das teses conforme o tipo (clínico, epidemiológico ou básico) apresentou uma concordância não-satisfatória entre os quatro pesquisadores. A melhor correlação obtida não ultrapassou o valor kappa 0,23, que corresponde a uma concordância regular. É possível que cada tese envolva aspectos que percorrem os diferentes tipos de classificação. Por exemplo, um trabalho clínico pode utilizar método de biologia molecular e também conter análise epidemiológica dos grupos de estudo. Não há como dividir o estudo de pós-graduação nesses tipos.

Não foi encontrada nenhuma correlação entre publicar o estudo ou entre o fator de impacto com qualquer uma das variáveis estudadas por meio da regressão logística ou linear, respectivamente.

A Comissão Federal de Educação, em 3 de dezembro de 1965, definiu a pós-graduação que na época se estruturava no país⁵. Trata-se do posicionamento da universidade para a geração de conhecimento científico e tecnológico. Salienta ainda que, em contraposição aos cursos de graduação que devem ser abertos ao maior número possível de alunos, a pós-graduação deve ser restrita aos mais aptos. Por isso, os próprios programas devem manter um alto nível com aperfeiçoamento contínuo, o qual envolve conhecer suas características, propor e realizar mudanças. Em um segundo tempo, uma nova análise deve ser realizada comparando-se a primeira, o que permite conclusões sobre os resultados. É necessário escolher instrumentos e métodos para essa avaliação. A auto-avaliação de uma instituição pode conter conflitos de interesses na medida em que os interessados são os próprios avaliadores. Conhecimentos científicos gerados, ao serem publicados em um periódico, são vistos por grupos externos à instituição, avaliando indiretamente a própria pós-graduação pelo seu produto. A avaliação da Capes dos programas contempla esse quesito⁶. Ao mesmo tempo, está claro nos critérios propostos pela Capes que este não seja o único fator utilizado em toda a avaliação.

Um segundo nível de análise seria avaliar o fator de impacto das publicações obtidas. Este reflete a visão de que um artigo é de pouca utilidade a não ser que seja utilizado e citado por outros pesquisadores. É calculado por meio de uma relação do número de citações de todos os trabalhos de um determinado periódico dos dois anos anteriores sobre todos os trabalhos publicados no mesmo período pelo mesmo periódico⁷. Existem contribuições importantes, como sobre doenças locais, prevalência, análises de custos nacionais, que não são de interesse dos principais eixos de pesquisa mundiais, Estados Unidos e Europa, e que poderão não ser publicadas em revistas de fator impacto⁸. Abordagens feitas por grupos nacionais poderão ter maior dificuldade para aceitação em periódicos mais visados. Isso influencia negativamente esse indicador e conseqüentemente seu uso, sem que necessariamente a qualidade da pesquisa seja menor. Devem ser conhecidas as limitações desse indicador para que possa ser mais bem interpretado.

A própria avaliação da Capes, tendo incorporado análise de publicações e tempo limite para a publicação após a defesa, pode ser o principal motivo para as tendências observadas. Além disso, a importância da publicação para o programa de pós-graduação vem sendo reconhecida pelas próprias instituições que conferem a titulação. Algumas comissões passaram a exigir a submissão do trabalho como exigência para a conclusão do doutorado. Fica em aberto a possibilidade de repetir o estudo em um futuro próximo para comparação.

Limitações do estudo

O valor do fator de impacto para os anos 2007 e 2008 foi o de 2006, mas que representa 5% dos trabalhos. Os critérios de inclusão exigiam ter terminado a defesa de tese. Por isso, não consideramos os abandonos, mas, em virtude do seu número muito pequeno, acreditamos que os resultados não foram influenciados.

Agradecimento

Ao Prof. Dr. Julio Sérgio Marchini, por suas sugestões e revisão atenciosa do artigo.

Potencial Conflito de Interesses

Declaro não haver conflito de interesses pertinentes.

Fontes de Financiamento

O presente estudo não teve fontes de financiamento externas.

Vinculação Acadêmica

Não há vinculação deste estudo a programas de pós-graduação.

Artigo recebido em 11/11/07; revisado recebido em 07/04/08; aceito em 05/05/08

• 1. Younes RN, Deheinzelin D, Birolini D. Graduate education at the faculty of medicine of the University of Sao Paulo: quo vadis? Clinics. 2005; 60 (1): 6-8.
• 2. Hueb W, Mady C, Ramires JAF. Trinta anos de pós-graduação em cardiologia. Arq Bras Cardiol. 2005; 85 (6): 385-7.
• 3. SoRelle R. Circulation impact factor is highest ever. Circulation. 2001; 104 (13): 1450.
• 4. Marban E. Circulation research impact factor sets new record. Circ Res. 2001; 89 (2): 101.
• 5. Parecer CFE nş 977/65, aprovado em 3 dez. 1965. Rev Bras Educ. 2005; 30: 162-73.
• 6. Horta JSB, Moraes MCM. O sistema CAPES de avaliação da pós-graduação: da área de educação à grande área de ciências humanas. Rev Bras Educ. 2005; 30: 95-116.
• 7. Tobin MJ. Impact factor and the journal. Am J Respir Crit Care Med. 2003; 168: 621-2.
• 8. Kerr-Pontes LRS, Pontes RJS, Bosi MLM, Rigotto RM, Silva RMd, Bezerra Filho JG, et al. Uma reflexão sobre o processo de avaliação das pós-graduações brasileiras com ênfase na área de saúde coletiva. Physis: Rev Saúde Coletiva. 2005; 15: 83-94.

Datas de Publicação

• Publicação nesta coleção
  05 Jan 2009
• Data do Fascículo
  Nov 2008

Histórico

• Revisado
  07 Abr 2008
• Recebido
  11 Nov 2007
• Aceito
  05 Maio 2008