DESENVOLVIMENTO DE MÉTRICAS PARA ARTIGOS PUBLICADOS NO MESTRADO PROFISSIONAL

Resumos

Objetivo:

Propor métrica para qualificar a produção veiculada através de artigos publicados em programas de mestrado profissional e, a partir daí, estabelecer orientação para a avaliação dos programas de pós-graduação da Medicina III.

Método:

Análise dos documentos de área de 2013 dos programas de pós-graduação senso estrito no que concerne à aplicação e mensuração de pontuação a artigos publicados, e criação de proposta para métrica do tema com vistas à avaliação quadrienal da Medicina III.

Resultados:

Foram avaliados os documentos de área das Medicinas I, II e III; Ciências Biológicas I e Interdisciplinar, assim como os relatórios de 2013 da CAPES. Todos os programas estabelecem métrica para "Classificação de Artigos Publicados" dentro de sua produção bibliográfica embora com percentuais diferentes respeitando suas especificidades. Com esses dados levantados e correlacionando-se sua pertinência com as áreas cirúrgicas, foi elaborada proposta de quantificação da qualidade dos artigos publicados para "Programas de Pós-graduação Profissionais" na área cirúrgica que possuem características próprias de acordo com suas diretrízes, direcionando assim sua produção científica preferencialmente para revistas técnicas.

Conclusão:

A métrica sugerida para artigos publicados, que deve ser incluída na produção intelectual do Documento de Área, deverá ser considerada para o extrato A1 = 100 pontos; A2 = 85 pontos; B1 = 80 pontos; B2 = 70 pontos; B3 = 60 pontos; B4 = 40 pontos e B5 = 20 pontos.

Artigo de revista; Educação de pós-graduação em Medicina

Objective:

Propose metric to qualify the production conveyed through articles published in Professional Master's Programs and, from there, to establish guidance for the evaluation of postgraduate programs of Medicine III.

Method:

Analysis of the documents of 2013 area graduate programs strict sense concerning the application and measurement of score the articles published, and creation of proposal for metric of the theme with the quadrennial review of Medicine III.

Results:

Were evaluated the medicines area documents I, II and III; Biological Sciences (I) and Interdisciplinary, as well as the 2013 reports of CAPES. All programs establish metrics for "Classification of Published Articles" within its bibliographic production although with different percentages respecting its specificities. With these data collected and correlating their relevance with the surgical areas, was drafted proposal for quantification of the quality of the published articles to "Professional Postgraduate Programs" at surgical area that have specific characteristics according to their guidelines, directing their scientific production to technique journals preferably.

Conclusion:

The metric suggested for published articles, that should be included in intellectual production of the Area Document, should be considered for the extract A1 = 100 points; A2 = 85 points; B1 = 80 points; B2 = 70 points; B3 = 60 points; B4 = 40 points and B5 = 20 points.

Journal article; Education medical; Postgraduation in Medicine

INTRODUÇÃO

Os programas de pós-graduação estrito sensu profissionais da CAPES vêm aumentando exponencialmente desde sua implantação¹.

Com nova visão filosófica, mudando o foco da pós-graduação, não somente para a produção científica, mas também para a produção técnica e tecnológica, os mestrados profissionais foram idealizados com a finalidade de mudar as matrizes de pensamento e criação dos profissionais na área da saúde, formando agora não só profissional que produz pesquisa, mas também, profissional criativo, inovador e que cria, colabora com a criação e ou desenvolve inovações em sua área de atuação¹.

Tal visão criou consigo um novo paradigma, pois os critérios vigentes de avaliação não mais se tornam adequados à programa com outras finalidades que não somente a de alavancar a área das pesquisas.

Com finalidade diversa do mestrado acadêmico, o profissional tende a valorizar muito mais a criação inventiva, a geração de patentes e o depósito de direitos autorais, o que de modo geral tinha peso ínfimo ou não era valorizado no mestrado acadêmico.

Desta forma torna-se premente reestruturação nos critérios de avaliação destes programas tendo em vista que os meios de divulgação da produção seguem linhas diversas entre os dois.

No que diz respeito à publicação de artigos, enquanto o mestrado acadêmico busca publicações em revistas com impacto cada vez mais elevado, o mestrado profissional precisa também divulgar sua produção em revistas técnicas e tecnológicas que possuem, nas áreas das ciências da saúde, em geral com fator de impacto inferior àquelas puramente científicas. Isso faz com que a pontuação da produção em artigos científicos seja relativamente menor nos mestrados profissionais, prejudicando sua avaliação, final quando utilizados os critérios vigentes².

Por este motivo há necessidade de revisão dos critérios e métricas de avaliação dos artigos publicados por programas de mestrado profissional da pós-graduação da Medicina III.

MÉTODOS

Esse estudo foi realizado no Programa de Pós-graduação Profissional em Cirurgia e Pesquisa Experimental da Universidade do Estado do Pará pelos membros do seu colegiado de outubro a novembro de 2014.

A pesquisa teve como diretrizes a busca ativa dos critérios de avaliação da produção bibliográfica na forma de artigos completos publicados em periódicos, ora utilizada por diversas áreas das Ciências da Saúde da CAPES, verificando sua compatibilidade com finalidade precípua do mestrado profissional e de revistas técnicas para as quais sua produção bibliográfica é naturalmente direcionada.

As conclusões aqui expostas são o resultado da apresentação realizada e da discussão subsequente da mesma, durante o V Encontro da Pós-Graduação da Medicina III entre 8 e 9 de dezembro de 2014 na cidade de São Paulo, Brasil³.

A análise do material baseou-se nas métricas contidas nos documentos de área e relatórios de 2013 das áreas Interdisciplinar⁴, Ciências Biológicas⁵, Medicina I, Medicina II, Medicina III⁶ (Figura 1) e relatórios do 3º Seminário de acompanhamento de 7 a 9 de julho de 2014 da Área de Ensino da CAPES, com dados extraidos do Seminário de Acompanhamento dos Programas de Pós-Graduação realizado de 14 a 15 de março de 2013 em Brasília².

FIGURA 1
- Pontuação da produção bibliográfica dos programas de mestrado acadêmico para a avaliação do triênio em 2013

Foram analisados os quadros de produção bibliográfica e técnica de programas de pós-graduação recomendados pela CAPES, comparando os espelhos formados por programas de mestrado acadêmico com os do mestrado profissional. (Figura 2)

FIGURA 2
- Comparação da produção bibliográfica e técnica de programas de mestrado acadêmico e profissionais na avaliação do triênio em 2013

Após a identificação do desenho dos espelhos (Figura 3), os mesmos foram superpostos e a eles aplicados mos os atuais critérios de pontuação.

FIGURA 3
- Espelhos da produção bibliográfica de programas de mestrado acadêmico e profissionais no triênio analisado em 2013

RESULTADOS

A pesquisa demonstrou os resultados expressos nas Figuras 4, 5, 6, e 7 e Tabela 1.

FIGURA 4
- Percentual de artigos publicados no triênio analisado em 2013 pelos programas de mestrado acadêmico e profissional, distribuidos pelo estrato Qualis

FIGURA 5
- "Notas" (métrica da área x nº de artigos no triênio analisado em 2013), obtidas por programas de mestrado acadêmico e profissional, quando avaliados pela métrica da área Interdisciplinar e Ciências Biológicas

FIGURA 6
- "Notas" (métrica da área x nº de artigos no triênio analisado em 2013), obtidas por programas de mestrado acadêmico e profissional, quando avaliados pela métrica da área das Medicinas

FIGURA 7
- "Notas" (métrica da área x nº de artigos no triênio analisado em 2013), obtidas por programas de mestrado acadêmico e profissional, quando avaliados pela métrica Sugerida

TABELA 1
- "Nota" (métrica da área x nº de artigos no triênio analisado em 2013), dos mestrados acadêmicos e profissionais quando avaliados pelas diferentes métricas

	Notas pela métrica INTERDISCIPLINAR	Notas pela métrica das MEDICINAS	Notas pela métrica SUGERIDA
Acadêmico	143060	121310	121310
Profissional	74580	58300	91860
Diferença	68480	63010	29450

• Fonte: Relatórios do 3º Seminário de acompanhamento de 7 a 9 de julho de 2014 da Área de Ensino da CAPES

DISCUSSÃO

Avaliar é o processo que visa verificar a aquisição de competências e habilidades em determinada área do conhecimento ou do campo laboral. Tem sempre em vista o processo de melhoria contínua⁷.

Tendo como válido este conceito, a revisão das métricas de avaliação da CAPES para os mais diversos tipos de produção encontra-se atualmente em pleno e acertado processo revisional, visando adequar à realidade atual, suas métricas para avaliação de indicadores, sempre almejando o princípio básico da justiça.

No que diz respeito às métricas para artigos publicados, os indicadores dos periódicos e revistas científicas procuram expressar a qualidade dos artigos por prévio exame e julgamento por dois ou três pares, ou peer-review, tendo critérios de análise conhecidos e aplicados universalmente. Na maioria dos documentos de área da CAPES a avaliação dos periódicos segue a um padrão bastante uniforme, possuindo variações sutís, pelo menos dentro da área da saúde.

Sendo assim, poder-se-ia chegar à conclusão de que não haveria a necessidade de revisão das métricas, tendo em vista sua concordância entre pares.

No entanto, com a criação dos programas de mestrado profissional em 1999¹, uma outra realidade surgiu no cenário da pós-graduação brasileira, visto que a finalidade destes agora, visa não somente a produção científica, mas também a produção técnica e tecnológica.

Neste novo cenário, a aplicação das atuais métricas produz distorção avaliativa, com prejuizo aos programas profissionais (Figuras 5 e 6), devido a que a característica produção técnica e tecnológica é conduzir a publicação em revistas de outras áreas do conhecimento como a bioengenharia, biomateriais, biotecnologia, nanotecnologia, etc., que são hoje, logicamente, avaliadas com Qualis baixo nas áreas da saúde, o que ficou claramente demonstrado nos relatórios de avaliação de 2013 (Figuras 2, 3 e 4)⁸.

Com esta nova realidade, no V Encontro da Pós-Graduação da Medicina III em 8 e 9 de dezembro de 2014 na cidade de São Paulo, Brasil, o assunto foi levado a discussão sendo apresentada e discutida a sugestão de uma nova métrica a ser aplicada na publicação de artigos para os mestrados profissionais, valorizando revistas técnicas e tecnológicas, sem perder de vista e manter como alvo revistas Qualis A e sua excelência.

Com isso, ao se aplicar a métrica sugerida à produção apresentada no último triênio avaliado, verifica-se clara diminuição desta distorção, mantendo-se, no entanto como meta a ser alcançada, as revistas Qualis A (Figura 7, Tabela 1).

Com a adoção da métrica proposta, certamente haverá melhor avaliação dos programas de mestrado profissional, atendendo à sua diretriz básica de produção técnica e tecnológica, corrigindo distorção existente quando os avaliamos com a métrica de programas de mestrados acadêmicos.

Vale ressaltar que com o passar dos anos, com novas avaliações pela CAPES do Qualis das revistas técnicas e tecnológicas na área da saúde - assim como a aceitação de artigos técnicos em revistas de Qualis elevado -, a distorção ora observada tenderá a desaparecer, havendo a necessidade de constante reavaliação das métricas.

CONCLUSÃO

A métrica para artigos publicados no mestrado profissional que deve ser incluída na produção intelectual do Documento de Área, deverá ser considerada como: Qualis A1: 100 pontos; Qualis A2: 90 pontos; Qualis B1: 80 pontos; Qualis B2: 70 pontos; Qualis B3: 60 pontos; Qualis B4: 40 pontos; Qualis B5: 20 pontos e Qualis C: 0 pontos

REFERÊNCIAS

• ¹
  Portal Brasil. Disponível em: http://www.brasil.gov.br/educacao/2014/05/capes-recomenda-574-opcoes-de-cursos-de-mestrado-profissional Acesso em 18/03/2015.
  » http://www.brasil.gov.br/educacao/2014/05/capes-recomenda-574-opcoes-de-cursos-de-mestrado-profissional
• ²
  Relatório do Seminário de acompanhamento dos Programas de Pós-Graduação em Ensino. De 14 a 15 de março de 2013. Área de Ensino da CAPES. Brasília DF.
• ³
  V Encontro da Pós-Graduação da Medicina III. De 8 a 9 de dezembro de 2014 Teatro Marcos Lindemberg, Vila Clementino na cidade de São Paulo, Brasil. 2014.
• ⁴
  Relatorio de Avaliação 2010-2012 - Trienal 2013. Área de avaliação: Interdisciplinar. Disponivel em: http://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0CCMQFjAB&url=http%3A%2F%2Ftrienal.capes.gov.br%2Fwp-content%2Fuploads%2F2011%2F01%2FINTERDISCIPLINAR-RELAT%25C3%2593RIO-DE-AVALIA%25C3%2587%25C3%2583O-FINAL.pdf&ei=SrMNVfGxOcmegwT7yID4DA&usg=AFQjCNHsSZ8-bkPEUWqUmYWRYq4emq0XMg
  » http://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0CCMQFjAB&url=http%3A%2F%2Ftrienal.capes.gov.br%2Fwp-content%2Fuploads%2F2011%2F01%2FINTERDISCIPLINAR-RELAT%25C3%2593RIO-DE-AVALIA%25C3%2587%25C3%2583O-FINAL.pdf&ei=SrMNVfGxOcmegwT7yID4DA&usg=AFQjCNHsSZ8-bkPEUWqUmYWRYq4emq0XMg
• ⁵
  Relatorio de Avaliação 2010-2012 - Trienal 2013. Área de avaliação: Ciências Biológicas I. Disponivel em: <https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDo1YWQzYjdhM2YxODFhZWMx> Acesso em: 20/11/2014.
  » https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDo1YWQzYjdhM2YxODFhZWMx
• ⁶
  Relatorio de Avaliação 2010-2012 - Trienal 2013. Área de avaliação: Medicina I. Disponivel em: <https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDoyNjNjZmQ3OWQ5ZjE5ZTEw> Acesso em: 20/11/2014.
  » https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDoyNjNjZmQ3OWQ5ZjE5ZTEw
• ⁷
  Dicionário informal. Disponível em: http://www.dicionarioinformal.com.br/avaliar/ Acesso em 14/03/2015.
  » http://www.dicionarioinformal.com.br/avaliar/
• ⁸
  Relatorio de Avaliação 2010-2012 - Trienal 2013. Área de avaliação: Biotecnologia. Disponivel em: <https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDo2NjQwNDI1YWExNTg2OWZi> Acesso em: 20/11/2014.
  » https://drive.google.com/viewerng/viewer?a=v&pid=sites&srcid=Y2FwZXMuZ292LmJyfHRyaWVuYWwtMjAxM3xneDo2NjQwNDI1YWExNTg2OWZi

• Fonte de financiamento: nenhum

Datas de Publicação

• Publicação nesta coleção
  2015

Histórico

• Recebido
  19 Fev 2015
• Aceito
  12 Set 2015