DESENVOLVIMENTO DE MÉTRICAS PARA PROTOCOLOS E OUTRAS PRODUÇÕES TÉCNICAS

Resumos

Objetivo:

Desenvolver proposta de métricas para protocolos e outras produções técnicas a serem aplicadas na avaliação dos Programas de Pós-Graduação da Área Medicina III da Capes.

Métodos:

Foram lidos os documentos de área de 2013 de todas as 48 Áreas da Capes. A partir da análise dos critérios utilizados por elas na avaliação trienal 2013, foi desenvolvida uma proposta de métricas para protocolos e outras produções técnicas. Esta proposta foi baseada nos critérios adotados pelas Áreas Ciências Biológicas I e Interdisciplinar.

Resultados:

Apenas sete áreas descreveram sistema de pontuação para produtos técnicos, e as produções consideradas e a pontuação variaram amplamente. Dada à imensa gama de produções técnicas diferentes que podem ser consideradas relevantes, e que não seriam contempladas em sistema de pontuação caso fossem especificadas, foi desenvolvida para a Medicina III uma proposta de métricas em que são analisados cinco critérios específicos para cada produção: Demanda, Relevância/Impacto, Abrangência, Complexidade e Aderência ao Programa. Com base nestes critérios, cada produção pode receber de 10 a 100 pontos.

Conclusão:

Esta proposta poderá ser aplicada ao item Produção Intelectual da Ficha de Avaliação, subitem "Produção técnica, patentes e outras produções consideradas relevantes". Será considerado Muito Bom o Programa que obtiver média ≥150 pontos/docente permanente/quadriênio; Bom, média entre 100 e 149 pontos; Regular, média entre 60 e 99 pontos; Fraco, média entre 30 e 59 pontos; e Deficiente média ≤29 pontos/docente permanente/quadriênio.

Protocolos; Manuais; Classificação; Educação de pós-graduação

Objective:

To develop a proposal for metrics for protocols and other technical products to be applied in assessing the Postgraduate Programs of Medicine III - Capes.

Methods:

The 2013 area documents of all the 48 Capes areas were read. From the analysis of the criteria used by the areas at the 2013's Triennal Assessment, a proposal for metrics for protocols and other technical products was developed to be applied in assessing the Postgraduate Programs of Medicine III. This proposal was based on the criteria of Biological Sciences I and Interdisciplinary areas.

Results:

Only seven areas have described a scoring system for technical products. The products considered and the scoring varied widely. Due to the wide range of different technical products which could be considered relevant, and that would not be punctuated if they were not previously specified, it was developed, for the Medicine III, a proposal for metrics in which five specific criteria to be analyzed: Demand, Relevance/Impact, Scope, Complexity and Adherence to the Program. Based on these criteria, each product can receive 10 to 100 points.

Conclusion:

This proposal can be applied to the item Intellectual Production of the evaluation form, in subsection "Technical production, patents and other relevant production". The program will be scored as Very Good when it reaches mean ≥150 points/permanent professor/quadrennium; Good, mean between 100 and 149 points; Regular, mean between 60 and 99 points; Weak mean between 30 and 59 points; Insufficient, up to 29 points/permanent professor/quadrennium.

Protocols; Handbooks; Classification; Education, graduate

INTRODUÇÃO

O Mestrado Profissional (MP) é modalidade de pós-graduação stricto sensu voltada para a capacitação de profissionais, nas diversas áreas do conhecimento, mediante o estudo de técnicas, processos, ou temáticas que atendam à alguma demanda do mercado de trabalho¹. Seus objetivos incluem capacitar profissionais para o exercício da prática profissional avançada e transformadora de procedimentos, visando melhorar a eficácia e a eficiência das organizações públicas e privadas por meio da solução de problemas e geração e aplicação de processos de inovação; transferir conhecimento para a sociedade; contribuir para agregar competitividade e aumentar a produtividade em empresas, organizações públicas e privadas, entre outros².

Considerando essa identidade do MP, a produção técnica torna-se fundamental a esta modalidade, podendo-se inferir que a produção técnica está para o MP assim como a produção científica está para os programas acadêmicos.

Apesar disso, como o número de MP ainda é bastante reduzido em grande parte das áreas da Capes, inclusive ausente em algumas, a maioria delas não dispõe de métricas e critérios específicos para produções técnicas.

Dentre os produtos técnicos, destacam-se os protocolos, manuais e cartilhas. Segundo dicionário da língua portuguesa, protocolo é característica do que segue normas rígidas de procedimento; manual, como obra de formato pequeno que contém noções ou diretrizes relativas à uma disciplina ou técnica, livro que orienta a execução ou o aperfeiçoamento de determinada tarefa, guia prático; e cartilha, pode ser aplicado a qualquer compilação elementar³.

Especificamente na área de saúde, este tipo de produção técnica é muito relevante, pois pode ter grande impacto na saúde da população; portanto, deve ser estimulado, particularmente nos cursos de MP, por ter aplicação direta na sociedade. Entretanto, não foram encontrados, nos documentos de área de 2013 de nenhuma das áreas da Capes, definições ou métricas para avaliação de protocolos, manuais ou cartilhas.

Assim, o objetivo deste estudo foi desenvolver uma proposta de métricas para protocolos e outras produções técnicas, como manuais e cartilhas, a serem aplicadas na Medicina III.

MÉTODOS

Este estudo foi realizado com o objetivo de desenvolver uma proposta a ser apresentada e discutida com coordenadores, docentes e discentes dos programas de pós-graduação da Medicina III, durante o V Encontro Nacional da Pós-Graduação - Medicina III da Capes, realizado em 8 e 9 de dezembro de 2014, na cidade de São Paulo, Brasil.

Foram lidos e analisados os documentos de área do ano de 2013 de todas as 48 áreas da Capes, e constatou-se que a produção técnica é abordada de forma predominantemente qualitativa, e muitas vezes genérica. Além disso, constatou-se que o item "outras produções técnicas" da ficha de avaliação pode abranger grande diversidade de produções técnicas, que não seriam contempladas em um sistema de pontuação caso deixassem de ser especificadas.

Assim, foi desenvolvida, para a Medicina III, uma proposta de métricas que considera aspectos específicos de cada produção considerada "outra", ou seja, que não consta entre as que terão métricas definidas, como patentes, livros e eventos, por exemplo. Esta proposta foi baseada nos critérios adotados pelas Áreas Ciências Biológicas I e Interdisciplinar^4,5.

Esta proposta de métricas poderá ser incluída na Ficha de Avaliação dos programas da Medicina III, no item Produção Intelectual, subitem "Produções técnicas e outras produções consideradas relevantes" excluindo patentes (que devem ter outra classificação), atribuindo-se a este subitem as porcentagens de 40% e 10% do peso atribuído ao item Produção Intelectual nos Mestrados Profissionais e nos programas acadêmicos, respectivamente⁶.

RESULTADOS

Não foram encontrados, nas fichas de avaliação apresentadas nos documentos de área, definições, critérios ou métricas para protocolos, manuais ou cartilhas. A produção técnica é abordada de forma predominantemente qualitativa, e, em grande parte das áreas, de forma genérica.

A maioria não adota métricas específicas para valoração de produtos técnicos em geral, com exceção das patentes, para as quais a Biotecnologia, Ciência de Alimentos, Ciências Biológicas III, Educação Física, Engenharias I, III e IV e Interdisciplinar adotam sistema de pontuação^5,7-13.

A grande maioria das áreas, inclusive a Medicina III atualmente, considera de forma qualitativa publicações técnicas para organismos internacionais, nacionais, estaduais ou municipais, artigos publicados em periódicos técnicos, participação em comitês técnicos (internacionais, nacionais, estaduais ou municipais), editoria de periódicos técnicos (editor científico, editor associado ou revisor), elaboração de protocolos, normas ou programas, consultoria ou assessoria técnica, protótipos, e cursos de aperfeiçoamento, capacitação ou especialização para profissionais da área⁶.

Apenas sete áreas descrevem sistema de pontuação para produtos técnicos: Ciências Biológicas I, Ciências Sociais Aplicadas I, Educação Física, Engenharias I e III, Interdisciplinar e Psicologia^{4,5,10-12,14,15}. As produções consideradas e a pontuação variam amplamente, dependendo das características de cada área.

Dada à grande gama de produções técnicas diferentes que podem ser consideradas relevantes, e que não seriam contempladas em sistema de pontuação caso fossem especificadas, desenvolveu-se, para a Medicina III, uma proposta de métricas em que são analisados aspectos específicos de cada produção considerada "outra" (ou seja, que não consta entre as que terão métricas definidas, como patentes, livros e eventos, entre outros).

Esta proposta é baseada nos critérios adotados pelas Áreas Ciências Biológicas I e Interdisciplinar^4,5 com adaptações, e considera cinco grandes critérios: Demanda, Relevância ou Impacto (econômico, social, inserção na Educação Básica e no Sistema de Saúde), Abrangência, Complexidade (característica inovadora, tempo de elaboração, porte) e Aderência ao Programa (coerência com linhas de pesquisa/atuação, participação discente, vinculação aos trabalhos de conclusão de curso).

Cada produção seria classificada em T1 a T3, em ordem decrescente de importância. A Figura 1 apresenta a classificação proposta, com a respectiva pontuação.

FIGURA 1
- Proposta para pontuação de protocolos e outras produções técnicas para a Medicina III - Capes

Multiplicando a pontuação pelos cinco critérios, cada produção técnica poderia receber, assim, de 10 a 100 pontos. A partir desta pontuação, elaborou-se uma proposta de métricas para avaliação dos programas da Medicina III, apresentada na Figura 2.

FIGURA 2
- Proposta para atribuição de conceitos segundo a pontuação de outras produções técnicas para a Medicina III - Capes

Esta proposta de métricas poderia ser aplicada ao item 4 da Ficha de Avaliação dos programas da Medicina III, relativo à Produção Intelectual, subitem "Produção técnica e outras produções consideradas relevantes". Este subitem manteria a porcentagem de 10% para os programas acadêmicos e 40% para os mestrados profissionais, respectivamente⁶.

DISCUSSÃO

Várias esferas do poder público, associações de classe e organizações disponibilizam, para os profissionais e para a população, protocolos, manuais e cartilhas, nas mais diferentes áreas da saúde. No âmbito federal, por exemplo, o Ministério da Saúde disponibiliza e atualiza constantemente os Protocolos Clínicos e Diretrizes Terapêuticas - PCDT, que tem por objetivo estabelecer os critérios de diagnóstico, o algoritmo de tratamento, e mecanismos para o monitoramento clínico de diferentes doenças¹⁶.

Um outro exemplo de protocolos com abrangência nacional é o projeto Diretrizes, criado pela Agência Nacional de Saúde Suplementar e a Associação Médica Brasileira. Este projeto é composto por inúmeros protocolos de auxilio à tomada de decisão médica, que foram elaborados pelas diferentes sociedades de especialidades¹⁷. O Conselho Federal de Medicina também distribui, em abrangência nacional, uma série de protocolos, manuais e cartilhas para os profissionais da área médica¹⁸. Também são disponibilizados aos profissionais e à população, inúmeros outros protocolos, manuais e cartilhas, com abrangência nacional, estadual, regional ou municipal, nas mais diferentes áreas da saúde.

Este tipo de produção técnica vem de encontro à missão dos MP de transferir conhecimento à sociedade, e deveria ser induzida pela Medicina III. Entretanto, não foram encontrados, nos documentos de área de 2013 de nenhuma das áreas da Capes, definições ou métricas para avaliação de protocolos, manuais ou cartilhas.

Na Ficha de Avaliação dos programas da Capes, a produção técnica é avaliada no subitem "Produções técnicas e outras produções consideradas relevantes", contido no item "Produção Intelectual". Observou-se que entre as áreas, as produções consideradas relevantes variam amplamente, dependendo das características de cada uma. Por exemplo, as áreas Antropologia/Arqueologia, Educação Física, Enfermagem, Engenharia III, Ensino, Interdisciplinar e Planejamento Urbano e Regional/Demografia consideram a organização de eventos e a apresentação de trabalhos em eventos e publicações em anais^{5,10,12,19-22}. Já a Odontologia valoriza a apresentação de trabalhos em eventos e publicações em anais somente para discentes²³, e a maioria das áreas, inclusive as Medicinas I, II e III, não consideram para o mestrado e doutorado acadêmicos este tipo de produção⁶. Portanto, talvez o maior desafio na avaliação dos MP seja definir as produções técnicas que devem ser consideradas, pois esta definição induzirá a demanda por este tipo de produção entre os cursos.

O MP é modalidade muito recente na Medicina III. A área ainda não avaliou cursos de MP, portanto, ainda não tem parâmetros bem estabelecidos para a valoração da produção técnica, fundamental neste tipo de mestrado. Entretanto, o recente aumento do número de MP recomendados pela Capes e avaliados pela Medicina III torna o desenvolvimento de métricas para a valoração da produção técnica essencial.

O objetivo desta proposta de métricas para protocolos e outras produções técnicas não é se ater exclusivamente a números. Ao contrário, a ideia é permitir avaliação qualitativa de cada produção, alicerçada em sua abrangência, seu impacto, sua relevância, sua complexidade e sua pertinência às linhas do programa. Os números propostos têm o único propósito de estabelecer parâmetros de avaliação, e precisam ser analisados em conjunto com o restante da produção.

CONCLUSÃO

Foi desenvolvida uma proposta de métricas para protocolos e outras produções técnicas, que poderá ser aplicada ao item Produção Intelectual da Ficha de Avaliação dos programas da Medicina III, no subitem Produções técnicas e outras produções consideradas relevantes. Deverá ser mantida, neste subitem, a porcentagem de 10% para os programas acadêmicos e 40% para os MP. Será considerado Muito Bom o programa que obtiver média igual ou superior a 150 pontos por docente permanente no quadriênio; Bom, média entre 100 e 149 pontos; Regular, média entre 60 e 99 pontos; Fraco, média entre 30 e 59 pontos; e Deficiente média igual ou inferior a 29 pontos por docente permanente no quadriênio.

REFERENCES

• ¹
  Fundação CAPES - Ministério da Educação. Mestrado Profissional: o que é? Disponível em: http://www.capes.gov.br/avaliacao/sobre-a-avaliacao/mestrado-profissional-o-que-e Acesso em 14/02/2015.
  » http://www.capes.gov.br/avaliacao/sobre-a-avaliacao/mestrado-profissional-o-que-e
• ²
  Ministério da Educação. Portaria Normativa MEC nº 17, de 28 de dezembro de 2009. Disponível em: https://www.capes.gov.br/images/stories/download/legislacao/Revogada-Portaria-Normativa-n_7-22-de-junho-2009-Mestrado-Profissional.pdf Acesso em 14/02/2015.
  » https://www.capes.gov.br/images/stories/download/legislacao/Revogada-Portaria-Normativa-n_7-22-de-junho-2009-Mestrado-Profissional.pdf
• ³
  Houaiss A, Villar MS, Franco FMM. Dicionário Houaiss da língua portuguesa. 1ª ed. Rio de Janeiro: Objetiva; 2009. 1986 p.
• ⁴
  Documento de área e Comissão da Trienal 2013. Área Ciências Biológicas I. Disponível em: http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Ciencias_Biologicas_I_doc_area_e_comiss%C3%A3o_block.pdf Acesso em 18/11/2014.
  » http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Ciencias_Biologicas_I_doc_area_e_comiss%C3%A3o_block.pdf
• ⁵
  Documento de área e Comissão da Trienal 2013. Área Interdisciplinar. Disponível em: http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Interdisciplinar_doc_area_e_comiss%C3%A3o_block.pdf Acesso em 18/11/2014.
  » http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Interdisciplinar_doc_area_e_comiss%C3%A3o_block.pdf
• ⁶
  Documento de área e Comissão da Trienal 2013. Área Medicina III. Disponível em: http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Medicina_III_doc_area_e_comiss%C3%A3o_att08deoutubro.pdf Acesso em 18/11/2014.
  » http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Medicina_III_doc_area_e_comiss%C3%A3o_att08deoutubro.pdf
• ⁷
  Documento de área e Comissão da Trienal 2013. Área Biotecnologia. Disponível em: http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Biotecnologia_doc_area_e_comiss%C3%A3o_block.pdf Acesso em 18/11/2014.
  » http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Biotecnologia_doc_area_e_comiss%C3%A3o_block.pdf
• ⁸
  Documento de área e Comissão da Trienal 2013. Área Ciência de Alimentos. Disponível em: http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Ci%C3%AAncia_de_Alimentos_doc_area_e_comiss%C3%A3o_21out.pdf . Acesso em 18/11/2014.
  » http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Ci%C3%AAncia_de_Alimentos_doc_area_e_comiss%C3%A3o_21out.pdf
• ⁹
  Documento de área e Comissão da Trienal 2013. Área Ciências Biológicas III. Disponível em: http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Ciencias_Biologicas_III_doc_area_e_comiss%C3%A3o_block.pdf Acesso em 18/11/2014.
  » http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Ciencias_Biologicas_III_doc_area_e_comiss%C3%A3o_block.pdf
• ¹⁰
  Documento de área e Comissão da Trienal 2013. Área Educação Física. Disponível em: http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Educa%C3%A7%C3%A3o_F%C3%ADsica_doc_area_e_comiss%C3%A3o_att08deoutubro.pdf Acesso em 18/11/2014.
  » http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Educa%C3%A7%C3%A3o_F%C3%ADsica_doc_area_e_comiss%C3%A3o_att08deoutubro.pdf
• ¹¹
  Documento de área e Comissão da Trienal 2013. Área Engenharias I. Disponível em: http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Engenharias_I_doc_area_e_comiss%C3%A3o_16out.pdf Acesso em 18/11/2014.
  » http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Engenharias_I_doc_area_e_comiss%C3%A3o_16out.pdf
• ¹²
  Documento de área e Comissão da Trienal 2013. Área Engenharias III. Disponível em: http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Engenharias_III_doc_area_e_comiss%C3%A3o_16out.pdf Acesso em 18/11/2014.
  » http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Engenharias_III_doc_area_e_comiss%C3%A3o_16out.pdf
• ¹³
  Documento de área e Comissão da Trienal 2013. Área Engenharias IV. Disponível em: http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Engenharias_IV_doc_area_e_comiss%C3%A3o_16out.pdf Acesso em 18/11/2014.
  » http://capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Engenharias_IV_doc_area_e_comiss%C3%A3o_16out.pdf
• ¹⁴
  Documento de área e Comissão da Trienal 2013. Área Ciências Sociais Aplicadas I. Disponível em: http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Ciencias_Sociais_Aplicadas_doc_area_e_comiss%C3%A3o_16out.pdf Acesso em 18/11/2014.
  » http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Ciencias_Sociais_Aplicadas_doc_area_e_comiss%C3%A3o_16out.pdf
• ¹⁵
  Documento de área e Comissão da Trienal 2013. Área Psicologia. Disponível em: http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Psicologia_doc_area_e_comiss%C3%A3o_21out.pdf Acesso em 18/11/2014.
  » http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Psicologia_doc_area_e_comiss%C3%A3o_21out.pdf
• ¹⁶
  Portal da Saúde - SUS. (PCDT) Protocolos Clínicos e Diretrizes Terapêuticas. Disponível em: http://portalsaude.saude.gov.br/index.php/component/content/article?id=9315 Acesso em 18/11/2014.
  » http://portalsaude.saude.gov.br/index.php/component/content/article?id=9315
• ¹⁷
  Agencia Nacional de Saúde Suplementar (ANS), Associação Médica Brasileira (AMB). Projeto Diretrizes. Disponível em: http://www.projetodiretrizes.org.br/ Acesso em 18/11/2014.
  » http://www.projetodiretrizes.org.br/
• ¹⁸
  Conselho Federal de Medicina - CFM Publicações. Manuais, Protocolos e Cartilhas. Disponível em: http://portal.cfm.org.br/index.php?option=com_content&view=article&id=22044:protocolos-do-cfm&catid=3 /. Acesso em 18/11/2014.
  » http://portal.cfm.org.br/index.php?option=com_content&view=article&id=22044:protocolos-do-cfm&catid=3
• ¹⁹
  Documento de área e Comissão da Trienal 2013. Área Antropologia/Arqueologia. Disponível em: http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Antropologia_Arqueologia_doc_area_e_comiss%C3%A3o_21out.pdf Acesso em 18/11/2014.
  » http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Antropologia_Arqueologia_doc_area_e_comiss%C3%A3o_21out.pdf
• ²⁰
  Documento de área e Comissão da Trienal 2013. Área Enfermagem. Disponível em: http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Enfermagem_doc_area_e_comiss%C3%A3o_att08deoutubro.pdf Acesso em 18/11/2014.
  » http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Enfermagem_doc_area_e_comiss%C3%A3o_att08deoutubro.pdf
• ²¹
  Documento de área e Comissão da Trienal 2013. Área Ensino. Disponível em: http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Ensino_doc_area_e_comiss%C3%A3o_block.pdf Acesso em 18/11/2014.
  » http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Ensino_doc_area_e_comiss%C3%A3o_block.pdf
• ²²
  Documento de área e Comissão da Trienal 2013. Área Planejamento Urbano e Regional/Demografia. Disponível em: http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Planejamento_Urbano_Demografia_doc_area_e_comiss%C3%A3o_16out.pdf Acesso em 18/11/2014.
  » http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Planejamento_Urbano_Demografia_doc_area_e_comiss%C3%A3o_16out.pdf
• ²³
  Documento de área e Comissão da Trienal 2013. Odontologia. Disponível em: http://www.capes.gov.br/images/stories/download/avaliacaotrienal/Docs_de_area/Odontologia_doc_area_e_comiss%C3%A3o_att08deoutubro.pdf. Acesso em 18/11/2014.

Datas de Publicação

• Publicação nesta coleção
  2015

Histórico

• Recebido
  19 Fev 2015
• Aceito
  12 Set 2015