Contributions and adaptation of the Canadian matrix to measure the return on investment in health research under the Oswaldo Cruz Foundation graduate program

Bonfim, Marilyn; Araujo-Jorge, Tania

doi:10.1590/S1414-40772021000300008

Acessibilidade / Reportar erro

Brasil

Avaliação: Revista da Avaliação da Educação Superior (Campinas)

Español English

Brasil

Español English

sumário « anterior atual seguinte »

Sumário

Articles • Avaliação (Campinas) 26 (03) • Sep-Dec 2021 • https://doi.org/10.1590/S1414-40772021000300008 copy

Contributions and adaptation of the Canadian matrix to measure the return on investment in health research under the Oswaldo Cruz Foundation graduate program

Authorship SCIMAGO INSTITUTIONS RANKINGS

This article presents the adaptation of the matrix and indicators for measuring the return on investment in health research, for the evaluation of a research induction program, within 16 doctoral courses of the Oswaldo Cruz Foundation, one of the actions of the Brasil Sem Miséria Plan. The Canadian matrix proved to be adequate for evaluating the results of the program, due to attributes such as flexibility, breadth and depth, including quantitative and qualitative approaches. For adaptation, the five evaluative dimensions were considered, as well as their indicators and metrics, criteria such as validity, relevance, availability, cost and time of data collection, guided the adaptation to the Brazilian context and the object of study. As a result, the adapted matrix, the indicators, as well as the data collection source and data analysis method are presented. The relevance of this study is highlighted as a contribution to the growing academic and civil society demand for evaluating the investment of public resources in research.

Keywords:
Health evaluation; Health research; Postgraduate

MODELO	P&D em Saúde	Disseminação Produtos Primários	Produtos Secundários	Adoção	Resultados Finais
Categorias Avaliativas
Avanço do Conhecimento	*	*	*	--	--
Formação de Recursos Humanos	*	*	*	--	--
Tomada de Decisão baseada em informação/evidência	*	*	*	--	--
Impactos na Saúde	--	--	--	--	--
Impactos Socioeconômicos	--	--	--	--	--

Dimensão Avaliativa	Categoria Avaliativa	Indicadores
Formação de Recursos Humanos	Pessoal	Número de Doutores Formados
	Formativa	Seleção
		Formação e Acompanhamento Institucional
	Indicadores Aspiracionais	Capacidade de Absorção no Mercado de Trabalho
		Pós-Doutoramento
Avanço do Conhecimento	Atividade	Contagem de Publicação: Teses, Artigos, Livros e Capítulos de Livro
		Número e Descrição de Produções Técnicas
	Qualidade	Publicação em Meios de Alta Qualidade
		Contagem de Citações da Produção Científica: Artigos, Livros e Capítulos de Livro
		Análise Qualitativa das Teses à luz da temática da indução à pesquisa
Tomada de Decisão baseada em informação e evidências	Educação Relacionada à Saúde	Produtos Educacionais e Informativos
	Indústria de Produtos para Saúde	Número de Patentes e Softwares Registrados

Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br

Acompanhe os números deste periódico no seu leitor de RSS

[TFN1] Fonte: Elaborado pelas autoras

Categoria Avaliativa	Indicador	Descrição do Indicador	Fontes de Dados e Limitações	Análise de Dados
Pessoal	Doutores Formados	Número de doutorandos (recém-doutores) que concluíram as pesquisas alinhadas ao BSM	Fonte: Dados Oficiais da VPEIC/Fiocruz	Descritiva - Número de alunos bolsistas. - Número de alunos não bolsistas. Espera-se: - identificar o número de doutorandos que participaram do programa de indução, com ou sem bolsa de estudos. Comparativa: (acima ou abaixo do esperado): - Número de alunos matriculados x formados. Espera-se: - identificar se o percentual de alunos concluintes é de 80% dos alunos matriculados. Referência: - Taxa de 80% de conclusão na pós-graduação stricto sensu, Colombo (2019) e Fernandes et al. (2017).
Formativa	Seleção	Clareza quanto aos critérios de seleção e produtos esperados no processo seletivo.	Fontes: Websites e Secretaria Acadêmica das Pós-Graduações Limitações: -Ausência dos editais anteriores nos websites das pós-graduações -Não retorno da Secretaria Acadêmica das Pós-Graduações	Documental Descritiva: Análise dos Editais do processo seletivo para a indução BSM Espera-se: - identificar a existência de editais de seleção específicos para o programa de indução; - identificar critérios de seleção claros e produtos esperados, descritos de forma explícita no documento.
Formativa	Seleção	Clareza quanto aos critérios de seleção e produtos esperados no processo seletivo.	Fonte: Questionário Questão: “O edital de seleção estava claro quanto aos critérios de entrada e produtos esperados referentes ao programa BSM?” Limitações: - Baixo número de respondentes - Veracidade das respostas	Descritiva Esperava-se: - identificar, a partir da percepção do egresso, se os compromissos com o programa de indução estavam claros, desde o processo seletivo. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com orientações para o programa de indução BSM aos programas de pós-graduação (2011).
Formativa	Formação	Realização de disciplinas sobre a temática das desigualdades, extrema pobreza e relação com a saúde	Fonte: Questionário Questões: - “Você cursou disciplinas que trataram da temática da desigualdade sociais, extrema pobreza e suas relações com a saúde?” - “Essa(s) disciplina(s) foram cursadas em qual programa de pós-graduação?” - “A disciplina cursada atendeu sua expectativa quanto ao aprofundamento e/ou discussão sobre a questão da desigualdade/pobreza, contribuindo para sua pesquisa?” Limitações: - Baixo número de respondentes - Veracidade das respostas	Descritiva Espera-se: -identificar se os doutores cursaram disciplinas relacionadas à temática da indução (saúde e extrema pobreza) e se, na percepção deles, estas contribuíram para o processo formativo. Referência: não houve orientação institucional para oferta de disciplinas sobre a temática, contudo em análise exploratória identificou-se a oferta destas disciplinas.
Formativa	Formação	Realização de seminários e outras formas de acompanhamento das pesquisas induzidas	Fonte: Questionário Questões: -“A partir da sua experiência como aluno de doutorado no Programa Fiocruz-CAPES-BSM, você afirmaria que institucionalmente (a coordenação geral de pós-graduação e/ou o programa de pós-graduação) promoveram ações para o acompanhamento e a alinhamento das pesquisas ao contexto do Brasil Sem Miséria?” - “Quais ações você destacaria?” Limitações: - Baixo número de respondentes - Veracidade das respostas	Descritiva Esperava-se: - identificar se houve acompanhamento institucional na forma prevista e/ou além da forma prevista; - identificar qual(is) forma(s) de acompanhamento institucional os doutores reconheceram. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com definição que os projetos induzidos seriam acompanhados por meio da realização de seminários (2011) - Anexo II desta tese.
		Adequação e suficiência do acompanhamento das pesquisas induzidas	Fonte: Questionário Questões: -“Mais ações [de acompanhamento] foram/seriam necessárias?” [em caso positivo] -“Que ações você entende que deveriam ter sido promovidas para o acompanhamento dos doutorandos?” Limitações: - Baixo número de respondentes - Veracidade das respostas	Descritiva Espera-se: - identificar se a estratégia de acompanhamento definida institucionalmente foi adequada, na perspectiva dos doutores formados; - identificar se as ações foram suficientes para atender as necessidades dos doutores formados; e - identificar as propostas dos egressos de ações de acompanhamento. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com definição que os projetos induzidos seriam acompanhados por meio da realização de seminários (2011).
Aspiracional	Inserção profissional dos Doutores formados	Capacidade de absorção no mercado de trabalho e/ou melhoria da situação empregatícia	Fonte: Currículo Lattes Limitação: Não atualização do Currículo Lattes.	Descritiva Esperava-se: - identificar se o doutoramento contribuiu para a atuação profissional do doutor formado. - identificar se os doutores estão inseridos no mercado de trabalho. Referências: - a taxa de desocupação de doutores no Brasil é de 25% (MEIRA, 2019). O contexto econômico e político brasileiro não contribuiu para absorção de recém-doutores no mercado de trabalho. - 61,5% dos doutores no Brasil atuam na área de ensino e pesquisa (CNPq, 2017).
Aspiracional	Prosseguimento dos estudos no âmbito de pós-doutoramento	Realização do pós-doutorado e temática prosseguimento de estudos sobre a temática que envolve a pobreza	Fonte: Currículo Lattes Limitação: Não atualização do Currículo Lattes.	Descritiva Esperava-se: - identificar se os doutores formados seguiram ou desejam seguir com estudos/pesquisas no pós-doutorado.

Categoria Avaliativa	Indicador	Descrição do Indicador	Fontes de Dados e Limitações	Análise de Dados
Atividade	Produção Científica	Contagem de Publicação: Artigo em Periódico Livros Capítulos de Livros Teses	Fonte: Currículo Lattes Limitação: Não atualização do Currículo Lattes.	Comparativa (acima ou abaixo do esperado) Esperava-se: - identificar ao menos 1 artigo publicado em periódico pelos concluintes sobre a temática da pesquisa e/ou em co-autoria do/a orientador/a da tese; e - identificar a produção de 74 teses, considerando o taxa de conclusão admitida (80%). Referências: - Regimento Geral da Pós-Graduação da Fiocruz, obrigatoriedade de submissão/publicação de um artigo para defesa de doutorado; - Taxa de 80% de conclusão na pós-graduação stricto sensu, Colombo (2019) e Fernandes et al. (2017).
Qualidade	Qualis das publicações na área que a pós-graduação está inserido na CAPES	Verificação do Qualis dos Periódicos	Fontes: Currículo Lattes Plataforma Sucupira - Webqualis Limitação: Não atualização do Currículo Lattes.	Comparativa (acima ou abaixo do esperado) Esperava-se: - identificar publicação de artigos em periódicos com Qualis B1, na área de avaliação de cada pós-graduação. Referência: A partir dos Regimentos das Pós-graduações, considerando que a maior exigência encontrada foi a publicação em periódicos Qualis B1, este ficou estabelecido como parâmetro mínimo de qualidade, para área de avaliação de cada doutorado.
Qualidade	Número de Citações	Verificação do Qualis dos Periódicos	Fontes: Currículo Lattes Scholar Google Limitação: Não atualização do Currículo Lattes.	Descritiva - Número de citações da produção científica: Artigos, Capítulos de Livros e Livros. Espera-se: - identificar o número citações da produção científica produto do programa de indução. Comparativa (acima ou abaixo do esperado)
Qualidade	Produção Acadêmica Teses	Abordagem sobre a temática da extrema pobreza e sua relação com a saúde e a pesquisa realizada	Fonte: Teses Limitação: Não disponibilização das Teses em Acesso Aberto e/ou Domínio Público	Análise Textual-Discursiva A partir do roteiro apresentado no item 3.2.2.1. buscou responder as seguintes questões: - houve alinhamento à perspectiva multidimensional da pobreza orientadora do Plano Brasil Sem Miséria? - qual forma e/ou ênfase foi dada à perspectiva da extrema pobreza nas teses? - quais temáticas de saúde foram objetos de estudo das teses? Esperava-se: - que as teses tenham abordado a perspectiva multidimensional da pobreza; - que as teses tenham discutido a pobreza como determinante social da saúde; - que as teses estejam centradas em Doenças da Pobreza. Referência: os referenciais teóricos que subsidiaram esta análise serão apresentados no roteiro supracitado.
Atividade	Produção Técnica	Número e descrição dos produtos técnicos	Fonte: Teses e Questionário Questões: - “Dentre os produtos de sua pesquisa era esperado a tese, para obtenção do título de Doutor, e também produtos técnicos relacionados ao Programa Brasil Sem Miséria. Qual produto técnico foi resultado da sua pesquisa?” - “O produto técnico informado na questão anterior foi aplicado para além do período de doutoramento?” [em caso positivo] - " Como foi a aplicação do produto técnico de sua pesquisa?” [em caso negativo] - “Qual motivo você acredita que dificultou ou impossibilitou a aplicação do produto técnico da sua tese?” Limitações: - Não disponibilização das Teses em Acesso Aberto e/ou Domínio Público, por conta de embargos - Não apresentação do produto técnico na tese - Baixo número de respondentes ao questionário - Veracidade das respostas	Documental Descritiva: Análise das Teses Espera-se: - identificar qual o tipo de produto técnico foi apresentado em cumprimento a exigência da indução (nota técnica, material informativo, material didático); - identificar se o produto técnico foi aplicado; - identificar a forma de aplicação, quando for o caso; e - identificar o motivo, que o egresso atribuiu a não aplicação do produto técnico. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com definição de que um dos compromissos dos doutores era produzir ao menos um produto técnico relacionado aos serviços públicos focalizados no BSM, ou ao público-alvo do BSM ou aos territórios em que o BSM identificou pessoas vivendo abaixo da linha da extrema pobreza (2011).

Categoria Avaliativa	Subcategoria Avaliativa	Indicador	Descrição do Indicador	Fontes de Dados e Limitações	Análise dos Dados
Educação relacionada à Saúde	Produtos Educacionais	Produtos Educacionais Registrados	Número de Produtos Educacionais Registrados	Fonte: Currículo Lattes Limitação: Não atualização do Currículo Lattes.	Descritiva Número de produtos educacionais registrados Esperava-se: - identificar os produtos educacionais, frutos das pesquisas, que foram registrados. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com definição de que registro de patentes seria uma das estratégias para atender ao compromisso firmado com o programa de indução (2011).
Produtos para Saúde	Patentes	Patentes Registradas	Número de Patentes Registradas	Fonte: Currículo Lattes Limitação: Não atualização do Currículo Lattes.	Descritiva Número de patentes registradas Esperava-se: - identificar as patentes, frutos das pesquisas, que foram registradas. Referência: documento aprovado pela Câmara Técnica de Ensino da Fiocruz, com definição de que registro de patentes seria uma das estratégias para atender ao compromisso firmado com o programa de indução (2011).