Avaliação de mestrados profissionais: construção e análise de indicadores à luz da multidimensionalidade

Evaluación de másteres profesionales: construcción y análisis de indicadores bajo la perspectiva de la multidimensionalidad

Evaluation of professional master's program: construction and analysis of indicators in the face of multidimensionality

Avaliação de mestrados profissionais: construção e análise de indicadores à luz da multidimensionalidade

Evaluation of professional master's program: construction and analysis of indicators in the face of multidimensionality

Evaluación de másteres profesionales: construcción y análisis de indicadores bajo la perspectiva de la multidimensionalidad

Roberto Brazileiro Paixão, Dr.^I; Adriano Leal Bruni, Dr.^II; João Luiz Becker, Dr.^III; Robinson Moreira Tenório, Dr.^IV

^IProfessor Adjunto da Escola de Administração da UFBA. E-mail: [e-mail]

^IIProfessor Titular da Faculdade de Ciências Contábeis da UFBA.E-mail: [e-mail]

^IIIProfessor Titular da Escola de Administração da UFRGS. E-mail: [e-mail]

^IVProfessor Associado da Faculdade de Educação da UFBA. E-mail: [e-mail]

RESUMO

Um dos principais tópicos de discussão acerca dos cursos de mestrado profissional (MP) no Brasil diz respeito à forma de avaliá-los. Esta pesquisa buscou analisar possíveis indicadores de impacto de cursos de MP a partir de uma perspectiva multidimensional, baseada em Sander (1995). Para atingir esse objetivo foi realizada uma investigação utilizando a técnica Delphi em três rodadas com a participação de Coordenadores de MP, Coordenadores de Área da CAPES e pesquisadores com artigos acadêmicos publicados sobre o tema. A análise das informações coletadas permitiu a obtenção de uma lista de 21 indicadores, que foram examinados à luz das quatro dimensões de Sander (eficiência, eficácia, efetividade e relevância). Eficácia é a principal dimensão da maioria dos indicadores.

Palavras-chave: avaliação; impacto; mestrados profissionais.

ABSTRACT

One of the main topics of discussion concerning professional master's programs (PMP) in Brazil is about how to evaluate them. This research sought to scrutinize possible impact indicators of professional PMP from a multidimensional perspective based on Sander (1995). To achieve this goal an investigation was conducted using the Delphi technique in three rounds with the participation of PMP Directors, CAPES Committees' Chairs, and researchers who have published academic papers on the subject. Data analysis of the information gathered permitted to achieve a list of 21 indicators, which were examined vis-à-vis Sander's four dimensions (efficiency, efficacy, effectiveness and relevance). Efficacy is the core dimension for mostly indicators.

Keywords: Evaluation. Impact. Master´s degree.

RESUMEN

Uno de los principales temas de discusión sobre cursos de máster profesional (MP) en Brasil se refiere a la manera de evaluarlos. Este trabajo buscó analizar los posibles indicadores de impacto de cursos de MP bajo una perspectiva multidimensional, basada en Sander (1995). Para lograr este objetivo se llevó a cabo una investigación utilizando la técnica Delphi en tres rondas con la participación de Coordinadores de MP, Coordinadores de Áreas de ^*CAPES e investigadores con artículos académicos publicados sobre el tema. El análisis de las informaciones recogidas permitió obtener una lista de 21 indicadores, que se estudiaron según las cuatro dimensiones de Sander (eficiencia, eficacia, efectividad y pertinencia). Eficacia es la dimensión principal de la mayoría de los indicadores.

Palabras clave: Evaluación. Impacto. Másteres Profesionales.

1 Introdução

Sem adentrar em pormenores conceituais, a Capes considera duas vertentes de cursos de mestrado: a) a acadêmica, que tem o intuito de formar pesquisadores e consubstancia-se na oferta do doutorado; e b) a profissional, cujo objetivo é formar profissionais capacitados para o desempenho de outras atividades, que não a pesquisa científica, ou seja, para o mercado de trabalho (FISCHER, 2003, p. 120).

No cerne dessa discussão entre os mestrados acadêmicos e os profissionais, está a questão da avaliação dos segundos, notadamente a avaliação externa realizada pela Capes. O principal ponto é a necessidade de ter avaliações separadas para as modalidades de mestrado acadêmico e profissional, como é notadamente destacado por Castro (2005), Ribeiro (2005), Agopyan e Lobo (2007), Negret (2008), Fischer (2010a, 2010b) e Menandro (2010).

As avaliações externas, realizadas pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) sempre incluíram os mestrados profissionais no âmbito dos programas acadêmicos, sendo, então, avaliados a partir de critérios e indicadores aplicados aos mestrados e doutorados acadêmicos. Apenas no triênio 2007-2010 os MPs ganharam uma ficha de avaliação exclusiva, com itens mais próximos à sua realidade. Contudo, apesar da significativa mudança, o avanço não foi tão contundente, principalmente no que concerne à captação dos impactos dos MPs nos alunos e na sociedade de uma forma geral.

Definir critérios de avaliação exige definição transparente, recorte teórico bem definido e que permitam um fácil e desimpedido acesso. Nenhum critério é completamente objetivo ou subjetivo. Corroborando a visão de Demo (1996), a busca não deve ser pelos critérios tidos como mais objetivos, mas, sim, por critérios transparentes, éticos, dignos e justos, obtidos pela via do questionamento sistemático e participativo.

A discussão sobre a construção de indicadores tem-se apresentado como fator relevante para as Ciências Sociais, especialmente, para o campo educacional. Na pesquisa científica, esta construção já é complexa, pois se constitui em teorias e seus diferentes graus de generalidade e abstração em categorias e em proposições. Na avaliação educacional, a complexidade é evidenciada pela necessidade de construção de modelos para valorar políticas, programas e projetos, os quais expressam concepções teóricas e abordagens determinadas, além de interesses sociopolíticos de grupos e representações sobre a qualidade em educação. Assim, faz-se necessário um cuidado especial, em termos epistemológico e metodológico, no processo de construção de indicadores. Estes devem ser entendidos como instrumentos de categorização que se configurem numa representação cognitiva do real. E a realidade social é complexa por também ser multidimensional, permitindo, sempre, apenas visões parciais dos fenômenos a partir dos indicadores.

Assim, o objetivo dessa pesquisa é propor um conjunto de possíveis indicadores de impacto de cursos de mestrado profissional. Ademais, objetiva-se também analisá-los a partir de uma lógica multidimensional, com suporte teórico baseado em Sander (1995).

O trabalho está dividido em cinco partes, incluindo esta introdução. O recorte teórico é apresentado na segunda parte, com destaque para a caracterização da avaliação dos MPs e da abordagem multimensional proposta por Sander (1995). Os procedimentos metodológicos são detalhados na terceira parte. A análise dos resultados é apresentada na quarta parte, com a apresentação da lista de indicadores. Por fim, são tecidas considerações finais.

2 Revisão de literatura

2.1 Avaliação de Desempenho e de Impacto

Owen (2007) discorre sobre a avaliação de monitoramento, a qual considera sistêmica e de desempenho. A avaliação de monitoramento utiliza indicadores de desempenho e informações de performance, além de requerer a existência de um sistema de gestão da informação dos objetos avaliados. Sua execução temporal pode ser feita com o programa em andamento, sendo inclusive usada para comparar o objeto em períodos diferentes ou a evolução ao longo de alguns períodos.

Rossi, Lipsey e Freeman (2004, p. 171) asseveram que a avaliação de desempenho e a avaliação de impacto possuem características distintas. A avaliação de desempenho visa verificar o status atual de um objeto ou sistema e seu periódico acompanhamento de elementos-chave de performance, de forma a verificar se o mesmo opera de acordo com algum tipo de padrão mínimo desejado. Por outro lado, a avaliação de impacto corresponde a um processo de acompanhamento dos resultados promovidos pelo objeto ou sistema, normalmente associado a questões sociais (ROSSI; LIPSEY; FREEMAN, 2004, p. 171). Para esses autores, um dos pontos principais de uma avaliação de impacto é identificar quais são os mais relevantes a serem analisados, o que deve envolver as expectativas das pessoas envolvidas com o objeto avaliado, podendo fazer com qual sejam necessárias múltiplas medidas de impacto.

Para Khandker e Koolwal (2010, p. 7) a avaliação de processo ou de desempenho visa verificar como os programas operam, com ênfase nos problemas relacionados ao serviço prestado, no caso, a educação. Por outro lado, a avaliação de impacto busca identificar os efeitos dos programas sobre os indivíduos, sobre grupos de indivíduos e sobre a comunidade de uma forma mais ampla. A concepção de impacto proposta por khandker e Koolwal (2010) e por Rossi, Lipsey e Freeman (2004) é utilizada na presente pesquisa.

Analisar o impacto de algum programa, seja educacional ou não, normalmente envolve a análise das atividades e esforços desprendidos perante o programa e os resultados obtidos, como em uma relação de causa e efeito, normalmente simbolizada nas ciências sociais como a relação entre x e y, respectivamente. Em alguns casos, um conjunto de atividades humanas (x) afeta o estado de alguns objetos, pessoas ou fenômenos (y) e, muitas vezes, determinam se tal impacto será de maior ou menor intensidade (MOHR, 1995, p. 2).

2.2 Avaliação dos Mestrados Profissionais no Brasil

Relatos do pessoal técnico da Capes, apresentados por Barros, Valentim e Melo (2005, p. 125), indicam que, desde a década de 1980, têm notícias de problemas apontados por comissões de avaliação a respeito das dificuldades de criação de parâmetros diferenciados para cursos com orientação profissional que se distanciassem da acadêmica.

O processo de avaliação dos MPs avança a passos curtos. Fischer (2010a, p. 358) ratifica uma posição discutida no Fórum de Pró-Reitores de Pesquisa e no Fórum de Coordenadores de Mestrado Profissional, de que a avaliação dos MPs deve ser feita de forma separada da avaliação dos cursos de mestrado acadêmico. Outro ponto refere-se à participação de profissionais nos comitês de avaliação da Capes, sendo este ponto um tanto polêmico e sem convergência até o momento.

Schwartzman (1992, p. 26) comenta, sem qualquer menção aos MPs, que a diversificação na avaliação significa que nem todos os cursos podem ser medidos pelos mesmos critérios. Não é uma proposição de critérios diferenciados para universidades do sul e do nordeste, mas, sim, para instituições com enfoques específicos. Assim, não faz sentido comparar cursos voltados para a formação de profissionais, com cursos dedicados à pesquisa básica ou à formação do magistério. O parâmetro precisa ser a excelência, porém dentro da vocação de cada programa ou instituição.

Enquanto os mestrados e doutorados acadêmicos conseguem obter boas avaliações apenas com atividades intramuros e conexões internacionais, a interação com o ambiente profissional é inerente aos MPs, e isto deve estar refletido na sua avaliação. Assim, deve-se buscar indicadores de produção diretamente relacionados com o exercício da prática (FISCHER, 2010b, p. 374).

Menandro (2010, p. 370) descreve que a comissão da qual participou tinha uma proposta um tanto inovadora, que diferenciava as avaliações dos MPs da dos mestrados acadêmicos, trabalhando até mesmo com escalas de conceitos distintas. Na visão desse autor, os MPs exigem relativização do princípio de comparabilidade, a qual é a base da avaliação dos programas acadêmicos É justamente esse um dos pontos discutidos, pois os MPs não precisam seguir a mesma base fundamentada para os demais cursos.

Avaliar os MPs incluindo o número de publicações qualificadas é necessário, haja vista que se trata de um curso de pós-graduação stricto sensu no qual a pesquisa é fundamental, porém não é suficiente. Outros elementos indicadores precisam ser agregados à avaliação. Este é justamente um dos pontos de tensão da avaliação dos MPs, pois existe uma dificuldade em propor produtos cuja qualidade possa ser assegurada de forma objetiva e precisa (AGOPYAN; LOBO, 2007, p. 300).

De acordo com Negret (2008, p. 222), a avaliação dos MPs precisa englobar os projetos de pesquisas, os quais apresentam resultados e impactos bastante específicos, difíceis de serem captados. A avaliação, primeiramente deve ser vista como de desempenho e de impactos, sendo a segunda mais relevante nos MPs. A avaliação dos impactos, como o incremento na produção, a atenuação de uma doença na área de saúde ou mesmo a formulação de uma política pública é desafiadora e complexa, porém é o mais importante resultado dos MPs, dado que representa, de forma objetiva, a aplicabilidade dos resultados da pesquisa. Em termos operacionais, a avaliação dos impactos deve ser feita por professores e pesquisadores pares dos mestrados profissionais, ou seja, não por pares dos programas acadêmicos, visando a dar mais pertinência ao processo.

Para Ribeiro (2005, p. 15), a avaliação dos MPs deve levar em consideração principalmente os seus resultados específicos, em termos de impacto do curso no aluno. Neste contexto, a análise do trabalho de conclusão de curso e informações sobre o destino dos egressos é fundamental. As informações coletadas após o término do curso, por um período médio de dois anos, permitiriam analisar o valor a ele agregado, captando assim o cerne da qualidade dos MPs. Um mestrado profissional de sucesso é aquele que incrementa a capacidade do aluno de intervir positivamente no ambiente de trabalho.

Em resumo, o atual sistema de avaliação externa premia o semelhante e desconfia do diferente (FISCHER, 2003, 2005, 2010b). Logo, os cursos de mestrado profissional estão em meio a ambiguidades e tensões que Fischer (2003, p. 24; 2005, p. 24-25) denominou de "síndrome bipolar da pós-graduação brasileira". Observa-se, enfim, que os MPs representam, atualmente, um fator de turbulência no sistema de avaliação da Capes, haja vista que este foi desenvolvido a partir da produção em pesquisa, orientados por critérios, parâmetros e indicadores voltados para a formação acadêmica.

2.3 A Avaliação Multidimensional Proposta por Sander

Ao traçar uma evolução histórica da gestão da educação na América Latina, Sander (1995) avalia uma perspectiva de quatro estágios distintos, porém interligados em termos evolutivos. Trata-se das perspectivas da eficiência, da eficácia, da efetividade e da relevância.

As duas primeiras décadas do século XX caracterizam-se por um enfoque tecnocrático, com base nos pressupostos de Taylor, Fayol e seus seguidores. A ênfase neste primeiro estágio está na busca da eficiência associada à produtividade econômica e material. Há pouca preocupação com a dimensão humana e praticamente nenhuma consideração de ordem cultural e política na gestão da educação. Os elementos básicos de preocupação deste estágio estão relacionados com a produtividade e com a racionalização na utilização de instrumentos e procedimentos operacionais associados à administração da educação. A eficiência acentua uma dimensão extrínseca e instrumental da gestão educacional (SANDER, 1995).

No segundo estágio, vivenciado após a segunda Guerra Mundial, percebe-se uma influência do enfoque comportamental. A preocupação, antes centrada na eficiência, passa a ser na eficácia, ou seja, na consecução dos fins e objetivos pedagógicos das instituições educacionais. A eficácia é um critério institucional que está relacionado com a capacidade de atingir metas ou resultados anteriormente propostos. Em termos de gestão educacional, a eficácia significa atingir os objetivos pedagógicos propostos, em uma concepção intrínseca e instrumental. A ênfase, no alcance dos objetivos pedagógicos, leva a eficácia institucional a sobrepor-se aos aspectos utilitários e extrínsecos da eficiência. Ou seja, o conceito de eficiência é subsumido pelo de eficácia institucional e a primeira é incentivada, exclusivamente, com vistas à obtenção dos objetivos (SANDER, 1995).

A partir da década de 1970, houve uma crescente utilização das ciências sociais na gestão educacional, o que configura o terceiro estágio. A preocupação passa a ser com a efetividade do sistema educacional, ou seja, com a responsabilidade social da gestão da educação e com a sua capacidade responsiva em relação às demandas da comunidade externa. O autor destaca que o termo na língua inglesa para efetividade é responsiveness, que significa responder ou corresponder, refletindo, justamente, a capacidade de resposta às exigências da sociedade. A ênfase nesse estágio é a capacidade de produção de respostas para os problemas politicamente identificados pela comunidade. A efetividade também está associada à prestação de contas, por parte da administração educacional, à comunidade, em termos de preocupações e prioridades vigentes, referindo-se a objetivos mais amplos de equidade e desenvolvimento econômico-social. A efetividade está associada à consecução de objetivos, tal qual a eficácia, contudo com uma visão mais ampla. A consecução da efetividade abarca um envolvimento concreto com a comunidade e uma filosofia solidária, além de uma metodologia participativa, ou seja, a adoção de uma orientação essencialmente política. Dessa forma, os critérios técnicos e instrumentais de eficiência e eficácia são subsumidos pelo critério político de efetividade (SANDER, 1995).

O último estágio proposto pelo autor é caracterizado pelo enfoque cultural, que destaca a relevância como principal critério da gestão educacional. Trata-se da concepção da organização educacional como um sistema multicultural, o qual prioriza princípios de conscientização, significação, ação humana coletiva e totalidade à luz do conceito de relevância. A relevância, ou valorização, mede o desempenho em termos de importância, significação, pertinência e valor. No sentido educacional, o relevante está associado à melhoria do desenvolvimento humano e da qualidade de vida na instituição educacional e na sociedade. Esta concepção necessita estar apoiada numa postura participativa e democrática. Dessa forma, a relevância apresenta-se como um critério de desempenho cultural e de natureza substantiva e intrínseca. Os conceitos de eficiência, eficácia e efetividade são subsumidos ao conceito de relevância ou, este último desenvolve-se como uma alternativa superadora dos conceitos anteriores (SANDER, 1995).

Para Sander (1995), a concepção do paradigma multidimensional da gestão da educação possui quatro pressupostos. Primeiro, a educação e a administração são vistas como realidades globais e que, para fins de análise, podem constituir dimensões múltiplas dialeticamente articuladas entre si. Segundo, na gestão educacional existem tanto preocupações substantivas (ou ideológicas), de caráter cultural e político, quanto preocupações de caráter instrumental (ou técnico), de caráter pedagógico e econômico. Terceiro, a gestão educacional também é composta de preocupações internas, de natureza antropológica e pedagógica, quanto de preocupações externas, de caráter econômico e social. E quarto, o ser humano, enquanto sujeito individual e social, constitui a razão de ser da existência do sistema educacional. Dessa forma, com a articulação de duas dimensões substantivas e duas instrumentais, com duas dimensões intrínsecas e duas extrínsecas, que o autor propõe o modelo como um instrumento heurístico e praxiológico. As dimensões extrínsecas são subsumidas pelas dimensões intrínsecas, enquanto as dimensões instrumentais o são pelas substantivas. As dimensões não são excludentes. Trata-se justamente do contrário, ou seja, são dialeticamente articuladas.

3 Procedimentos Metodológicos

A operacionalização da pesquisa está relacionada com a obtenção dos impactos dos cursos. Apesar de a literatura acadêmica apresentar alguns modelos e indicadores, como os trabalhos de Smith e Beno (1993) e Kreber e Brook (2001), optou-se por criar um procedimento específico para tal. A justificativa baseia-se na necessidade de reflexão dos impactos à luz de múltiplas dimensões. Assim, foi conduzida uma pesquisa utilizando a técnica Delphi.

Vale ressaltar que a técnica Delphi envolve a aplicação de sucessivos roteiros com perguntas a grupo de especialistas. Entre cada rodada, são realizadas análises estatísticas das respostas cujo resultado é apresentado junto com o questionário da fase seguinte. É possível, assim, alterar a opinião ou corrigir qualquer concepção incorreta tida nas primeiras fases da técnica, ou ainda alterar uma opinião após uma análise mais aprofundada (DALKEY; HELMER, 1963). O processo iterativo permite coletar e destilar julgamentos anônimos, usando técnicas de coleta e feedback. A técnica permite incrementar o entendimento acerca de problemas, oportunidades ou previsões de futuro (SKULMOSKI; HARTMAN; KRAHN, 2007).

Optou-se por convidar apenas pessoas envolvidas, direta ou indiretamente, com o tema mestrado profissional, caracterizando, assim, uma seleção por conveniência. Foram selecionados três grupos para compor os participantes dessa fase da pesquisa: a) autores e pesquisadores com trabalhos publicados sobre MPs, denominados nesta pesquisa como Autores, totalizando 80 participantes; b) Coordenadores de Área da Capes (denominados nesta pesquisa, Coord. Área Capes, totalizando 48 participantes); e c) Coordenadores de cursos de mestrado profissional (denominados, nesta pesquisa, Coord. MPs, totalizando 229 participantes). As primeiras duas rodadas foram enviadas para todo o grupo de convidados, sendo a terceira enviada apenas aos respondentes da segunda rodada.

Em geral, a técnica Delphi é conduzida, após a primeira etapa, apenas com os respondentes da etapa imediatamente anterior. Porém, por ser de aplicação flexível, existem pesquisas que mantêm a lista inicial de participantes em uma ou mais etapas posteriores, como os trabalhos apresentados por Skulmoski, Hartman e Krahn (2007). Isso é justificável pela manutenção de um grupo maior de respondentes, sem ferir os princípios metodológicos da técnica. Como se verá a seguir, não haveria benefícios se a segunda rodada fosse realizada somente com os respondentes da primeira.

O instrumento de coleta da primeira rodada foi composto de uma carta de apresentação e de um conjunto de questões, subdivididas em três partes. Na primeira, os respondentes foram convidados a avaliar os três indicadores usados pela CAPES na avaliação trienal 2007-2009. Os respondentes marcavam sua resposta numa escala de cinco pontos, com extremos indicando baixa importância (1) e elevada importância (5). Foi reservado espaço para comentários em cada um dos três itens. Estes indicadores são os únicos constantes da avaliação da Capes como explicitamente de impacto, ou seja, contêm literalmente este termo na sua descrição. De fato, a análise destes indicadores tem o objetivo específico de servir como uma introdução ao instrumento de coleta. Na segunda, os respondentes foram convidados a sugerir até cinco indicadores de impacto, sendo que cada sugestão deveria conter o nome do indicador, sua unidade de medida e modo de medição, além de outros comentários tidos como relevantes. Esta é a parte mais relevante deste instrumento de coleta para a presente pesquisa, ou seja, a proposta de indicadores. Informações complementares compunham a terceira parte do instrumento de coleta, sendo estas: gênero; escolaridade (maior nível completo); idade; tempo de estudo ou pesquisa com temas relativos à avaliação de mestrados profissionais; tipo de vínculo profissional; e unidade da federação onde atua. Ressalta-se que o instrumento de coleta passou por pré-teste com três professores doutores, tendo sido incorporadas todas as solicitações de ajustes. A coleta foi feita através de formulário eletrônico.

O objetivo da segunda etapa Delphi foi analisar cada um dos indicadores propostos na fase anterior, à luz de cinco dimensões (importância, eficiência, eficácia, efetividade e relevância). O questionário elaborado foi, eminentemente, quantitativo. Cada um dos indicadores identificados na etapa anterior foi analisado à luz de cada uma das dimensões citadas, por todos os participantes. Com exceção da dimensão importância, de cunho mais generalista, todas as dimensões são apresentadas por Sander (1995). As dimensões foram apresentadas por frases que indicavam a respectiva dimensão sem nomeá-la explicitamente, exceto para importância (por exemplo: "Este indicador relaciona-se com a consecução dos fins e objetivos educacionais propostos -atingir os resultados" para eficácia). O participante respondia a cada dimensão, para cada indicador, em uma escala semelhante à utilizada na primeira rodada de 1 (discordo totalmente) a 5 (concordo totalmente). Ademais, em cada indicador, havia um campo para comentários adicionais. A coleta foi realizada através de formulário eletrônico.

Os dados coletados na segunda rodada da Delphi foram trabalhados estatisticamente, seguindo os preceitos da regressão logística ordinal, conforme Marôco (2011). A técnica é indicada quando existe uma variável dependente em escala ordinal, como nesta pesquisa. A variável dependente considerada no estudo é importância, sendo as demais (eficiência, eficácia, efetividade e relevância) tratadas como independentes. Ou seja, buscou-se verificar a relação de importância do indicador em função das dimensões propostas por Sander (1995). Convém destacar que o objetivo não envolveu encontrar um modelo de regressão explicativo, mas, sim, verificar as relações estatisticamente significativas entre as variáveis independentes e a variável dependente. Os dados foram trabalhados com o pacote estatístico SPSS 18.

Para análise da importância de cada indicador, foi criada uma nova variável denominada importância agrupada. Recodificando-se as respostas obtidas no instrumento original, criaram-se três categorias de importância: alta, intermediária e baixa importância. As respostas 1 e 2 foram agrupadas e rotuladas de baixa importância. A resposta 3 foi rotulada como de importância intermediária. E as respostas 4 e 5 foram agrupadas e rotuladas como de alta importância. Este procedimento permitiu extrair a frequência relativa (percentual) da classe alta importância e, assim, criar uma ordenação dos 21 indicadores. Ressalta-se que o procedimento de agrupamento e ordenação dos indicadores, em função da importância relativa agrupada, não influencia diretamente os procedimentos adotados para a regressão ordinal. Trata-se apenas de um tratamento inicial para introduzir a análise de regressão e, também, para permitir que as dimensões obtidas em cada indicador sejam apresentadas de forma ordenada a partir da importância agrupada.

A terceira etapa buscou validar as informações coletadas na etapa anterior, ou seja, validar as dimensões dos indicadores, porém, de uma forma mais ampla. O instrumento de coleta elaborado para a terceira etapa foi, eminentemente, qualitativo e continha apenas três questões. Foram apresentados os procedimentos estatísticos adotados para a identificação das dimensões, bem como seus resultados. A primeira questão buscou verificar, na opinião do respondente, de que forma a adição das dimensões apresentadas (eficiência, eficácia, efetividade e relevância) poderia agregar ao processo avaliativo dos cursos de mestrado profissional. Para analisar esta questão, foi utilizada a técnica do Discurso do Sujeito Coletivo (DSC). A segunda questão objetivou verificar se resultados obtidos, especificamente para a dimensão de importância, em termos de ordenação dos indicadores, corroboram, em linhas gerais, o que o participante compreende como sendo desejado ou esperado. E a terceira questão objetivou verificar se os indicadores e suas respectivas dimensões, encontrados após o tratamento estatístico, corroboram o que o participante compreende como sendo esperado ou desejado. A coleta foi feita através de formulário eletrônico.

O DSC é uma técnica de processamento e análise de dados, de cunho qualiquantitativo, que visa a obter um pensamento de um coletivo, um grupo de sujeitos, acerca de um determinado tema. O resultado da técnica consiste num painel de discursos de sujeitos coletivos, em geral apresentados na primeira pessoa do singular, como os discursos individuais, sugerindo uma pessoa coletiva argumentando como se fosse um indivíduo. Duas figuras metodológicas são essenciais para a confecção dos DSC: as expressões-chave (ECH) e as ideias centrais (IC). As ECH são trechos, pedaços, transcrições literais do discurso de cada indivíduo, que representam a essência do seu depoimento. Um discurso individual pode conter uma ou mais ECH. As IC representam, de maneira sintética, precisa e fidedigna o sentido de cada conjunto homogêneo de ECH, podendo ser categorias ou agrupamentos. Ou seja, as ECH que são coerentes entre si, por apresentarem uma mesma linha de argumentação, são agrupadas em uma IC. Dessa forma, pode-se trabalhar com várias IC. O DSC é construído a partir das ECH que têm a mesma IC, escrito, em geral, na primeira pessoa do singular (LEFÈVRE; LEFÈVRE, 2005; LEFÈVRE; LEFÈVRE, 2010).

As etapas ocorreram entre setembro e novembro de 2011, tendo o processo sido finalizado ao final da terceira etapa. A primeira etapa teve 357 convidados e uma taxa de respostas de aproximadamente 12% (43 respostas). A segunda etapa envolveu novamente 357 convidados, sendo obtidas 50 respostas (aproximadamente 14% de taxa de resposta). E a terceira etapa, enviada apenas aos participantes da segunda, obteve dez respostas.

4 Análise dos resultados

A análise dos resultados é apresentada para cada rodada da pesquisa Delphi, sendo realizada após a caracterização dos participantes.

4.1 Primeira rodada da Delphi

Os 43 respondentes da primeira rodada da Delphi contribuíram com 65 sugestões de impactos a serem analisadas em MP. A amostra obtida é distribuída da seguinte forma entre os três grupos de participantes: 5 autores (aproximadamente 12%); 7 Coordenadores de Área da Capes (aproximadamente 16%); e 31 Coordenadores de MPs (aproximadamente 72%). Do total, 24 são do gênero masculino (aproximadamente 56%), sendo 19 do gênero feminino.

A maior parte (93%) dos participantes possui doutorado completo. A idade média dos respondentes era de, aproximadamente, 51 anos, independentemente de gênero. Com relação aos três grupos de participantes, observa-se uma idade média relativamente mais baixa para o grupo de Coordenadores de MPs e mais alta para o grupo de Autores.

Com relação ao tipo de vínculo, nota-se que a maior parte (37 respondentes) atua em instituições de ensino superior (aproximadamente 86%), sendo 28 respondentes em instituições públicas e 9 em instituições privadas.

A distribuição dos respondentes, entre as regiões do país evidencia uma maior participação de Coordenadores de MPs de instituições do Sudeste do país, com 18 respondentes, sendo que esta região totaliza, aproximadamente, 58% dos respondentes.

O item referente ao tempo em que o respondente estuda, pesquisa ou trabalha com temas relativos à avaliação de MP aponta para um grupo com relativa experiência com o tema, visto que aproximadamente 53% dos respondentes o fazem há 5 ou mais anos.

4.2 Impactos sugeridos para avaliação

Foram recebidas 68 sugestões de impacto a serem considerados na avaliação de MP, sendo que três foram descartadas por conterem, na sua descrição, outros comentários, que não exatamente uma sugestão de impacto. Das 65 respostas válidas, observou-se que a maior parte dos respondentes indica o que medir, porém não como medir, que seria a métrica ou unidade de medida. Como este fato foi recorrente, optou-se por seguir esta linha, mantendo a lógica de qual impacto avaliar, assumindo uma posição menos operacional ou procedimental. Assim, o termo "indicadores" é utilizado, nesta pesquisa, de forma ampla como sendo o "que" avaliar, não contendo, portanto, o "como" avaliar.

Cada uma das 65 respostas foi analisada e destacada a sua ideia central. Uma resposta válida poderia conter uma ou mais ideias centrais, sendo esta última mais frequente. As ideias centrais permitiram a consolidação das respostas em 21 indicadores de impacto. Ressalta-se que os textos foram mantidos o mais próximo possível da descrição original dos respondentes, sendo apenas inserida ou alterada alguma frase.

As 65 respostas válidas são distribuídas entre os grupos de participantes da seguinte forma: 64,6% (42) foram indicadas pelos Coordenadores de MPs; 24,6% (16) pelos Coordenadores de Área da Capes; e 10,8% (7) pelos Autores.

A lista dos 21 indicadores com as frequências absolutas e relativas que apareceram nas respostas pode ser visualizada na Tabela 1. Ressalta-se que os indicadores de números 1 a 9 abarcam 81,5% do total de sugestões obtidas nas respostas.

A análise da Figura 1. permite identificar que os Coordenadores de MPs e os Coordenadores de Área da Capes contribuíram com mais indicadores únicos por grupo, ou seja, mais indicadores citados somente pelos respectivos grupos, o primeiro grupo com 9 indicadores e, o segundo, com 5. Daqueles, apenas três indicadores aparecem na lista dentre os de maior frequência: 4, 7 e 8. Estes mesmos grupos contribuíram conjuntamente com 2 indicadores (6 e 9). Outros quatro indicadores (1, 2, 3 e 5) aparecem com respostas obtidas de todos os grupos, sendo que todos aparecem na citada lista de maior frequência.

Pode-se perceber, observando as interseções do diagrama de Venn, que os três grupos que participam da pesquisa estão relativamente alinhados com os impactos mais necessários de serem avaliados nos MPs, mesmo considerando o maior número de participantes do grupo de Coordenadores de MPs. Dos oito indicadores com maior frequência absoluta apresentados na Tabela 1, cinco (1, 2, 3, 5 e 6) foram obtidos a partir de visões compartilhadas entre os grupos. Apenas três destes (4, 7 e 8) foram citados, exclusivamente, pelos Coordenadores de MPs. Dentre estes, um é peculiar, o indicador de número 4, que corresponde às publicações em periódicos e anais de cunho científico, ou seja, publicações acadêmicas. Este indicador apareceu em 7 respostas (10,8% do total), todas deste grupo.

4.3 Segunda rodada da Delphi

Participaram da segunda rodada da Delphi 36 Coordenadores de MPs (72% do total), 9 Coordenadores de Área de Capes (18% do total) e 5 Autores (10% do total). Pôde-se identificar que 23 haviam participado da primeira rodada, e 15, não. Mas, em função de omissão de resposta, não há certeza da participação anterior ou não de 12 pessoas.

A proporção entre os gêneros manteve-se próxima à obtida na etapa anterior, com 48% dos participantes do gênero masculino e o 52% do gênero feminino. Doutores representam, em conjunto, 98% do total de respondentes.

A média de idade dos participantes é de, aproximadamente, 51 anos, sendo também muito próxima entre os gêneros dos mesmos. O participante mais novo tem 27 anos e o de idade mais avançada, 68 anos, sendo ambos Coordenadores de MPs, o que evidencia a amplitude observada neste grupo.

Com relação ao tipo de vínculo, observa-se que a maior parte (43 respondentes) atua em instituições de ensino superior (aproximadamente 86%, mesmo percentual da primeira rodada), sendo 29 respondentes em instituições públicas, e 14, em instituições privadas.

A distribuição dos respondentes novamente evidencia uma maior participação de Coordenadores de MPs de organizações do Sudeste do país, com 26 respondentes (52% do total).

O tempo de estudo, pesquisa ou trabalho com o tema também demonstra que um grupo experiente participou da segunda rodada: aproximadamente 57% dos participantes têm mais de cinco anos de experiência com o mesmo.

4.4 Análise da Importância Agrupada dos Indicadores

O processo de agrupamento da variável importância permitiu a obtenção de três categorias para uma nova variável, denominada importância agrupada. Desta nova variável, foi extraída a frequência relativa (percentual) somente para a categoria alta importância. Este procedimento, realizado para todos os grupos de participantes, bem como para cada grupo de forma individualizada, possibilitou uma análise ordinal dos indicadores.

Inicialmente, percebe-se que o ordenamento, considerando todos os grupos de participantes, difere do resultado obtido na primeira etapa em termos de frequências relativas das ideias centrais dos respondentes. Esta última, inclusive, serviu de base para a numeração dos indicadores, de 1 a 21. A numeração dos indicadores é mantida ao longo da pesquisa, mas algumas alterações podem ser percebidas no seu ordenamento. As discussões dessa seção estão baseadas nos resultados apresentados na Tabela 2. Os resultados para todos os grupos de participantes levam em consideração os pesos de cada grupo, ou seja, o tamanho de cada grupo no total. Uma análise dos mesmos, sem pesos, apresentou resultado igual em termos de ordenamento dos indicadores. Ou seja, as modificações ocorreram apenas na frequência relativa, porém não a ponto de modificar a ordem dos indicadores.

Tomando como base a opinião conjunta de todos os participantes (esquerda da Tabela 2), aproximadamente a metade dos indicadores, ou seja, dos onze primeiros da lista, pode-se verificar que existe um consenso em cinco para todos os grupos de participantes, ou seja, estes cinco são tidos como mais importantes em qualquer lista segmentada São eles os indicadores de números 1, 2, 3, 5 e 7. Pode-se considerar, então, que a ênfase na produção de cunho técnico, na execução técnica, na publicação em periódicos de cunho técnico (não acadêmico), o acompanhamento profissional do egresso e os intercâmbios, parcerias e cooperações estão no centro dos impactos a serem avaliados nos MPs, considerando este grupo de participantes da pesquisa.

Da lista ordenada de indicadores com base na opinião conjunta de todos os participantes (lista esquerda da Tabela 2), os de números 10 e 12 são listados como mais importantes apenas nas listas ordenadas segmentadamente segundo a opinião dos Coordenadores de Área da Capes e dos Coordenadores de MPs. Estes indicadores relacionam-se com a aplicabilidade do projeto de pesquisa do aluno, em relação à sua realidade profissional e a relação do tema do trabalho final com a experiência profissional do aluno, ou seja, ambos tratam especificamente da característica aplicada das pesquisas desenvolvidas nos MP, sendo isto percebido com mais intensidade para estes dois grupos de participantes. No caso dos Autores, estes indicadores aparecem bem abaixo da linha de corte trabalhada.

O indicador de número 6 é considerado importante pelos grupos de Autores e de Coord. de Área da Capes. Este indicador refere-se às comunicações feitas com o público técnico e geral, como matérias em jornais, rádios e televisão. Vale ressaltar que este indicador também aparece com relativa importância para o grupo de Coord. de MPs, porém, por estar na 12ª posição ficou à parte do corte dado, em onze indicadores. Assim, pode-se entender como sendo outro indicador central na avaliação dos impactos de MPs.

O indicador de número 9 é considerado importante apenas pelos grupos de Autores e de Coord. de MPs. Este indicador refere-se à análise qualitativa do trabalho final de curso. Como os trabalhos finais de curso nos MPs podem, legalmente, assumir formatos diferenciados em relação à tradicional dissertação, infere-se que estes dois grupos visualizam isto como algo relevante a ser avaliado.

E os indicadores 4 e 20 são considerados importantes apenas pelo grupo de Coordenadores de MPs. O indicador 20 refere-se às parceiras com organizações profissionais, que não são de cunho acadêmico, algo esperado de emergir do grupo de Coord. de MPs, justamente em função das características do curso e também da aplicabilidade já visualizada nos indicadores 10 e 12. Contudo, este grupo também considera importante o indicador de número 4 (publicações em periódicos e anais de eventos acadêmicos). Este resultado entra em conflito direto com as principais críticas ao sistema de avaliação da Capes e também à avaliação dos MP: a excessiva ênfase nas publicações em periódicos. Porém, pode-se inferir que este indicador deve compor a avaliação, em conjunto, com os demais citados, por tratar-se de cursos stricto sensu, com obrigação de gerar conhecimento científico relevante.

4.5 Análise das Dimensões dos Indicadores

O tratamento estatístico através da modelagem com regressões ordinais permitiu identificar a relação entre as dimensões dos indicadores e sua importância para o processo de avaliação dos MPs. Como o processo de coleta de dados envolveu a avaliação de cada indicador em cinco dimensões (importância, eficiência, eficácia, efetividade e relevância), a primeira delas (importância) modelada como variável dependente, e as demais como variáveis dependentes, era esperado que os indicadores apresentassem significância estatística com mais de uma dimensão. Isto de fato ocorreu.

A Figura 2. apresenta a relação de indicadores ordenados horizontalmente pela importância agrupada com suas respectivas dimensões principais e secundárias, isto é, dimensões significativas (5%) no modelo de regressão ordinal (apenas um indicador revelou relação significante com três dimensões). Observa-se, por exemplo, que o indicador 1 tem apenas uma dimensão principal identificada, a dimensão eficácia. Já o indicador 11 tem duas dimensões identificadas, sendo eficácia a principal, e efetividade a secundária.

Os dados apresentados refletem uma forte concentração na dimensão eficácia, assumida como principal em onze indicadores (1, 5, 7, 9, 10, 20, 6, 11, 19, 13 e 14, na ordem em que aparecem na Figura 2) e secundária em outros três. Isso significa que os respondentes consideram que estes indicadores são coerentes com as finalidades e os objetivos educacionais propostos, isto é, eles fundamentalmente estão ligados com os resultados pretendidos pelos cursos. Pode-se inferir que os respondentes visualizam estes indicadores como sendo fundamentalmente de impacto.

Por outro lado, os impactos numa esfera mais ampla, que estão relacionados à capacidade de produção de respostas para os problemas da comunidade e com a melhoria do desenvolvimento humano e da qualidade de vida na sociedade, leia-se efetividade e relevância, no conceito adotado de Sander (1995), aparecem mais como dimensões secundárias em indicadores considerados não tão importantes pelos participantes da pesquisa.

Já a dimensão relevância aparece como principal em quatro indicadores, e secundária, em outros cinco. Estes indicadores são: 3, 4, 12 e 18. Ou seja, infere-se que houve uma correlação mais intensa entre a melhoria do desenvolvimento humano, parte da expressão utilizada no instrumento de coleta, e a questão da aplicabilidade, evidente nos indicadores 12 e 18, e as publicações produzidas pelo curso (indicadores 3 e 4).

E a dimensão eficiência, que teoricamente está mais relacionada com o desempenho do que com o impacto, apresenta-se como principal para cinco indicadores: 2, 8, 16, 17 e 21.

4.6 Terceira rodada da Delphi

Dez pessoas participaram da terceira rodada da Delphi, sendo a metade do gênero feminino. Como era esperado, houve predominância de Coordenadores de MPs (sete participantes, sendo quatro do gênero feminino. Dois participantes eram Coordenadores de Área da Capes (um de cada gênero) e apenas um Autor participou desta etapa (gênero masculino).

A primeira questão desta terceira rodada Delphi buscou verificar como a adição das dimensões apresentadas (eficiência, eficácia, efetividade e relevância) pode agregar melhorias ao processo avaliativo dos cursos de MP especificamente na captação de seus impactos. Foram aproveitadas oito respostas de dez. Destas, foi possível extrair nove expressões-chave, que culminaram com o agrupamento em torno de duas ideias centrais: aperfeiçoamento geral da avaliação; e sistematização da avaliação.

O Quadro 1 apresenta o DSC referente à ideia central "Aperfeiçoamento geral da avaliação". Pode-se observar neste DSC que os argumentos a respeito da contribuição das dimensões ocorrem de forma generalista, como um aprimoramento na lógica das avaliações. Assim, a contribuição da lógica multidimensional dar-se-ia como uma ampliação da sistemática avaliativa, trazendo fundamentos norteadores das metodologias a serem utilizadas, englobando a sociedade e trazendo análise crítica ao processo.

A segunda ideia central obtida, "Sistematização da avaliação", apresentada no Quadro 2, apresenta elementos relacionados à organização analítica e procedimental de um processo avaliativo, como construtores da avaliação.

As respostas (oito, dado que duas foram descartadas por não estarem relacionadas à questão) à segunda questão, referente aos resultados obtidos para o ordenamento dos indicadores, foram, em sua maioria, positivas.

Com relação aos dados obtidos na terceira questão, sobre os indicadores e as dimensões observadas através do tratamento estatístico da regressão ordinal, cinco respondentes (todos Coordenadores de MPs) argumentam que, de uma forma geral, os resultados são coerentes com o que esperavam. Três respondentes, sendo dois do grupo de Coordenadores de MPs e um do grupo de Coordenadores de Área da Capes, afirmaram, categoricamente, não saberem responder ou analisar este item. É possível que, para este grupo de respondentes, a questão não tenha ficado clara o suficiente para que os mesmos emitissem suas respostas. E um respondente, do grupo de Coordenadores de Área da Capes, argumenta que a eficácia ficou superdimensionada.

5 Conclusões

Para alcançar o objetivo, foi realizada uma pesquisa utilizando a técnica Delphi, sendo que, após três rodadas de coleta de dados, se obteve uma relação de impactos tidos como mais relevantes. De fato, já na primeira rodada a lista tinha sido formada, tendo sido lapidada ao final da terceira. Essa coleta envolveu três grupos de participantes: Coordenadores de Mestrados Profissionais (MPs), Coordenadores de Área da Capes e Pesquisadores com trabalhos publicados sobre o tema. Alguns indicadores obtidos são: produção técnica; acompanhamento profissional do egresso; aplicabilidade dos projetos de pesquisa; execução técnica; publicação em periódicos de cunho técnico; intercâmbios, parcerias, colaborações com outras instituições de ensino e pesquisa; parcerias com empresas e organizações profissionais, dentre outros. A pesquisa não obteve indicadores e suas unidades de medida ou métrica. O que se obteve foi uma lista com critérios e impactos a serem avaliados, mas que carecem de detalhamento maior para que possam desdobrar-se em um ou mais indicadores. Por exemplo, a produção técnica indica "o que" medir, mas não indica o como. Optou-se por seguir esta linha por julgar que o debate sobre "o que" pode auxiliar mais nas discussões sobre a avaliação dos mestrados profissionais do que o debate sobre o "como". Assim, foi mantida a denominação dos itens obtidos como indicadores, apesar do pleno entendimento de que um indicador completo precisa relatar o que medir e como medir um determinado objeto de análise.

É possível observar que a relação de indicadores obtida possui relação com os objetivos descritos nas portarias sobre os mestrados profissionais e sobre sua avaliação. Assim, pode-se concluir que estes grupos de participantes compreendem a avaliação dos MPs como sendo específica, justamente por entenderem que esta modalidade de curso tem características peculiares, que o distancia dos cursos acadêmicos. Por outro lado, também ficou evidente que existe, na visão dos participantes, uma preocupação com a publicação em periódicos acadêmicos, dado que este item é relacionado na lista dos indicadores. Este ponto suscita duas questões: os participantes realmente entendem e julgam que a publicação é um importante indicador a ser avaliado nos cursos stricto sensu, independente se são do eixo acadêmico ou profissional? Ou haveria indícios de que, como os MPs nasceram no contexto de um sistema de pós-graduação instituído com êxito dentro dos objetivos a que fora proposto existiria ainda uma resistência, em um determinado nível, em compreendê-los como algo completamente peculiar e, assim, visualizar este item como secundário? Estas duas questões não foram abordadas ao longo da pesquisa, mas deixam uma inquietude sobre o tema e suscitam pesquisas futuras.

Pôde-se verificar ainda que os participantes visualizam a dimensão eficácia em sobreposição a outras dimensões. Uma vez que os próprios painelistas participaram da construção dos indicadores, a avaliação dos mesmos à luz das dimensões de Sander (1995) permitiu observar que a maior parte deles tem na eficácia a sua dimensão principal. Pode-se inferir que as dimensões mais profundas da proposta do Sander (1995), diga-se efetividade e, principalmente, relevância, carecem de processos de construção diferenciados e, ainda, de reflexões mais subjetivas. É possível que os constructos de cada dimensão não tenham sido bem definidos para todos os participantes, o que se caracteriza como uma limitação desta pesquisa.

Outra contribuição deste trabalho refere-se aos procedimentos metodológicos empregados, efetivamente a junção de técnicas distintas, de cunho quantitativo e qualitativo, para a operacionalização da pesquisa. O processo que envolveu pesquisa Delphi com especialistas, técnica de regressão ordinal dentro do processo da Delphi, e análise dos discursos dos envolvidos com a técnica do discurso do sujeito coletivo pode ser tido como integrador e, ao mesmo tempo, inovador.

• AGOPYAN, V.; LOBO, R. O futuro do mestrado profissional. Revista Brasileira de Pós-Graduação, Brasília, DF, v. 4, n. 8, p. 293-302, dez. 2007.
• BARROS, E. C.; VALENTIM, M. C.; MELO, M. A. A. O debate sobre o mestrado profissional na Capes: trajetória e definições. Revista Brasileira de Pós-Graduação, Brasília, DF, v. 2, n. 4, p. 124-138, jul. 2005.
• CASTRO, C. M. A hora do mestrado profissional. Revista Brasileira de Pós-Graduação, Brasília, DF, v. 2, n. 4, p. 16-23, jul. 2005.
• DALKEY, N.; HELMER, O. An experimental application of the Delphi method to the use of experts. Management Science, v. 9, n. 3, p. 458-467, abr. 1963.
• DEMO, P. Avaliação sob o olhar propedêutico. Campinas: Autores Associados, 1996.
• FISCHER, T. Seduções e riscos: a experiência do mestrado profissional. Revista de Administração de Empresas, São Paulo, v. 43, n. 2, p. 119-123, abr./maio/jun. 2003.
• FISCHER, T. Mestrado profissional como prática acadêmica. Revista Brasileira de Pós-Graduação, Brasília,DF, v. 2, n. 4, p. 24-29, jul. 2005.
• FISCHER, T. Sobre a maestria, profissionalização e artesanato intelectual. Revista de Administração Contemporânea, Curitiba, v. 14, n. 2, p. 353-359, mar./abr. 2010a.
• FISCHER, T. Reimaginar a pós-graduação: resgatando o elo perdido. Revista de Administração Contemporânea, Curitiba, v. 14, n. 2, p. 372-376, mar./abr. 2010b.
• KHANDKER, S. R.; KOOLWAL, G. B. Handbook on impact evaluation: quantitative methods and practice. Washington DC: The World Bank, 2010.
• KREBER, C.; BROOK, P. Impact evaluation of educational development programmes. The International Journal for Academic Development, v. 6, n. 2, p. 96-108, 2001.
• LEFÈVRE, F.; LEFÈVRE, A. M. C. O discurso do sujeito coletivo: um novo enfoque em pesquisa qualitativa (desdobramentos). 2. ed. Caxias do Sul: Educs, 2005.
• ______. Pesquisa de representação social: um enfoque qualiquantitativo. Brasília: Líber Editora, 2010.
• MARÔCO, J. Análise estatística com o SPSS Statistics. 5. ed. Lisboa: Editora Sílabo, 2011.
• MENANDRO, P. R. M. Mestrado Profissional, você sabe com quem está falando? Revista de Administração Contemporânea, Curitiba, v. 14, n. 2, p. 367-371, mar./abr. 2010.
• MOHR, L. D. Impact analysis for program evaluation. 2. ed. Thousand Oaks: Sage Publications, 1995.
• NEGRET, F. A identidade e a importância dos mestrados profissionais no Brasil e algumas considerações para sua avaliação. Revista Brasileira de Pós-Graduação, Brasília, v. 5, n. 10, p. 217-225, dez. 2008.
• OWEN, J. M. Program evaluation: forms and approaches. 3. ed. New York: Guilford publications, 2007.
• RIBEIRO, R. J. O mestrado profissional na política atual da Capes. Revista Brasileira de Pós-Graduação, Brasília, v. 2, n. 4, p. 8-15, jul. 2005.
• ROSSI, P. H.; LIPSEY, M. W.; FREEMAN, H. E. Evaluation: a systematic approach. 7. ed. Thousand Oaks: Sage Publications, 2004.
• SANDER, B. Gestão da educação na América Latina. Campinas: Editora Autores Associados, 1995.
• SCHWARTZMAN, S. O contexto institucional e político da avaliação. In: SCHWARTZMAN, S. (Org.). Avaliação do ensino superior. São Paulo: Editora da Universidade de São Paulo, 1992.
• SKULMOSKI, G. J.; HARTMAN, F. T.; KRAHN, J. The Delphi method for graduate research. Journal of Information Technology Education, v. 6, p. 01-21, 2007.
• SMITH, C.; BENO, B. Guide to staff development evaluation. Sacramento: NCSPOD, 1993. Disponível em: <http://www.eric.ed.gov/PDFS/ED363381.pdf>. Acesso em: 10 jul. 2010.

*

CAPES: Coordinación de Perfeccionamiento de Nivel Superior -Brasil

Datas de Publicação

• Publicação nesta coleção
  22 Jul 2014
• Data do Fascículo
  Jun 2014