Impacto do mestrado profissional no desempenho dos seus egressos: intercomparação entre as percepções de discentes, docentes, coordenadores e empresa

Impact of professional master's programs on graduate students: intercomparison of perceptions of students, faculty members, coordinators, and companies involved

Impacto do mestrado profissional no desempenho dos seus egressos: intercomparação entre as percepções de discentes, docentes, coordenadores e empresa

Impact of professional master's programs on graduate students: intercomparison of perceptions of students, faculty members, coordinators, and companies involved

Lívia Dias de Oliveira Nepomuceno^I; Helder Gomes Costa^I; Eduardo Shimoda^II

^IUniversidade Federal Fluminense, Rua Passo da Pátria, 156, sala 309 - São Domingos, CEP 24210-240, Niterói – RJ, Brasil, E-mails: [e-mail]; [e-mail]

^IIUniversidade Candido Mendes – UCAM, Rua Anita Peçanha, 100, Parque São Caetano, CEP 28030-335, Campos dos Goytacazes – RJ, Brasil, E-mail: [e-mail]

RESUMO

O presente trabalho apresenta uma abordagem para avaliação de percepção quanto ao impacto do mestrado profissional sobre o perfil de seu egresso. A proposta foi aplicada a uma situação específica por meio de questionário, elaborado a partir de aspectos garimpados na revisão bibliográfica realizada, para coleta de dados entre alunos, chefes desses alunos, professores e coordenadores de mestrados profissionais classificados na área de Engenharias III pela CAPES. Os resultados obtidos na aplicação da proposta permitiram identificar as percepções dos participantes da pesquisa quanto ao grau de importância dos critérios utilizados no questionário e o nível de impacto do mestrado profissional sobre o desempenho dos seus egressos. De forma geral, os chefes apresentaram uma visão mais otimista e os docentes foram mais exigentes quanto ao impacto do curso no desempenho dos alunos. Além de contribuir na construção de indicadores que permitam avaliar os impactos do mestrado profissional no perfil dos seus egressos, os resultados deste trabalho também podem subsidiar a coordenação do curso participante da pesquisa na tomada de decisões inerentes a seu aperfeiçoamento contínuo.

Palavras-chave: Avaliação. Desempenho. Percepção. Mestrado profissional.

ABSTRACT

This work presents a model to evaluate perceptions about the impact of professional masters program (PMP) on the performance of graduate students. The method proposed was applied using a questionnaire, based on a literature review, in order to collect the perceptions of four groups: students, company managers, faculty members, and coordinators of PMP in the Engineering III area according to CAPES. Among other relevant results, the present application highlighted the criteria based on the highest performance and importance levels. The company managers expressed more optimistic views about the impact of the Professional Masters on the graduate students' performance, and the faculty members were more demanding. Besides contributing for the construction of indicators to evaluate the impacts of PMP on those students, this research supports course coordination decisions related to the program's improvement.

Keywords: Evaluation. Performance. Perception. Professional master program.

1 Introdução

Os cursos de pós-graduação participam diretamente no desenvolvimento do País ao formar profissionais que atuam em diferentes áreas do conhecimento nos setores público e privado, no âmbito acadêmico e profissional. O mestrado profissional representa a mais nova modalidade stricto sensu de pós-graduação no Brasil, com uma situação peculiar: concede aos seus egressos os mesmos direitos e prerrogativas garantidas aos oriundos do mestrado acadêmico. No entanto, pela sua definição, apresenta algumas diferenças marcantes em relação ao perfil do seu egresso, pois propõe a formação de profissionais com foco no exercício profissional no ambiente produtivo (COORDENAÇÃO..., 2008).

Conforme reportado em Oliveira et al. (2000), estas diferenças trazem conflitos e polêmicas ao reconhecimento deste tipo de curso. Apesar do mestrado profissional no Brasil ter sido proposto há mais de uma década, estas polêmicas ainda persistem e permanecem atuais e demandam novas discussões e reflexões.

1.1 Questões de pesquisa

Neste contexto, é possível elaborar as seguintes questões:

Questão 1: Como a avaliação de programas stricto sensu do tipo mestrado profissional tem sido tratada na literatura científica?

Questão 2: Quais são as percepções dos atores envolvidos no mestrado profissional (coordenadores, docentes, alunos e empregadores que encaminham os seus funcionários para qualificação neste tipo de curso) sobre os impactos de um mestrado profissional no desempenho profissional dos seus egressos?

1.2 Objetivo

O objetivo desta pesquisa é construir e experimentar a aplicação de um modelo para mapear as percepções relacionadas ao impacto gerado pelo mestrado profissional no desempenho de seus egressos, pelo mapeamento e comparação de percepções dos seguintes grupos:

• alunos e professores de um programa de mestrado profissional;

• chefes na empresa em que trabalham esses alunos; e

• coordenadores de mestrados profissionais.

2 Revisão bibliográfica

Uma pesquisa bibliográfica foi realizada para mapeamento dos trabalhos nacionais e internacionais que envolvem reflexões sobre a avaliação da pós-graduação ou apresentam alguma outra relação com o tema abordado neste trabalho. Não foi identificado, na pesquisa bibliográfica, texto que trate do problema aqui abordado: "mapeamento das percepções quanto aos impactos do mestrado profissional sobre o desempenho do seu egresso". Este fato dificulta comparações dos resultados da pesquisa aqui reportada com outras pesquisas realizadas. Apesar desta limitação, expõe-se, a seguir, uma breve descrição do conteúdo das referências bibliográficas analisadas que têm maior proximidade com a presente pesquisa: adotam multicritério para a avaliação de sistemas de pós-graduação.

Rangel, Gomes e Lins (2003) trabalham com a estimativa das funções de utilidade dos critérios utilizados na avaliação dos programas de pós-graduação em engenharia de produção da UFRJ, pela Comissão de Avaliação de Docentes (CAD). Neste trabalho, constrói-se uma variante do Método UTA (Utilité Aditive), reportado em Jacquet-Lagrèze e Siskos (1982), objetivando uma maior coerência nas preferências dos avaliadores.

Miranda e Almeida (2004) estudam a avaliação de Programas de pós-graduação sob uma ótica multicritério. Com base no processo de avaliação trienal da CAPES (triênio 1998-2000) de cursos da área de "Engenharias III", aplicam-se dois métodos AMD (MAUT e ELECTRE II) para a obtenção da ordenação (ou ranking) dos programas analisados e comparação entre os resultados obtidos pelo emprego dos dois métodos e aqueles gerados pela metodologia de avaliação da CAPES.

Em uma vertente focada nas relações da Universidade com a comunidade externa, utilizando conceitos de multicritério para tratamento dos dados coletados, Politis e Siskos (2004) avaliam o desempenho do Departamento de Engenharia de Produção e Gestão da Universidade Técnica de Creta pela captação de percepção dos alunos, diplomados e empresas que empregam esses alunos do departamento. A pesquisa compreendeu cinco dimensões principais: administração, educação, pesquisa, satisfação dos graduados e aceitação no mercado de trabalho. Esses critérios são divididos em subcritérios e são avaliados em uma escala de julgamentos de valor que varia entre 0% (completamente insatisfeito) a 100% (completamente satisfeito). O trabalho foi baseado na utilização do método MUSA (Multicriteria Satisfaction Analysis). Entre os resultados globais destacam-se as dimensões referentes à satisfação dos graduados e aceitação no mercado de trabalho. Estes apresentaram, respectivamente, os seguintes índices de satisfação (segundo a visão dos alunos, graduados e empresas) e pesos atribuídos por revisores externos e representantes do departamento: 87% (peso 10) e 94,2% (peso 25).

Neves (2005) investiga a integração entre uma ferramenta de análise estratégica (SWOT) e um método de auxílio multicritério à decisão (ELECTRE TRI) para avaliação de um programa de mestrado acadêmico em Engenharia de Produção de uma Universidade Federal no Brasil. Esta modelagem toma por base o conjunto de critérios adotados em Politis e Siskos (2004), acrescido dos critérios adotados no sistema de avaliação da CAPES. Esta modelagem leva em conta o mapeamento de percepções de coordenadores, docentes, mestrandos e egressos do curso. Extensões deste trabalho podem ser encontradas em Neves e Costa (2006). Entre os principais resultados da pesquisa destacam-se os seguintes:

• impacto do curso no perfil pesquisador do pós-graduado, que recebeu as melhores avaliações dos egressos;

• impacto do curso no perfil empreendedor do pós-graduado, que recebeu as piores avaliações dos egressos, mestrandos e docentes;

• impacto do curso na empregabilidade e remuneração do pós-graduado, que recebeu as melhores avaliações dos docentes.

Investigando as lacunas ou Gaps de percepção no âmbito dos sistemas de formação no nível da graduação, Costa e Costa (2003) propuseram um modelo para mapeamento de percepções de expectativas dos alunos dos cursos de Administração e Ciências Contábeis de uma IES e da administração desta IES. A pesquisa foi realizada por meio de aplicação de questionários para mapeamento da importância em aspectos agrupados nas seguintes dimensões: corpo de professores da universidade, biblioteca, laboratórios de computação, secretaria, a universidade de forma geral, educação continuada, tesouraria, coordenação de ensino e coordenação acadêmica. Dentre os fatores que obtiveram as maiores lacunas de percepção destaca-se o aspecto denominado "Estabelecer uma relação entre a Teoria e a Prática do conteúdo ensinado" que apresentou um nível muito maior de importância na visão dos alunos do que na percepção da coordenação do curso.

3 Modelagem

Esta seção apresenta a modelagem adotada no presente trabalho e tem por base: a proposta metodológica para o mapeamento de lacunas proposta em Costa e Costa (2003); e o conjunto de critérios reportado em Neves e Costa (2006). Esta modelagem está estruturada no desenvolvimento das seguintes etapas:

• construção do instrumento de coleta de dados;

• coleta dos dados;

• definição dos grupos para mapeamento das percepções;

• análise dos resultados obtidos na pesquisa de cada grupo; e

• análise das diferenças entre percepções dos diferentes grupos envolvidos na pesquisa.

As descrições de cada uma dessas etapas são apresentadas a seguir.

3.1 Questionário para coleta dos dados

A pesquisa foi realizada por meio de questionário utilizado para coletar julgamentos de valor sobre o nível de impacto do mestrado profissional à luz de 16 critérios de avaliação e também o grau de importância desses critérios, conforme Anexo A. O conjunto de critérios adotados, apresentados no Quadro 1, foi definido com base na revisão bibliográfica, e tem como principais influências os trabalhos de Neves (2005) e Politis e Siskos (2004). Observa-se que estes critérios não são considerados pelo sistema de avaliação da CAPES e complementam a compreensão sobre o desempenho do curso ao mapear percepções sobre o impacto da pós-graduação principalmente nas competências relacionadas ao desempenho profissional desses alunos.

Observa-se que os critérios C₇, C₈, C₉, C₁₀, C₁₁, C₁₂, C₁₃, C₁₄, C₁₅, C₁₆ foram acrescidos à base reportada em Neves (2005).

Ainda destaca-se aqui que os critérios que versam sobre o impacto do curso na empregabilidade (C₁), na remuneração (C₃) e na vida pessoal do egresso (C₁₀), não foram considerados na pesquisa com os chefes. Portanto, a pesquisa com os chefes foi realizada pela avaliação dos 13 demais critérios.

As escalas de julgamento, adotadas para a obtenção das respostas são baseadas nos trabalhos de Likert (1932), Miller (1954) e Costa et al. (2007). Essas permitem ao avaliador "contar nos dedos" no ato de emissão de sua opinião e também a emitir julgamentos utilizando uma linguagem verbal. Para cada item, foi deixada a opção "Não quero/Não sei opinar", para evitar possíveis ambiguidades que as pontuações que ocupam as posições centrais da escala poderiam causar.

3.2 Coleta de dados

Os dados foram coletados em dois grandes contextos:

• Contexto dos coordenadores de programas da Área Engenharias III no Brasil.

• Contexto de uma turma específica de um determinado curso de Mestrado na área de Engenharias III. Este contexto envolve: docentes, discentes e empresa.

Considerando que o objetivo desta coleta é experimentar a aplicação e avaliar o comportamento da modelagem, decidiu-se aplicar a pesquisa a um universo restrito composto por apenas uma das turmas de um determinado programa de mestrado profissional. Embora isto implique em restrição e limitação, a representatividade dos dados coletados, isto não implica em perda de generalidade quanto ao método de modelagem aqui proposto.

Por razões de conveniência e facilidade de acesso aos dados, foi escolhida para a pesquisa uma turma do Programa de mestrado profissional em Sistemas de Gestão (MSG) que está ligado à Escola de Engenharia, Departamento de Engenharia de Produção da Universidade Federal Fluminense (UFF), classificado na Área de Engenharias III da CAPES, para mapeamento de percepções discentes e docentes. Com objetivo de dotar o leitor de maiores subsídios para a compreensão da pesquisa, registra-se que:

• A área de Engenharias III compreende: Engenharia Aeroespacial, Engenharia de Produção, Engenharia Mecânica, Engenharia Naval, Engenharia Industrial, Engenharia Oceânica e Engenharia de Petróleo. A escolha específica da área Engenharias III, para pesquisa com os coordenadores, e do programa de mestrado profissional da UFF, para pesquisa com os alunos e docentes, deve-se à facilidade de acesso aos dados e comunicação.

• O MSG/UFF foi criado em 2000 e tem como objetivo levar os seus egressos à reflexão sobre a aderência dos modelos organizacionais aos resultados, sem deixar de enfatizar as preocupações com a humanização, atuação responsável, ética e impactos no meio ambiente. A disputa pelo ingresso no curso configurava-se em torno de 2,7 alunos/vaga e no período desta pesquisa o curso contava com aproximadamente 220 alunos matriculados. A turma pesquisada pode ser considerada como a 4ª turma a ingressar no curso.

3.2.1 Definição dos grupos participantes da pesquisa

O universo da pesquisa foi composto pelos seguintes grupos:

• Grupo 1: Coordenadores de mestrados profissionais da área de Engenharias III (composto por 10 coordenadores);

• Grupo 2: Docentes do curso de mestrado profissional do MSG/UFF, (composto por 32 docentes);

• Grupo 3: Alunos de uma turma deste curso (composto por 33 discentes); e

• Grupo 4: Chefes desses alunos na empresa em que trabalham (composto por 5 chefes).

É importante registrar que, neste trabalho:

• A palavra "coordenador" é adotada como referência aos professores que, no momento da pesquisa, desempenhavam também o cargo administrativo (coordenação) dos programas de pós-graduação compreendidos na pesquisa.

• A palavra "docente" refere-se aos professores que, no momento da pesquisa, encontravam-se no exercício de suas funções no programa de mestrado profissional investigado.

• A palavra "aluno" é usada indiscriminadamente para discentes e egressos do curso (sendo que os discentes, em sua totalidade já haviam concluído os créditos e encontravam-se em fase de conclusão da dissertação - ou já a haviam defendido).

• A palavra "chefe" é adotada para definir os membros de uma empresa que eram os chefes diretos dos alunos do mestrado profissional.

Os questionários foram enviados por correio eletrônico aos integrantes dos grupos. A Tabela 1 apresenta as repostas obtidas pelos grupos.

Observa-se ainda que a pesquisa destaca a investigação dos impactos do mestrado profissional no perfil dos egressos. Sendo assim, os cursos, cuja situação encontrava-se assinalada como "Em projeto" e/ou "Aguardando homologação pelo CNE" foram desconsiderados por se caracterizarem como "cursos novos", que ainda não iniciaram suas atividades ou não possuem turma de egressos.

O questionário também foi enviado, via correio eletrônico, em abril de 2008 aos coordenadores dos 13 cursos cuja situação constava "Em Funcionamento" e "Homologado pelo CNE". Três destes cursos declararam, em resposta ao e-mail enviado, que, apesar de já iniciadas suas atividades ("Em Funcionamento"), ainda não possuíam a primeira turma de alunos egressos.

Desta forma, o universo de pesquisa entre os coordenadores de mestrado profissional ficou delimitado pelo conjunto de dez cursos. Nove dos dez coordenadores considerados "aptos" responderam ao questionário enviado.

3.3 Análise das percepções dos coordenadores

A Figura 1 proporciona a visualização dos valores médios das percepções dos coordenadores quanto ao impacto do curso no desempenho dos egressos e a(s) moda(s) de cada critério.

Além da(s) moda(s) que podem ser visualizadas na Figura 1, os critérios C₇ e C₉ possuem também moda "0" referente ao nível "regular" da escala de julgamentos. O critério que versa sobre o impacto do mestrado profissional na vida pessoal do egresso (C₁₀) obteve sua maior concentração de respostas no nível "muito bom", entretanto este mesmo critério obteve também o maior índice de respostas no campo da escala de julgamentos denominado "Não quero/ Não sei opinar", possuindo assim duas modas: "2" e "N".

Ainda destaca-se que, na percepção dos coordenadores, os maiores valores médios de impacto sobre o desempenho (1,86 e 1,78) foram obtidos nos critérios que versam, respectivamente, sobre o impacto do curso na remuneração do pós-graduado (C₃) e o impacto na capacidade do estudante em resolver problemas (C₁₅).

Todos os critérios avaliados pelos coordenadores receberam média igual ou acima do nível considerado "Bom" referente ao valor "1".

A Figura 2 permite a visualização dos valores médios das percepções dos coordenadores quanto ao nível de importância e a(s) moda(s) de cada critério.

O critério C₁₀ (impacto na vida pessoal do estudante) obteve o menor nível médio de importância (2,2) na percepção dos coordenadores. Observa-se também que a moda (44%) das respostas neste critério foi "N" (Não quero/Não sei opinar).

O critério C₂, com maior média de importância (3,78), versa sobre o nível de resposta do mestrado profissional às expectativas do mercado. Os critérios C₁₂ (Capacidade de expressão), C₁₅ (Solução de problemas), C₅ (Relacionamento interpessoal) e C₁₆ (Uso de métodos organizados) também se destacam por obter alto nível médio de importância (acima de 3,5) na percepção dos coordenadores.

A Figura 3, a seguir, permite a visualização simultânea das médias de importância e impacto no desempenho em cada critério avaliado pelos coordenadores.

Destaca-se o critério C₇ (Impacto no perfil de negociador do pós-graduado) que apresenta um alto valor médio de importância e a menor média quanto ao impacto, na percepção dos coordenadores. Já os critérios C₂ (Nível de resposta às expectativas do mercado), C₁₅ (Impacto na capacidade do estudante em resolver problemas) e C₁₆ (Impacto na capacidade do estudante de aplicação de métodos organizados) obtiveram os maiores níveis, tanto de importância quanto de impacto sobre o desempenho dos egressos.

3.4 Análise das percepções docentes

A Figura 4 proporciona a visualização dos valores médios das percepções dos professores quanto ao impacto do curso no desempenho dos egressos e a(s) moda(s) de cada critério.

Os menores valores médios, na percepção dos professores, foram obtidos nos critérios C₄ (0,59), C₁₄(0,60) e C₇(0,67). Estes critérios versam, respectivamente, sobre o impacto do mestrado profissional no perfil empreendedor, na capacidade de receber críticas e no perfil negociador do pós-graduado. Apesar de 60% dos docentes atribuírem valor "2" ou "1" para o critério C₁₄, sua média de impacto esteve abaixo do valor considerado na escala como "Bom". Os critérios C₄ e C₇ obtiveram uma maior frequência de respostas no nível da escala denominado "regular".

Também se destaca que apenas o critério C₈ (impacto na autoestima do pós-graduado) obteve média acima de 1,50. Dez dos critérios avaliados (62,5%) apresentaram uma média quanto ao impacto menor ou igual a 1,00.

A Figura 5 permite a visualização dos valores médios das percepções dos professores quanto ao nível de importância e a(s) moda(s) de cada critério.

A Figura 5 permite a visualização dos quatro critérios que obtiveram os menores níveis médios de importância na ótica docente: C₉ (impacto na capacidade do pós-graduado de falar em público), C₇ (impacto no perfil negociador), C₁₁ (Impacto no desembaraço do pós-graduado) e C₁₀ (Impacto na vida pessoal do estudante). O critério C₁, que obteve o maior nível médio de importância (3,55), versa sobre o impacto do curso na empregabilidade do aluno.

A Figura 6, a seguir, permite a visualização simultânea das médias de importância e de impacto dos critérios avaliados.

Destacam-se os critérios C₂ (Nível de resposta às expectativas da empresa), C₆ (Perfil pesquisador), C₁₂ (Capacidade de expressão) e C₁₃ (Senso crítico). Estes quatro critérios obtiveram valores médios elevados quanto ao nível de importância, entretanto não integram a lista dos seis primeiros critérios com maiores médias de impacto sobre o desempenho.

3.5 Análise das percepções discentes

A Figura 7 proporciona a visualização dos valores médios das percepções dos alunos quanto ao impacto do curso no seu desempenho e a(s) moda(s) de cada critério.

O critério C₉ (impacto na capacidade do pós-graduado de falar em público) apresenta duas modas. Obteve, aproximadamente, 85,71% das respostas no nível "Muito Bom" ou "Bom" da escala de julgamentos.

Ainda destaca-se que: 13 critérios obtiveram média superior ao valor "um" que na escala de julgamentos refere-se a um impacto "Bom" e nenhum critério obteve uma média que o classificasse como "Regular", "Ruim" ou "Muito Ruim".

A Figura 8 permite a visualização dos valores médios das percepções dos alunos quanto ao nível de importância e a(s) moda(s) de cada critério.

As menores médias de importância, segundo a ótica discente, foram obtidas nos critérios C₁₀ (3,0) e C₁₁ (2,9). Estes critérios versam respectivamente sobre o impacto do mestrado na vida pessoal e desembaraço do aluno (desinibição).

Os critérios C₆ e C₁₆ apresentaram a maior média de importância (3,8) na visão dos alunos. Esses critérios abordam respectivamente o grau de impacto da pós-graduação no perfil pesquisador do egresso e na sua capacidade de aplicação de métodos organizados.

Ainda observa-se que, com exceção do critério C₁₁, todos os demais foram considerados pelo menos "Importante" na percepção média discente e 12 critérios obtiveram sua maior frequência de respostas no nível denominado "muito importante" da escala de julgamentos.

A Figura 9 permite a visualização simultânea das médias de importância de cada critério e o impacto no desempenho dos egressos.

Por meio da observação da Figura 9, destacam-se:

• o critério C₃ (Impacto na remuneração do pós-graduado), que obteve o menor nível médio de impacto sobre o desempenho (0,10) e um alto grau médio de importância (3,4); e

• o critério C₆ (Impacto no perfil de pesquisador do pós-graduado), que obteve o maior nível de importância (3,76) e também o maior valor médio de impacto (1,71).

3.6 Análise das percepções dos chefes

A Figura 10 proporciona a visualização dos valores médios das percepções dos chefes quanto ao impacto do curso no desempenho dos egressos e a(s) moda(s) de cada critério.

O menor nível médio de impacto, segundo a percepção dos chefes, foi obtido nos critérios C₇ e C₉, que versam, respectivamente, sobre o impacto do curso no perfil negociador e na capacidade de falar em público do pós-graduado.

O maior nível médio (1,75) foi obtido em sete critérios:

• C₂ - Adequação da grade curricular às reais necessidades encontradas nas empresas;

• C₅ - Impacto na capacidade do pós-graduado para trabalhar em equipe;

• C₆ - Impacto no perfil de pesquisador do pós-graduado;

• C₈ - Impacto na autoestima do pós-graduado;

• C₁₂ - Impacto na capacidade de expressão do pós-graduado;

• C₁₅ - Impacto na capacidade do estudante em resolver problemas; e

• C₁₆ - Impacto na capacidade do estudante de aplicação de métodos organizados.

Nota-se que todos os critérios obtiveram valor médio acima da condição da escala que os classifica como "Bom". Segundo as percepções dos 4 chefes, todos os critérios tiveram um impacto "Bom" ou "Muito Bom" no desempenho dos egressos.

A Figura 11 permite a visualização dos valores médios das percepções dos chefes quanto ao nível de importância e à(s) moda(s) de cada critério.

O menor valor médio de importância, segundo a ótica dos chefes, foi de 3,5 obtido nos critérios C₇, C₉, C₁₁ e C₁₄. Estes critérios versam respectivamente sobre o impacto do mestrado no perfil negociador, na capacidade de falar em público, no desembaraço (desinibição) e na capacidade de receber críticas do pós-graduado. Os critérios C₅ (Impacto na capacidade do pós-graduado para trabalhar em equipe), C₁₅ (Impacto na capacidade do estudante em resolver problemas) e C₁₆ (Impacto na capacidade do estudante de aplicação de métodos organizados) foram considerados "muito importantes" na visão dos quatro chefes.

A Figura 12, a seguir, permite a visualização simultânea das médias de importância e de impacto em cada critério avaliado na percepção dos chefes.

Todos os chefes atribuíram o valor máximo de importância (4) nos critérios C₅ (relacionamento interpessoal), C₁₅ (solução de problemas) e C₁₆ (uso de métodos organizados). Os critérios C₇ e C₉ obtiveram os menores valores médios tanto de impacto no desempenho quanto de importância. Entretanto, observa-se que todos os critérios receberam valor médio de importância acima de "3" ("Importante") e valor médio de impacto de desempenho acima de "1" (Bom) na escala de julgamentos de valor.

3.7 Comparação das percepções

A Figura 13 apresenta as médias de impacto no desempenho dos egressos obtidas por meio das respostas dos quatro grupos que participaram da pesquisa.

Destaca-se que 77% dos critérios avaliados pelos chefes obtiveram as maiores médias de impacto, quando comparados às médias dos outros grupos. Nessa mesma perspectiva, destaca-se que 75% dos critérios obtiveram os menores valores médios na percepção docente. As percepções dos alunos são mais otimistas quando comparadas às percepções dos coordenadores.

As percepções dos coordenadores apresentam um maior otimismo quanto ao impacto no desempenho dos egressos, quando comparadas às percepções docentes. O mesmo acontece no resultado da pesquisa entre os chefes, que apresenta maiores valores médios de impacto quando comparado às percepções discentes.

O Critério C₃ (impacto na remuneração do egresso) obteve a maior amplitude dentre os 16 critérios avaliados. Nota-se que esse critério obteve a maior e também a menor média de impacto quanto ao desempenho, a primeira foi obtida na pesquisa com os coordenadores e a última na pesquisa com os alunos. Destaca-se também o critério C₉ (Impacto na capacidade do pós-graduado de falar em público) que obteve a menor amplitude.

A Figura 14 apresenta as médias de importância obtidas por meio das respostas dos quatro grupos que participaram da pesquisa.

Nota-se que em 93,75% dos critérios, os menores níveis de importância foram obtidos na percepção dos coordenadores ou docentes. Entretanto todos os critérios obtiveram média de importância acima de 2, que na escala de julgamentos corresponde ao nível denominado "Importância média". Destaca-se também que 11 dos 13 critérios avaliados pelos chefes obtiveram o maior nível de importância quando comparados aos valores médios dos demais grupos.

O critério C₉ (Impacto na capacidade do pós-graduado de falar em público) apresentou a maior amplitude e o critério C₃ (Impacto na remuneração do pós-graduado) a menor amplitude.

A Figura 15 permite a visualização simultânea das médias de importância e do impacto do curso sobre o desempenho dos egressos obtidos por meio das respostas dos quatro grupos participantes da pesquisa.

Os dois menores valores médios de importância foram obtidos por meio dos resultados da pesquisa com os coordenadores nos critérios que versam sobre: o impacto na capacidade de falar em público (C₉) e na vida pessoal do pós-graduado (C₁₀).

Dentre as 17 menores médias, quanto ao impacto no desempenho, destacam-se 12 pertencentes aos resultados obtidos na pesquisa docente.

O critério C₃ merece maior destaque por apresentar tanto a menor quanto a maior média de impacto no desempenho, a primeira acontece na percepção discente e a última na percepção dos coordenadores.

Ressaltam-se também os seguintes critérios, que integram o grupo daqueles que apresentam simultaneamente alto grau de importância e também de impacto no desempenho dos alunos:

• C₂ (Nível de respostas às expectativas do mercado);

• C₅ (Relacionamento interpessoal);

• C₆ (Impacto no perfil pesquisador);

• C₈ (Impacto na autoestima);

• C₁₂ (Impacto na capacidade de expressão);

• C₁₃ (Senso crítico);

• C₁₅ (Impacto na capacidade de solucionar problemas); e

• C₁₆ (Aplicação de métodos organizados).

4 Conclusões

O presente trabalho apresenta uma modelagem para mapeamento de percepções sobre impactos da pós-graduação, mais especificamente programas de mestrado com ênfase profissional.

Sobre a pesquisa realizada neste trabalho, observa-se que a Questão 1 foi verificada, tendo sido identificada na literatura uma carência de textos que tratam deste tema. Este fato, somado à novidade que representa o mestrado profissional do Brasil e à abordagem sistematizada utilizada na pesquisa, amplifica o grau de originalidade e a contribuição científica deste trabalho.

Sobre a pesquisa aqui realizada observa-se que a Questão 2 foi verificada, podendo-se, com respeito a esta questão, concluir-se que:

• A empresa, representada pelos quatro chefes, apresentou uma visão mais otimista com relação ao impacto do mestrado profissional no desempenho dos egressos;

• O aspecto denominado "impacto do curso na remuneração do egresso" apresentou o menor nível médio de impacto na visão dos alunos;

• De forma geral, as percepções docentes quanto ao impacto do mestrado profissional no desempenho de seus egressos foram mais exigentes;

• Nenhum critério obteve média de impacto no desempenho que o classificasse como "Regular", "Ruim" ou "Muito Ruim"; e

• Todas as questões apresentaram valor médio de importância superior a "2" que se refere a uma "Importância Média" na escala de julgamentos. Isso confirma a relevância dos critérios adotados no questionário.

Com relação ao trabalho desenvolvido, ainda registra-se que:

• O presente trabalho contribui para os avanços já alcançados nos trabalhos de Politis e Siskos (2004), Neves e Costa (2006) e Costa e Costa (2003), ao revisar o conjunto de critérios de avaliação e ao expandir a aplicação do modelo de mapeamento de percepções ao contexto da avaliação do mestrado profissional;

• A pesquisa incorporou aspectos não considerados na avaliação realizada pela CAPES. Além dos aspetos associados ao desempenho acadêmico, a modelagem considerou questões relacionadas ao desempenho profissional do egresso; e

• Além de contribuir na construção de indicadores que permitam avaliar os impactos do mestrado profissional no perfil dos seus egressos, os resultados deste trabalho também podem subsidiar a coordenação do curso participante da pesquisa na tomada de decisões inerentes ao seu aperfeiçoamento contínuo.

4.1 Limitações da pesquisa

Embora a elaboração dos questionários tenha sido feita em uma visão ampla, a coleta de dados no experimento limitou-se à aplicação de questionários em uma única turma de pós-graduação, aos professores desse curso e aos coordenadores de mestrados profissionais classificados na área de ENGENHARIAS III. Em função disto, os resultados do experimento devem ser considerados apenas para este contexto, não devendo ser feitas extrapolações.

Ressalta-se também que as conclusões relativas aos resultados obtidos na pesquisa com os chefes merecem maior atenção e cuidado, pois estes se concentram no mapeamento de percepções de uma amostragem pequena.

4.2 Sugestões para trabalhos futuros

Como proposta para futuros trabalhos de pesquisas sugere-se:

• aplicação da abordagem proposta a outras situações de avaliação de programas de mestrado profissional, construindo assim um banco de informações que possibilitem conclusões mais abrangentes;

• aplicação do questionário junto aos membros dos comitês de avaliação da CAPES - no objetivo de mapear contrastes de percepção entre membros destes diferentes grupos; e

• comparação entre métodos já utilizados na avaliação de cursos de pós-graduação e construção de método próprio que inclua tanto a análise de aspectos não relacionados na avaliação da CAPES, quanto diferentes formas de agregação e tratamento de dados coletados.

Agradecimentos

Os autores agradecem à CAPES e ao CNPq o apoio financeiro. Os autores também agradecem aos avaliadores e à editoria do periódico as contribuições ao texto.

Recebido em 29/6/2009 — Aceito em 13/9/2010

Suporte financeiro: CAPES e CNPq

Anexo A - Modelo de questionário utilizado na pesquisa

Questionário

O objetivo deste questionário é captar a sua percepção quanto aos impactos dos programas de mestrado profissional sobre o desempenho do seu egresso. Estas percepções não devem se prender a um programa específico, mas sim a uma visão global sobre os programas de pós-graduação desta natureza.

O questionário está dividido em 2 partes. A primeira parte é um questionário fechado e trata da dimensão pós-graduado. A segunda, com perguntas abertas e fechadas, trata de aspectos adicionais, considerados relevantes à pesquisa.

Para cada critério, serão avaliadas 2 variáveis. Na primeira variável será captada a percepção quanto ao impacto/resultado/desempenho do programa no critério e na segunda, a percepção quanto ao grau de importância do critério.

Para responder o questionário utilize as seguintes escalas:

• Quanto ao impacto do programa sobre o perfil do seu egresso:

• Quanto ao grau de importância do critério:

I Dimensão: Pós-graduado

• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - CAPES. Da validade dos mestrados profissionais Disponível em: <http://www.capes.gov.br/duvidas-frequentes/2359-da-validade-dos-mestrados-profissionais>. Acesso em 10 set. 2008.
• COSTA, H. G. et al. ELECTRE TRI aplicado a avaliação da satisfação de consumidores. Produção, v. 17, n. 2, p. 230-245. 2007.
• COSTA, R. C. F.; COSTA, H. G. Identificação de lacunas nos graus de importância associados a critérios de percepção da qualidade em instituição de ensino superior. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO ENEGEP, 23., 2003, Ouro Preto - MG. Anais... Rio de Janeiro: ABEPRO, 2003. p. 1-8.
• JACQUET-LAGRÈZE, E.; SISKOS, J. Assessing a set of additive utility functions for multicriteria decision-making, the UTA method. European Journal of Operational Research, v. 10, n. 2, p. 151-164, 1982.
• LIKERT, R. A. Technique for measurement of attitudes. Archives of Psychology, v. 140, n. 1, p. 5-55, 1932.
• MILLER, G. A. The magical number seven, plus or minus two: some limits on our capacity for processing information. Psychological Review, v. 101, n. 2, p. 343-352. 1954.
• MIRANDA, C. M. G. D.; ALMEIDA, A. T. D. Visão multicritério da avaliação de programas de pós-graduação pela CAPES: o caso da área ENGENHARIA III baseado nos métodos ELECTRE III e MAUT. Gestão e Produção, v. 11, n. 1, p. 51-64. 2004.
• NEVES, R. B. Integração da análise SWOT com o método ELECTRE TRI na avaliação do desempenho de programas de pós-graduação Dissertação (Mestrado em Engenharia de Produção)-Universidade Federal Fluminense, Niterói, 2005.
• NEVES, R. B.; COSTA, H. G. Avaliação de programas de pós-graduação: proposta baseada na integração ELECTRE TRI, SWOT e sistema CAPES. Sistemas & Gestão, v. 1, n. 3, p. 276-298, 2006.
• OLIVEIRA, M. C. F. et al. Ponderações sobre o mestrado profissionalizante na área de computação. In: WORKSHOP DE EDUCAÇÃO EM COMPUTAÇÃO, 8., 2000, Curitiba-PR. Anais... Porto Alegre: Sociedade Brasileira de Computação - SBC, 2000. p. 1-12.
• POLITIS, Y.; SISKOS, Y. Multicriteria methodology for the evaluation of a Greek engineering department. European Journal of Operational Research, v. 156, n. 1, p. 223-240, 2004.
• RANGEL, L. A. D.; GOMES, L. F. A. M.; LINS, M. P. E. Avaliação dos programas de pós-graduação em engenharia da UFRJ empregando uma variante desenvolvida do método UTA. Pesquisa Operacional, v. 23, n. 2, p. 285-299, 2003.

Datas de Publicação

• Publicação nesta coleção
  28 Jan 2011
• Data do Fascículo
  Dez 2010

Histórico

• Recebido
  29 Jun 2009
• Aceito
  13 Set 2010