Eficiência e qualidade dos programas de pós-graduação das instituições federais de ensino superior usuárias do Programa de Fomento à Pós-Graduação (PROF)

Calidad y eficiencia de los programas de post-graduación de las instituciones nacionales de educación superior usuarias del Programa de Fomento a la Post-Graduación

Efficiency and quality of the post graduation programs in the "instituições federais de ensino superior" beneficiaries of the Post graduation Promotion Program (PROF)

Eficiência e qualidade dos programas de pós-graduação das instituições federais de ensino superior usuárias do Programa de Fomento à Pós-Graduação (PROF)

Efficiency and quality of the post graduation programs in the "instituições federais de ensino superior" beneficiaries of the Post graduation Promotion Program (PROF)

Calidad y eficiencia de los programas de post-graduación de las instituciones nacionales de educación superior usuarias del Programa de Fomento a la Post-Graduación

Ney Paulo Moreira^I; Suely de Fátima Ramos Silveira^II; Marco Aurélio Marques Ferreira^III; Nina Rosa da Silveira Cunha^IV

^IMestre em Administração, Universidade Federal de Viçosa (UFV); Professor assistente, UFV. E-mail: [e-mail]

^IIDoutora em Economia Aplicada, Universidade de São Paulo (USP); Professora Adjunta, Departamento de Administração, UFV. E-mail: [e-mail]

^IIIDoutor em Economia Aplicada, UFV; Professor Adjunto do Departamento de Administração, UFV. E-mail: [e-mail]

^IVDoutora em Economia Aplicada, UFV; Professora Associada do Departamento de Administração, UFV. E-mail: [e-mail]

RESUMO

A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) criou, em 1998, o Programa de Fomento à Pós-Graduação (PROF), com o objetivo de propiciar às instituições públicas de ensino maior autonomia na gestão de recursos financeiros destinados ao financiamento dos programas de pós-graduação, e consequente aumento da eficiência e melhoria da qualidade dos cursos. Este estudo apresenta uma análise da eficiência e da qualidade dos programas de pós-graduação das instituições de ensino financiadas pelo PROF no triênio 2001/2003. Para tanto, utilizaram-se testes de médias no intuito de comparar o desempenho dos programas financiados pelo PROF com o desempenho de outros programas. Concluiu-se que os programas de pós-graduação vinculados às instituições de ensino que recebem recursos do PROF apresentaram níveis superiores de qualidade em relação aos demais programas. E quando analisada a eficiência dos programas de pós-graduação, observou-se que os programas financiados pelo PROF apresentaram maior eficiência nos anos de 2001, 2002 e 2003, em relação aos programas financiados por outras modalidades de fomento.

Palavras-chave: Descentralização. Desempenho. Administração pública.

ABSTRACT

In 1998, the "Coordenação de Aperfeiçoamento de Pessoal de Nível Superior" (CAPES) instituted the Post graduation Promotion Program (PROF) in order to provide the public educational institutions with higher autonomy in the management of the financial resources assigned to post graduation programs, and consequently higher efficiency and the course quality improvement. This study analyzes both efficiency and quality of the postgraduation programs in the educational institutions financed by PROF, during the triennium 2001/2003. So, mean tests were used in order to compare the performance of the programs financed by PROF with the performance of other programs. According to the results, the post graduation programs in the educational institutions that receive the PROF resources showed higher quality levels, relative to other programs. When analyzing the efficiency of the post graduation programs, it was observed the PROF-financed programs to show higher efficiency in 2001, 2002 and 2003 in relation to those financed by other supporting modalities.

Keywords: Decentralization. Performance. Public administration.

RESUMEN

La "Coordenação de Aperfeiçoamento de Pessoal de Nível Superior" (CAPES), crió, en 1998 el Programa de Fomento a la Post-graduación (PROF), con el objetivo de propiciar a las instituciones públicas de enseñanza, mayor autonomía en la gestión de recursos financieros destinados a los programas de post-graduación, e consecuentemente, aumento de la eficiencia y mejoría de la calidad de los cursos. Este estudio presenta un análisis de la eficiencia y de la calidad de los programas de post-graduación de las instituciones de enseñanza financiadas por PROF en el periodo de 2001 a 2003. Para lo cual, se utilizaron testes de medias con el propósito de comparar el desempeño de los programas financiados por PROF con el desempeño de otros programas. Concluyendo que los programas de post- graduación vinculados a las instituciones de enseñanza que reciben recursos del PROF presentan niveles superiores de calidad en relación a los demás programas. Cuando fue analizada la eficiencia de los programas de post-graduación, se observa que los programas financiados por PROF presentan mayor eficiencia en los años 2001, 2002 y 2003, en relación con los programas financiados por otras modalidades de fomento.

Palabras clave: Descentralización. Desempeño. Administración pública.

Introdução

A competitividade no mercado de trabalho exige que os futuros profissionais se especializem cada vez mais, ocasionando a expansão do ensino superior no país e consequente demanda por profissionais especializados para atuar na área do ensino de nível superior, observando-se, com isso, um expressivo aumento de cursos de pós-graduação.

Essas transformações têm sido acompanhadas por uma progressiva preocupação por parte dos órgãos governamentais com a implementação de mecanismos voltados à avaliação do desempenho desses cursos, visando a uma melhor alocação de recursos, principalmente no âmbito das instituições públicas de ensino superior, em que a crescente exigência por elevados níveis de qualidade no ensino e na pesquisa se depara com a escassez de recursos.

Nesse sentido, a CAPES vem implementando regulamentos que tratam de modalidades diferenciadas de fomento aos programas de pós-graduação, a fim de proporcionar melhores condições na oferta dos referidos cursos. Exemplo disso foi a criação, em 1998, do PROF.

De acordo com o Relatório de Gestão de 2002 da CAPES (2003, p. 24), o PROF "tem por objetivo promover a prática da autonomia na utilização dos recursos destinados ao financiamento da pós-graduação que pode ser feita de forma mais flexível e eficiente".

A implantação desse programa se deu como uma iniciativa experimental, de forma a obter maior racionalização e efetividade das ações de fomento e apoio da CAPES, bem como propiciar às universidades participantes dessa modalidade de financiamento maior autonomia e flexibilidade na gestão dos recursos em consonância com as especificidades de seus respectivos cursos (CAPES, 2002c).

O ingresso e a permanência da instituição de ensino neste programa, bem como a ampliação dos recursos concedidos nessa modalidade de financiamento, são condicionados à análise, pela CAPES, de um planejamento bienal elaborado pelas instituições candidatas ou usuárias do programa (CAPES, 2003). Assim, a CAPES vem mantendo ferramentas de controle da gestão das instituições de ensino, visando ao acompanhamento dos programas de pós-graduação do país.

O PROF é uma tentativa de descentralização da gestão da pós-graduação, em que a CAPES vislumbra uma melhoria da qualidade dos programas de pós-graduação com uma melhor alocação dos recursos. Dessa forma, a realização de pesquisas voltadas para o acompanhamento do desempenho dessas instituições integradas ao PROF, no intuito de verificar se houve realmente ganhos de eficiência e qualidade, é de extrema relevância.

Nesse sentido, surge a seguinte questão: Os programas de pós-graduação vinculados às instituições usuárias do PROF apresentam níveis de eficiência e qualidade superiores aos demais programas?

Assim, este trabalho tem por objetivo comparar a eficiência e a qualidade dos programas de pós-graduação financiados pelo PROF com os demais programas das instituições federais de ensino superior.

O artigo traz discussões sobre descentralização na gestão pública, bem como as dimensões e critérios de avaliação de instituições e políticas públicas em educação, além de serem descritas as principais modalidades de financiamento da pós-graduação no País. Por fim, são apresentados os procedimentos metodológicos adotados e os resultados alcançados neste estudo.

Referencial teórico

Descentralização na administração pública

Os processos de descentralização administrativa no Brasil são evidentes ao longo das últimas décadas, contribuindo para maior democratização do acesso da população aos serviços públicos e para aumento da eficácia destes mesmos serviços.

Como exemplo disso, tem-se o PROF, no qual a CAPES vislumbra uma melhoria da qualidade e da eficiência dos programas de pós-graduação, por meio de uma melhor alocação de recursos, uma vez que é a própria instituição de ensino que define onde aplicar os recursos, com base em suas necessidades.

O processo de descentralização consiste numa estratégia que aproxima os tomadores de decisão do púbico-alvo em questão. Numa visão de administração privada, Oliveira (2002) define descentralização como a menor concentração do poder decisório na alta administração da empresa, sendo, portanto, este poder mais bem distribuído por seus diversos níveis hierárquicos.

Por sua vez, Garrison (2001, p. 386) aponta como vantagem da descentralização o fato de que "os gerentes de níveis mais baixos dispõem de dados mais detalhados e atualizados sobre as condições das suas áreas do que os gerentes da alta administração".

Já em uma visão da gestão pública, segundo Heringer (2002), entre as vantagens geralmente apontadas em análises de processos de descentralização, observa-se o desenvolvimento de uma autonomia maior dos órgãos, uma vez que as decisões de alocação de recursos e execução de ações são tomadas no âmbito destes níveis de decisão. O processo de descentralização vem sendo implementado no sentido de garantir maior eficiência na execução de políticas públicas, porém a autora destaca que, embora seja vista como uma medida administrativa positiva, a descentralização de políticas públicas não necessariamente implica maior democratização do serviço público.

Avaliação de instituições e políticas públicas em educação

A avaliação institucional e de políticas públicas em educação carece de maior aprofundamento teórico e metodológico, pois, segundo Belloni, Magalhães e Sousa (2003, p. 20), a análise da literatura e da prática nessa área revela "grande dose de empirismo e amadorismo, assim como frequente escassez de critérios e de clareza acerca da relevância e utilidade dos resultados".

Por sua vez, Lapa e Neiva (1996) destacam que, dadas as dimensões e a complexidade dos sistemas educacionais, parece ainda haver um longo caminho a ser percorrido até que os resultados das experiências de avaliação se tornem procedimentos consolidados e com critérios reconhecidos e aceitos pelos diversos grupos de agentes interessados na temática de avaliação educacional.

Segundo Marinho e Façanha (2001), no uso corrente, é comum encontrar, na literatura especializada de avaliação, referências às dimensões desejáveis de desempenho de organizações e programas avaliados. Esses autores mencionam as dimensões da efetividade, eficiência e eficácia.

Lapa e Neiva (1996) classificam os critérios de avaliação de instituições de ensino em dois grandes grupos: os ligados à idéia de desempenho, compreendendo a avaliação da produtividade, eficiência, eficácia e efetividade; e aqueles ligados à idéia de qualidade, na qual a avaliação ocorre a partir do ponto de vista da utilidade e relevância.

De maneira semelhante, Belloni (2000) afirma que os critérios de avaliação encontrados na literatura apontam duas grandes referências, sendo os critérios substantivos e instrumentais.

Os critérios substantivos referem-se a compromissos institucionais ante as necessidades políticas e culturais da sociedade. São a qualidade, pertinência, relevância, eficácia social, importância e utilidade. O autor associa esses critérios a um construto denominado "qualidade institucional".

Já os critérios instrumentais referem-se a processos internos à instituição, sendo considerados pelo autor como relacionados ao construto "desempenho organizacional". São os critérios de produtividade, eficiência, eficácia e efetividade.

Lapa e Neiva (1996) salientam que as medidas de desempenho servem para apurar "qualidades formais", ou seja, aqueles atributos inerentes à instituição, ao modo como ela se estrutura para alcançar seus objetivos, como distribui quantitativamente seus recursos e insumos para gerar produtos e resultados. Entretanto, com esse plano de julgamento interagem outros tipos de investigações relacionados às "qualidades políticas", ou seja, um plano referindo-se a aspectos que dependem da visão dos avaliadores e da posição em que eles se colocam em relação ao objeto de seu interesse.

Em suma, os critérios de avaliação institucional comumente encontrados na literatura podem ser classificados em dois grandes grupos: os relacionados ao desempenho organizacional e aqueles que tratam da qualidade institucional.

Os atributos utilizados na avaliação de "qualidades políticas", ou seja, da qualidade institucional, podem ser vistos sob diversos enfoques, detendo-se a aspectos "intrínsecos" ao objeto analisado, como considerações sobre a estrutura da organização, sobre a qualidade dos recursos ou da tecnologia de gestão empregada; ou a aspectos "extrínsecos", como análise da utilidade e relevância dos produtos e resultados gerados (LAPA; NEIVA, 1996).

Dos critérios relacionados ao desempenho, Lapa e Neiva (1996) conceituam produtividade como a razão entre o que uma instituição de ensino gera como produtos e resultados e o que ela consome na forma de recursos, não importando a tecnologia de processo utilizada, nem como é utilizada.

Já a eficácia é entendida como o grau em que são satisfeitas as expectativas do resultado, ou o cumprimento da missão da organização, sendo, portanto, uma medida de rendimento global (PEREZ JÚNIOR; PESTANA; FRANCO, 1997; OLIVEIRA, 2002). Segundo Revorêdo e outros (2004), a eficácia ocorre quando os objetivos pré-estabelecidos são atingidos, ou seja, a avaliação da eficácia não pode ser realizada sem a existência prévia do planejamento dos programas de governo, no qual os objetivos devem estar claramente definidos e quantificados.

Oliveira (2002) afirma que a eficiência se refere à otimização dos recursos utilizados para a obtenção dos resultados. Já Revorêdo e outros (2004, p. 57) definem eficiência como "o resultado obtido a partir da relação existente entre o volume de bens ou serviços produzidos – outputs – e o volume de recursos consumidos – inputs".

Marinho e Façanha (2001) e Oliveira (2002) percebem a efetividade como a capacidade de obter resultados pretendidos. Segundo esses autores, a efetividade é definida como a relação entre os resultados alcançados e os objetivos propostos ao longo do tempo. Por sua vez, Lapa e Neiva (1996) salientam que a efetividade é um conceito ligado à capacidade da instituição em corresponder ao que dela se espera, ou seja, as medidas de efetividade são comparações entre o planejamento e as operações com a realidade dentro da qual a instituição opera.

No presente estudo, a avaliação dos programas de pós-graduação abordará as duas dimensões: qualidade e desempenho institucional. E o desempenho institucional será representado apenas pelo critério da eficiência, dada a complexidade envolvida na análise da eficácia e da efetividade desses programas.

Os programas de fomento à pós-graduação

A CAPES oferece à rede pública de ensino superior quatro modalidades de financiamento para os programas de pós-graduação stricto sensu: Programa de Apoio à Pós-Graduação (PROAP), Programa de Demanda Social (DS), Programa de Fomento à Pós-Graduação (PROF) e o Programa de Excelência da Pós-Graduação (PROEX). Serão abordadas, nas seções subsequentes, as características dos referidos programas, com exceção do PROEX, que é uma modalidade diferenciada de financiamento utilizada apenas por programas com nível de excelência na avaliação da CAPES, por se tratar de um programa complementar às demais modalidades de fomento.

Programa de Apoio à Pós-Graduação

O Programa de Apoio à Pós-Graduação (PROAP) destina-se a proporcionar melhores condições para a formação de recursos humanos, a produção e o aprofundamento do conhecimento nos cursos de pósgraduação stricto sensu, ministrados pelas Instituições de Ensino Superior Públicas (IES). Mais especificamente, o PROAP tem por objetivo fornecer apoio às atividades inovadoras dos programas de pós-graduação, voltadas para o seu desenvolvimento acadêmico, de modo a oferecer formação cada vez mais qualificada e diversificada aos estudantes de pós-graduação (CAPES, 2002a).

De acordo com a Portaria CAPES nº 10, de 27 de março de 2002, o PROAP proporciona acesso a recursos direcionados ao custeio das atividades acadêmicas e de pesquisas dos programas de pósgraduação relacionadas aos estudos de dissertação e tese dos estudantes pós-graduados e à manutenção e desenvolvimento desses programas, além do apoio às atividades de planejamento, definição e execução da política institucional de pós-graduação (CAPES, 2002a).

Para o ingresso de uma a instituição no referido programa, ela deverá possuir personalidade jurídica de direito público e ensino gratuito, manter programas de pós-graduação stricto sensu avaliados pela CAPES e com conceito igual ou superior a 3, além de possuir quota de bolsa concedida pelo programa de Demanda Social (DS). Deverá também manter infraestrutura administrativa responsável pela gerência do PROAP (CAPES, 2002a).

Com relação ao gerenciamento do programa, assim como determinado na Portaria nº 10, ele "é feito por meio da sistemática de cogestão com as instituições participantes, através de apoio ao órgão de administração superior responsável pela pós-graduação stricto sensu, doravante denominado Pró-Reitoria" (CAPES, 2002a, p. 2).

Na execução do programa, cabe à CAPES efetuar o repasse dos recursos necessários, bem como definir os valores de referência para cada programa de pós-graduação da instituição e também para a Pró-Reitoria, além de acompanhar e avaliar o desempenho do PROAP.

O valor de referência para repasse de recursos financeiros aos programas e à Pró-Reitoria ou a outro órgão da administração superior responsável pela pós-graduação stricto sensu é fixado em função da disponibilidade orçamentária da CAPES, do número de bolsas da Demanda Social (DS) e da natureza da área do conhecimento dos programas.

Com relação à instituição participante do programa, ela deve encaminhar à CAPES o Plano de Trabalho Institucional, que é a consolidação dos Planos de Trabalho Institucional de todos os programas de pós-graduação, nele devendo constar a descrição ou a natureza das despesas orçadas pela instituição para os seus programas.

Programa de Demanda Social

O Programa de Demanda Social (DS) tem por objetivo a formação de recursos humanos de alto nível necessários ao país, proporcionando aos programas de pós-graduação stricto sensu condições adequadas ao desenvolvimento de suas atividades.

A finalidade da DS é a manutenção de alunos de pós-graduação, com excelente desempenho acadêmico, dedicados às atividades do curso em tempo integral. O instrumento básico da DS é a concessão de quota de bolsas aos programas de pós-graduação stricto sensu, definida com base nos resultados do sistema de acompanhamento e avaliação coordenado pela CAPES (CAPES, 2002b).

Para o ingresso da instituição no referido programa, ela deverá possuir personalidade jurídica de direito público e ensino gratuito, manter programas de pós-graduação stricto sensu avaliados pela CAPES e com conceito igual ou superior a 3, além de instituir a Comissão de Bolsas/ CAPES, com um mínimo de três membros, integrada pelo coordenador do programa e por representantes dos corpos docente e discente (CAPES, 2002b).

Conforme a Portaria CAPES nº 52, de setembro de 2002, a CAPES (2002b) é incumbida de definir as quotas de bolsas para os programas de pós-graduação, efetuar o repasse dos recursos e acompanhar e avaliar o desempenho do programa. A instituição de ensino, por sua vez, dentre outras atribuições, ficará encarregada de proceder aos pagamentos dos bolsistas e de garantir o funcionamento da Comissão de Bolsa/CAPES. À Comissão de Bolsa/CAPES compete selecionar os candidatos às bolsas do programa, mediante critérios que priorizem o mérito acadêmico, mantendo um sistema de acompanhamento do desempenho acadêmico dos bolsistas e do cumprimento das fases previstas no Programa de estudos, dentre outras atribuições.

Programa de Fomento à Pós-Graduação

Visando a atender adequadamente às necessidades ou especificidades dos programas de pós-graduação e das instituições públicas de ensino, a CAPES instituiu o Programa de Fomento à Pós-Graduação (PROF) com a finalidade de fornecer condições para que os programas alcancem com qualidade a formação de recursos humanos (CAPES, 2002c).

Os recursos do PROF destinam-se exclusivamente à implementação dos projetos de planejamento institucionais responsáveis pela formação de recursos humanos, sendo o financiamento estabelecido em negociação com a CAPES, com base no projeto de planejamento institucional a ser implementado no período de dois anos.

O PROF prevê recursos de custeio para o pagamento de bolsas de estudo e recursos de custeio e capital essenciais para a execução das atividades dos programas de pós-graduação e para o trabalho de definição e execução da política institucional de pós-graduação (CAPES, 2002c, p. 5).

Para o ingresso da instituição no referido programa, ela deverá possuir personalidade jurídica de direito público e ensino gratuito, manter programas de pós-graduação stricto sensu avaliados pela CAPES e com conceito igual ou superior a 3, outorgar poderes à Pró-Reitoria de representá-la perante a CAPES, além de instituir uma Comissão de Planejamento e Gerência do PROF (CPG/PROF), dentre outros requisitos (CAPES, 2002c).

Além disso, a instituição deverá inscrever-se no PROF com uma proposta de apoio que tenha como base um processo consistente de planejamento global das ações da instituição. Essa proposta deve contemplar o cenário atual da pós-graduação na instituição, bem como a definição de metas e indicadores para avaliação, identificar providências a serem tomadas para a melhoria da situação atual dos programas, dentre outros quesitos (CAPES, 2002c).

No PROF, cabe à CAPES definir os valores globais de custeio e capital a serem concedidos à instituição de ensino. À instituição de ensino cabe, dentre outras atribuições, a manutenção do funcionamento da CPG/PROF em suas dependências, bem como indicar a composição da mesma comissão e o processo de seleção de seus membros. No que se refere às atribuições da CPG/PROF, ela fica incumbida de elaborar e acompanhar o projeto de planejamento institucional, estabelecer a concessão de bolsas para cada programa de pós-graduação e para a Pró-Reitoria, assim como delegar a cada programa de pós-graduação a composição de uma comissão de bolsa. Essa comissão de bolsa deverá ser composta por, no mínimo, três membros, sendo o coordenador do programa e um representante do corpo docente e discente.

De acordo com a Portaria CAPES nº 64, de 18 de novembro de 2002, o PROF (CAPES, 2002c) permite uma autonomia na utilização dos recursos, mediante análise da Comissão de Planejamento e Gerência do PROF (CPG/PROF), que atenda às necessidades de financiamento da pós-graduação e da pesquisa, contemplando a estrutura global destes setores na instituição (IES).

Procedimentos metodológicos

Utilizando as tipologias de Vergara (2005) quanto aos fins, esta pesquisa caracteriza-se como exploratória, tendo em vista a carência de trabalhos que tratam do referido tema. Quanto aos meios, esse estudo utilizará as pesquisas bibliográfica e documental, realizadas principalmente com base nos relatórios de avaliação dos programas de pós-graduação elaborados pela CAPES.

Hipóteses e operacionalização das variáveis

Baseado na proposta da CAPES, de maior flexibilidade na gestão dos recursos financeiros como tentativa de ganho de eficiência e qualidade dos programas de pós-graduação, bem como nos preceitos teóricos da descentralização para o ganho de eficiência, elaboraram-se as hipóteses de pesquisa descritas na Tabela 1.

Para verificar se realmente houve um ganho de eficiência nos programas de pós-graduação financiados pelo PROF, utilizou-se como proxy de eficiência a variável tempo médio de titulação. E com relação à qualidade, o próprio conceito CAPES foi analisado no intuito de verificar se há diferença significativa entre os programas financiados pelo PROF e por outras modalidades de financiamento.

Considerando o caráter pioneiro da pesquisa, salienta-se que outras medidas de eficiência e qualidade são possíveis, e as proxies aqui utilizadas não pretendem ser exaustivas. Como exemplo de outras medidas para analisar a qualidade de programas de pós-graduação em engenharia, Mello e outros (2003) mensuraram a capacidade de gerar publicações científicas baseadas em teses e dissertações defendidas, fazendo inferência sobre a qualidade das teses e dissertações e, indiretamente, sobre a qualidade dos programas.

Ressalta-se que os programas de pós-graduação que oferecem apenas cursos de mestrado podem obter no máximo o conceito 5, e aqueles que também oferecem cursos de doutorado podem chegar a um conceito 7. Sendo assim, para os testes de médias, os conceitos 6 e 7 foram convertidos para o conceito 5, de forma a equalizar os programas de mestrado com os programas de mestrado e doutorado. No entanto, para verificar se houve aumento no conceito CAPES do triênio 1998/2000 para 2001/2003, foram utilizados os valores originais.

Para o cálculo do tempo médio de titulação, utilizou-se como base o padrão estabelecido pela CAPES: 24 meses para conclusão do mestrado e 48 meses para conclusão do doutorado. O tempo de titulação do doutorado foi convertido na mesma base do mestrado, multiplicando-se os valores por 0,5. Quando o programa de pós-graduação dispunha de cursos de mestrado acadêmico, mestrado profissionalizante e doutorado, foi feita uma média simples do tempo de titulação, preservada a mesma base padrão de 24 meses, conforme anteriormente explanado.

Fonte e tratamento dos dados

Os dados utilizados na pesquisa foram coletados no endereço eletrônico da CAPES (CAPES, 2007), em que são disponibilizados os relatórios da avaliação dos programas de pós-graduação do país.

O tratamento dos dados para verificação das hipóteses de pesquisa foi realizado através do teste de médias de amostras independentes. Segundo Triola (2005), amostras independentes são aquelas cujos valores amostrais de uma população não estão relacionados ou combinados com os valores amostrais selecionados de outra população.

A estatística do teste de hipótese para duas médias de amostras independentes é a distribuição t, conforme a Equação 1 em que "₁" e "₂" representam, respectivamente, a média dos valores observados na primeira e na segunda amostras; "µ₁" e "µ₂", expressam a média da primeira e da segunda população; "S₁²" e "S₂²", a variância da primeira e da segunda amostra; e "n₁" e "n₂" representam o número de observação da primeira e da segunda amostras (TRIOLA, 2005, p. 347).

Utiliza-se a Equação 1 quando as variâncias podem ser consideradas homogêneas. Caso contrário, utiliza-se o teste t com erro combinado (TRIOLA, 2005, p. 351), como segue:

Com o intuito de verificar o número de programas de pós-graduação que ultrapassaram o tempo padrão de conclusão dos cursos de mestrado e doutorado, bem como identificar aqueles programas que aumentaram o conceito CAPES do triênio 1998/2000 para 2001/2003, utilizou-se o teste de sinais. O teste de sinais, segundo Triola (2005), é um teste não paramétrico (livre de distribuição) que usa os sinais de mais e de menos para testar diferentes afirmativas, incluindo afirmativas que envolvem dados nominais. A estatística de teste desse procedimento é o teste z, em que "x" é o número de vezes em que o sinal menos frequentemente ocorreu; e "n" é o número total de sinais positivos e negativos combinados.

Universo e amostra

O universo da pesquisa é constituído por todos os programas de pós-graduação avaliados pela CAPES no triênio de 2001/2003. Por conveniência, optou-se por trabalhar apenas com instituições federais de ensino superior, uma vez que, mesmo o PROF estando acessível a todas as instituições públicas de ensino superior, apenas instituições federais utilizaram essa modalidade de financiamento até o presente.

Para comparação da média do tempo de titulação dos programas de pós-graduação vinculados às instituições enquadradas na modalidade de financiamento do PROF, foram utilizados para amostragem todos os programas de pós-graduação das instituições que receberam recursos do referido programa de fomento nos anos de 2001 a 2003, sem interrupção.

De acordo com o Relatório de Gestão da Capes de 2002, o PROF foi criado em 1998, com a participação inicial de sete instituições federais: UFPA, UFRPE, UFLA, UFV, UNIFESP, UFSC e UFRGS. Em 1999, ingressaram no programa a UnB e UFMG, e a UFPR em 2001. Em 2002 foram desligadas a UnB, a UFLA e a UNIFESP (CAPES, 2003).

Sendo assim, os programas pertencentes às instituições UFPA, UFRPE, UFV, UFMG, UFSC, UFPR e UFRGS constituíram o quadro populacional dos programas de pós-graduação financiados pelo PROF.

A opção pelo período trienal se deu em função das avaliações realizadas pela CAPES utilizarem o mesmo intervalo temporal, e o triênio 2001/2003 mostra-se relevante para uma análise da possível melhoria da qualidade e eficiência proporcionada pelo PROF aos programas de pós-graduação por apresentar-se como um período de consolidação do referido programa de fomento. Ressalta-se que o PROF vigora até os dias atuais, entretanto a análise do triênio mais recente tornou-se inviável, uma vez que os critérios utilizados na avaliação dos programas de pós-graduação foram modificados em relação ao triênio 2001/2003, comprometendo a análise comparativa.

Dessa forma, a população da pesquisa é composta por 274 programas de pós-graduação financiados pelo PROF e 716 programas financiados por outros programas de fomento.

O tratamento estatístico foi realizado através de uma amostra aleatória, estatisticamente validada, dos programas de pós-graduação, para identificar o prazo médio de titulação dos cursos. A amostragem foi realizada de forma aleatória, utilizando o software SPSS 15.0 for windows. No caso de seleção de programas cujos dados não estivessem disponíveis nos cadernos de avaliação da CAPES, recorria-se a uma segunda seleção aleatória com os programas não selecionados na etapa anterior, de tal forma a manter-se um mínimo amostral.

Por se tratar de uma população relativamente pequena, a amostra foi calculada pela Equação 5, em que "n" expressa o número de elementos que constituirão a amostra, "N" representa o tamanho da população, "σ" o desvio padrão, "Z_σ/2" o escore z crítico com base no nível de confiança desejado, e "E" a margem de erro desejada (TRIOLA, 2005, p. 254).

Com base nos dados das estatísticas descritivas (Tabela 2), no nível de confiança de 95% e na margem de erro de 10%, determinaram-se um mínimo amostral de 128 programas de pós-graduação financiados pelo PROF e 198 programas financiados por outras modalidades de fomento. Para o teste da média dos conceitos CAPES, não utilizou amostragem, uma vez que as informações populacionais se encontram disponíveis em um banco de dados da referida instituição.

Resultados e discussões

A maior autonomia na gestão de recursos, segundo os objetivos institucionais do PROF, proporcionaria melhor desempenho nos programas de pós-graduação. Dessa forma, os recortes abordados nesse trabalho decompõem o desempenho em variáveis de qualidade e eficiência dos programas.

Para a verificação da existência de uma qualidade superior nos programas de pós-graduação financiados pelo PROF, compararam-se as médias dos conceitos CAPES dos referidos programas com os demais programas financiados por outras modalidades de fomento.

A análise dos conceitos CAPES abrangeu todos os programas de pós-graduação das instituições federais de ensino avaliados no triênio 2001/2003. Sendo assim, depois de organizados os dados conforme exposto no capítulo anterior, a Tabela 2 resume as principais estatísticas descritivas da variável analisada.

Como se pode verificar, os programas de pós-graduação financiados pelo PROF têm em média um conceito CAPES de 4,3, contra 3,91 dos programas enquadrados em outros programas de financiamento. Contudo, deve-se fazer um teste estatístico para conferir a significância dessa diferença.

O teste de homogeneidade de variâncias (Tabela 3) indica que não se deve rejeitar a hipótese de que as variâncias sejam iguais. Assim, as variâncias entre os dois grupos podem ser consideradas homogêneas, ou seja, considera-se que a variância das diferenças entre as duas variáveis independentes seja igual à variância do primeiro grupo mais a variância do segundo grupo analisado.

Deste modo, observa-se, com 90% de confiança, que a diferença entre as médias dos conceitos CAPES varia entre 0,289 e 0,483, não passando pelo 0, não podendo a diferença ser nula (Tabela 3).

Pelo teste de médias independentes, pode-se concluir que existe diferença significativa entre as médias dos conceitos CAPES dos programas de pós-graduação financiados pelo PROF. Os programas de pós-graduação vinculados às instituições que utilizam o PROF têm, em média, conceitos CAPES superiores aos demais programas das instituições federais de ensino.

Buscou-se verificar a evolução do conceito CAPES entre a avaliação do triênio 1998/2000 e do triênio 2001/2003, comparando o desempenho dos programas que ingressaram no PROF com os demais. Pôde-se verificar, com significância menor que 1%, que 32,48% dos programas financiados pelo PROF tiveram aumento de conceito no triênio 2001/2003, contra 26,68% dos programas usuários de outras modalidades de fomento (Tabela 4).

Assim, constata-se que, proporcionalmente, a maior ocorrência de aumento no conceito CAPES entre os dois triênios se deu nos programas de pós-graduação financiados pelo PROF.

Outro aspecto do desempenho abordado no presente estudo é a eficiência. Para verificar se a maior autonomia na gestão dos recursos proporcionou um ganho de eficiência nos programas de pós-graduação financiados pelo PROF, compararam-se as médias do tempo de titulação dos referidos programas com os demais programas vinculados a outras modalidades de financiamento.

Para realizar essa comparação do tempo médio de titulação, selecionaram-se duas amostras independentes constituídas de 128 programas de pós-graduação financiados pelo PROF e 198 financiados por outros programas de fomento.

A Tabela 5 mostra as principais estatísticas descritivas da variável tempo médio de titulação em 2001, 2002 e 2003.

A análise da Tabela 5 permite verificar que, no período de 2001 a 2003, o tempo médio de titulação dos programas financiados pelo PROF foi menor em todos os anos, em relação aos demais programas de pós-graduação analisados. No entanto, deve-se proceder ao teste de médias para examinar a significância dessa diferença, uma vez que ela pode ter sido fruto do acaso, decorrente da inferência feita a partir de dados amostrais.

Pelo teste de médias independentes (Tabela 6), verifica-se que há evidências para afirmar que as médias do tempo de titulação em 2001 dos programas de pós-graduação financiados pelo PROF são diferentes dos programas enquadrados em outras modalidades de financiamento.

Com um nível de confiança de 90%, pode-se verificar que a diferença entre as médias varia de -2,556860 a -0,022782, não podendo ser nula. Estes dados sugerem que a maior autonomia na gestão dos recursos destinados ao financiamento dos programas de pós-graduação ocasionou um ganho de eficiência. Fato este que pode ser fruto de um maior controle das instituições de ensino sobre o desempenho de seus programas de pós-graduação, visando à manutenção dessa fonte de financiamento, uma vez que para inscrição e manutenção da instituição no PROF é exigido que a universidade identifique ações e planos para a melhoria da situação de seus programas.

Com relação ao tempo médio de titulação do ano de 2002, verifica-se, pela análise da Tabela 7 que a diferença na média entre as amostras é significativa, ou seja, existem evidências de que os programas enquadrados no PROF são mais eficientes que os demais programas, uma vez que o intervalo de confiança a 90% não contém o valor 0.

Quando analisada a diferença entre as médias do tempo de titulação de 2003, verifica-se que as variâncias entre os dois grupos são diferentes a um nível de significância de 1%, uma vez que o p valor do teste da homogeneidade das variâncias resultou em 0,004 (Tabela 8). Sendo assim, pela estatística do teste t, percebe-se que a média do tempo de titulação dos programas de pós-graduação vinculados às instituições de ensino usuárias do PROF é estatisticamente menor que o tempo médio de titulação dos demais programas.

Assim sendo, com 90% de confiança, verifica-se que as diferenças entre as médias do tempo de titulação no ano de 2003 variam entre -2,119833 e -0,293050, não contendo o valor 0, de modo que a diferença não pode ser nula.

Portanto, pode-se concluir que, em 2003, a maior autonomia na gestão de recursos proporcionada pelo PROF, bem como o maior controle por parte das próprias instituições de ensino, possivelmente tenham ocasionado uma maior eficiência nos programas de pós-graduação vinculados a este programa de fomento.

Objetivando maior clareza dos resultados, procedeu-se a um teste de sinais para verificar quantos programas de pós-graduação, em cada modalidade de financiamento, ultrapassaram o tempo padrão para titulação estabelecido pela CAPES: de 24 meses para conclusão do mestrado e 48 meses para conclusão do doutorado.

Uma vez organizados os dados conforme exposto no capítulo anterior, o tempo para titulação dos cursos de doutorado foi convertido na mesma base dos cursos de mestrado, de tal forma que a mediana teórica considerada no teste de sinais foi o período de 24 meses.

Observa-se que, no ano de 2001, 83,59%, os programas de pós-graduação financiados pelo PROF apresentaram tempo médio de titulação maior que o padrão estabelecido pela CAPES, e que 85,86% dos programas financiados por outras modalidades de fomento obtiveram um tempo médio de titulação superior a 24 meses (Tabela 9).

Nos anos de 2002 e 2003, essas proporções dos programas de pós-graduação usuários do PROF e de outras modalidades de fomento que superaram o tempo padrão para conclusão dos cursos de mestrado e doutorado, se mantiveram relativamente estáveis, com tendência de queda no último ano.

Pelo teste z, Tabela 10, para validação do teste de sinais, observou-se, com significância menor que 1%, que o número de programas de pós-graduação financiados pelo PROF, bem como os usuários de outros programas de fomento que apresentaram um tempo médio de titulação superior a 24 meses é maior que o número de programas que atingiram o padrão estabelecido pela CAPES. Isso sugere que, de maneira geral, independentemente da forma de financiamento utilizada pelo programa de pós-graduação, a maioria deles excede o período de 24 meses para titulação de alunos de mestrado e 48 meses para titulação de alunos de doutorado.

Contudo, apesar de um grande número de programas de pós-graduação financiados pelo PROF ter extrapolado o tempo padrão para titulação, demonstrando uma ineficiência, segundo os critérios da CAPES, observou-se, pelos testes de médias, que esses programas obtiveram eficiência superior aos demais programas das instituições federais de ensino.

Portanto, existem evidências amostrais suficientes que permitem rejeitar as hipóteses nulas. Desse modo, os dados amostrais e as estatísticas descritivas apoiam as afirmativas de que a média do conceito CAPES da avaliação trienal 2001/2003 é maior nos programas de pós-graduação financiados pelo PROF, assim como as médias do tempo de titulação nos anos de 2001, 2002 e 2003 são menores nos programas de pós-graduação financiados pelo PROF.

Considerações finais

A descentralização na administração pública, assim como na administração privada, visa a aproximar o tomador de decisões dos usuários do serviço. A descentralização proporciona maior autonomia aos órgãos da administração pública, objetivando alcançar uma maior eficiência na prestação do serviço à sociedade.

Nesse contexto, o Programa de Fomento à Pós-Graduação (PROF) é uma tentativa de descentralização da gestão dos recursos destinados ao fomento da pós-graduação no país. A CAPES implantou essa modalidade diferenciada de financiamento objetivando proporcionar maior autonomia e flexibilidade de gestão dos recursos às universidades participantes e consequente aumento da eficiência e qualidade dos programas de pós-graduação.

Para verificar a influência da utilização dessa modalidade de financiamento no desempenho da pós-graduação, procedeu-se a uma análise da qualidade dos programas de pós-graduação, evidenciando que os cursos financiados pelo PROF apresentaram conceitos CAPES significativamente maiores que os cursos financiados por outros programas de fomento. Além disso, proporcionalmente, a maior ocorrência de aumento no conceito CAPES entre os dois triênios se deu nos programas de pós-graduação financiados pelo PROF.

Quando analisada a eficiência dos programas de pós-graduação nos anos de 2001, 2002 e 2003 percebeu-se, nestes três anos, que os programas financiados pelo PROF apresentaram um tempo médio de titulação significativamente menor que os programas usuários de outras formas de fomento.

Portanto, os programas de pós-graduação vinculados às instituições de ensino usuárias de recursos provenientes do PROF apresentaram nível de qualidade superior, assim como maior eficiência que os programas pertencentes a instituições usuárias de outras modalidades de financiamento.

Quando se concede autonomia a um órgão ou instituição, deve-se, por outro lado, reforçar os aspectos relacionados ao controle desse órgão responsável pela gestão. E nesse sentido, a CAPES exige que a instituição usuária do PROF constitua uma comissão própria responsável pela gerência do programa de fomento, que, dentre outras atribuições, é incumbida de apresentar um sistema de controle visando a manter ou a melhorar a situação de seus programas de pós-graduação.

Dessa forma, conclui-se que a possibilidade de alocação de recursos, segundo as necessidades específicas de cada programa de pós-graduação, bem como o maior controle da instituição usuária do PROF junto aos seus programas, propiciou níveis de qualidade e eficiência superiores aos demais programas de pós-graduação das instituições federais de ensino superior.

Para melhor elucidar as conclusões deste trabalho, sugere-se que sejam feitos outros testes incluindo novas variáveis como proxies de qualidade e eficiência, como publicações em periódico e congressos, por exemplo, bem como análises do desempenho desses programas no triênio 2004/2006, período não abordado neste estudo. Sugere-se, ainda, a realização de outras pesquisas para verificar a percepção dos gestores dos programas de pós-graduação em relação às vantagens e desvantagens dessa nova modalidade de financiamento.

Recebido em: 08/10/2007

Aceito para Publicação: 21/07/2009

• BELLONI, I.; MAGALHÃES, H.; SOUSA, L. C. Metodologia de avaliação em políticas públicas 3. ed. São Paulo: Cortez, 2003.
• BELLONI, J. A. Uma metodologia de avaliação da eficiência produtiva de universidades federais brasileiras 245 f. 2000. Tese (Doutorado em Engenharia de Produção) Universidade Federal de Santa Catarina, Florianópolis, 2000. Disponível em: <http://teses.eps.ufsc.br/defesa/pdf/1757.pdf>. Acesso em: 23 ago. 2006.
• CAPES. Avaliação: cadernos de indicadores. Brasília, DF, 2007. Disponível em: <http://www.capes.gov.br/Cadernosdeindicadores>. Acesso em: 8 mar. 2007.
• ______. Portaria nş. 10, de 27 de março de 2002. Diário Oficial da União, Brasília, DF, n. 61, 1 abr. 2002a. Seção 1, p. 13. Disponível em: <www.capes.gov.br/programas>. Acesso em: 8 nov. 2006.
• ______ . Portaria nş. 52, de 26 de setembro de 2002. Diário Oficial da União, Brasília, DF, n. 188, 27 set. 2002b. Seção 1, p. 25-26. Disponível em: <www.capes.gov.br/programas>. Acesso em: 8 nov. 2006.
• ______ . Portaria nş. 64, de 18 de novembro de 2002. Portaria, Brasília, DF, 2002c. Disponível em: <http://www.ufpe.br/propesq/images/propesq/posgraduacao/estagio_docencia/ portaria_64_2002.pdf>. Acesso em: 15 jul. 2010.
• ______. Relatório de gestão 2001 Brasília, DF, 2002d. Disponível em: <http://www.capes.gov.br/export/sites/capes/download/relatorios/CAPES_RelatorioGestao_2001.pdf>. Acesso em: 13 fev. 2007.
• ______. Relatório de gestão 2002 Brasília, DF, 2003. Disponível em: <http://www.capes.gov.br/export/sites/capes/download/relatorios/CAPES_RelatorioGestao_2002.pdf>. Acesso em: 13 fev. 2007.
• GARRISON, R. H. Contabilidade gerencial 9. ed. Tradução de José Luiz Paravato. Rio de Janeiro: LTC, 2001.
• HERINGER, R. R. Estratégias de descentralização e políticas públicas. In: MUNIZ, J. N.; GOMES, E. C. (Ed.). Participação social e gestão pública: as armadilhas da política de descentralização. Belo Horizonte: Segrac Ed. e Gráfica, 2002.
• LAPA, J. S.; NEIVA, C. C. Avaliação em educação: comentários sobre desempenho e qualidade. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 4, n. 12, p. 213-236, jul./set. 1996.
• MARINHO, A.; FAÇANHA, L. O. Programas sociais: efetividade, eficiência e eficácia como dimensões operacionais da avaliação. Rio de Janeiro: IPEA, 2001. (Texto para discussão, n. 787). Disponível em: <http://www.ipea.gov.br/pub/td/td_2001/td0787.pdf>. Acesso em: 24 ago. 2006.
• MELLO, J. C. et al. Uma análise da qualidade e da produtividade de programas de pós-graduação em engenharia. Ensaio: avaliação e políticas públicas em educação. Rio de Janeiro, v. 11, n. 39, p.167-179, abr./jun. 2003.
• OLIVEIRA, D. P. R. Sistemas, organização e métodos: uma abordagem gerencial. 13. ed. São Paulo: Atlas, 2002.
• PEREZ JÚNIOR, J. H.; PESTANA, A. O.; FRANCO, S. P. C. Controladoria de gestão: teoria e prática. 2. ed. São Paulo: Atlas, 1997.
• REVORÊDO, W. C. et al. Relatórios de tribunais de contas sobre dimensões deeficiência, eficácia, efetividade e resultados em entidades da administração pública: uma análise focada na percepção de auditores de contas públicas. UnB Contábil, Brasília, DF, v. 7, n. 2, p. 51-78, 2. sem. 2004.
• TRIOLA, M. F. Introdução à estatística 9. ed. Traduzido por Vera Regina Lima de Farias e Flores. Rio de Janeiro: LTC, 2005.
• VERGARA, S. Projetos e relatórios de pesquisa em administração 6. ed. São Paulo: Atlas, 2005.

Datas de Publicação

• Publicação nesta coleção
  18 Jan 2011
• Data do Fascículo
  Jun 2010

Histórico

• Recebido
  08 Out 2007
• Aceito
  21 Jul 2009