Proposta de um modelo de gestão de programas de pós-graduação na área de Administração a partir dos sistemas de avaliação do Brasil (CAPES) e dos Estados Unidos (AACSB)

Proposal of model management graduate programs in business area from the evaluation systems of Brazil (CAPES) and of the United States (AACSB)

Propuesta de un modelo de gestión de programas de posgrado en el área de Administración con base en los sistemas de evaluación de Brasil (CAPES) y Estados Unidos (AACSB)

ENSINO, PESQUISA & PRODUÇÃO ACADÊMICA

Proposta de um modelo de gestão de programas de pós-graduação na área de Administração a partir dos sistemas de avaliação do Brasil (CAPES) e dos Estados Unidos (AACSB)

Proposal of model management graduate programs in business area from the evaluation systems of Brazil (CAPES) and of the United States (AACSB)

Propuesta de un modelo de gestión de programas de posgrado en el área de Administración con base en los sistemas de evaluación de Brasil (CAPES) y Estados Unidos (AACSB)

Emerson Antonio Maccari^I; Martinho Isnard Ribeiro de Almeida^II; Edson Luiz Riccio^III; Thomas Brashear Alejandro^IV

^IDoutor em Administração pelo Departamento de Administração da Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo, com Estágio Doutoral na University of Massachusetts (Estados Unidos), é Professor e Diretor do Programa de Pós-Graduação em Administração da Universidade Nove de Julho (CEP 05001-100 - São Paulo/SP, Brasil). E-mail: [e-mail] / [e-mail]

^IIProfessor Doutor no Departamento de Administração da Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo (CEP 05508-010 - São Paulo/SP, Brasil). E-mail: [e-mail]

^IIIDoutor em Administração pela Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo, Pós-Doutor na França em Ciência da Informação e Formação em International Management pela Stanford University. Livre-Docente pela Universidade de São Paulo, é Professor Associado III no Departamento de Contabilidade da Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo Paulo (CEP 05508-010 - São Paulo/SP, Brasil), Diretor do Information Systems and Technology Management (TECSI), Editor do Journal of Information Systems and Technology Management (JISTEM), Professor Visitante na França, na Suecia e em Portugal. Email: [e-mail]

^IVPh.D. em Marketing, é Professor Associado da Isenberg School of Management da University of Massachusetts Amherst (Estado Unidos). E-mail: [e-mail]

^{Endereço para correspondência}

RESUMO

O sistema brasileiro de avaliação de programas de pós-graduação vem evoluindo desde 1976, sendo considerado eficiente e moderno. No presente trabalho, o objetivo é propor um modelo de gestão de programas de pós-graduação stricto sensu em Administração do Brasil, com base nos sistemas de avaliação do Brasil e dos Estados Unidos. Para tanto, procedeu-se a uma pesquisa em oito programas: quatro no Brasil, recomendados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e quatro nos Estados Unidos, credenciados pela Association to Advance Collegiate School of Business (AACSB). O método de pesquisa foi o estudo de casos múltiplos de caráter exploratório com dois componentes básicos: pesquisa documental, por meio de um estudo em profundidade dos sistemas de avaliação; pesquisa de campo com os coordenadores de programas para identificar como os sistemas de avaliação são utilizados para desenvolver os programas. A partir desses estudos, foi proposto um modelo de gestão em que, além de atender aos requisitos do sistema de avaliação da CAPES, seja levada em consideração a realidade do programa e os elementos importantes para seu contínuo aprimoramento, dentre eles: missão e visão; plano estratégico; corpo docente; estrutura do programa; corpo discente; resultados que abrangem produção científico-tecnológica, egresso e inserção social.

Palavras-chave: avaliação da educação, pós-graduação, avaliação de programas de pós-graduação, administração estratégica.

ABSTRACT

The Brazilian evaluation system of graduate programs has been improving since 1976 and it is considered one of the most efficient and modern in the world. The goal of this paper is to propose a management model of graduate programs in business field based on the evaluation systems of Brazil and the United States. This research was conducted in eight business school programs: four programs in Brazil that are recognized by Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Committee for Postgraduate Courses of Higher Education Students (CAPES) and four in USA programs accredited by Association to Advance Collegiate School of Business (AACSB). The research method was an exploratory multiple case study with two basic components: documentary research, through an in-depth study of evaluation systems; field research with the program coordinators to identify how the evaluation systems are used to develop the programs. The model of management proposed in this study intend not only to reach the requirements of CAPES evaluate system, but also to considerate the program reality and the key components for its improvement including: mission and the vision; strategic plan; faculty; research structure; students; and results that encloses the scientific-technological production, former students, and the program impact.

Keywords: education evaluation, graduate program, graduate program evaluate, strategic management.

RESUMEN

El sistema de evaluación de programas de posgrado se ha desarrollado mucho en Brasil desde 1976 y se considera eficiente y moderno. El objeto de este trabajo es proponer un modelo de gestión de programas de posgrado en Administración en Brasil con base en los sistemas de evaluación de Brasil y Estados Unidos. Para ello, se llevó a cabo un estudio de ocho programas, cuatro en Brasil, recomendados por la Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), y cuatro en los Estados Unidos, acreditados por la Association to Advance Collegiate School of Business (AACSB). El método de investigación fue un estudio de casos múltiples exploratorio de dos componentes básicos: investigación documental, por medio de un estudio en profundidad de los sistemas de evaluación, e investigación de campo con los coordinadores de programas, para identificar cómo los sistemas de evaluación se utilizan para desarrollar los programas. Se propone un modelo de gestión en que, además de atender a los requisitos del sistema de evaluación de CAPES, se tienen en cuenta la realidad del programa y otros elementos importantes para su continuo perfeccionamiento, tales como: misión y visión; plan estratégico; cuerpo de docentes; estructura del programa, cuerpo de estudiantes; resultados que abarcan producción científico-tecnológica, alumnos egresados e inserción social.

Palabras clave: evaluación de la educación, posgrado, evaluación de programas de posgrado, gestión estratégica.

1. INTRODUÇÃO

Nas últimas décadas, o monitoramento do desempenho de instituições de ensino superior (IES), por intermédio de sistemas de avaliação específicos, tornou-se um mecanismo importante para o desenvolvimento e o aprimoramento dos sistemas educacionais dos países. Isso é fato, principalmente, para as nações que apostam no domínio tecnológico como meio para promover o progresso e o bem-estar social. Assim, a elaboração de indicadores de desempenho e o desenvolvimento de sistemas de análise no campo da avaliação tornam-se prioritários para os países que desejam melhorar sua competitividade (El-Khawas, DePietro-Jurand & Holm-Nielsen, 1998).

A temática da avaliação das IES, apesar de ser uma tradição antiga na América do Norte, ainda é recente nos contextos latino-americano e europeu (Schwartzman, 1990). Na Europa, Schwartzman (1990) cita o surgimento do Estado Avaliador, expressão cunhada por Guy Neave (1988) e definida como uma modalidade de governo que procura substituir os tipos mais tradicionais de controle burocrático ou planejamento de atividades a priori por mecanismos de avaliação a posteriori (Dias Sobrinho, 2003). Dessa forma, o Estado Avaliador supervisiona o sistema, que possui autonomia, em vez de controlá-lo, atendo-se somente aos "produtos da avaliação" (Barreyro, 2004). Exemplo disso ocorre na França e na Holanda que, por possuírem tradição na administração burocrática centralizada nas universidades, consideram o Estado Avaliador como uma forma de descentralização que procura livrar as universidades do controle formal e burocrático do governo (Durham, 1992).

Diferentemente, o sistema de avaliação da Inglaterra - altamente descentralizado, como o dos Estados Unidos - orienta a distribuição diferenciada de recursos por meio de uma política educacional que favorece a relação com o sistema produtivo (Schwartzman, 1990). Nessa linha, encontra-se o sistema japonês, que vem evoluindo e aprimorando-se rapidamente nos últimos anos. Ele caracteriza-se pelo emprego da meritocracia das pesquisas ao utilizar, em larga escala, a prática de peer review para a avaliação e a concessão de financiamento para as pesquisas (Kneller, 2007).

A rigor, observa-se a tendência de os países adotarem e/ou aprimorarem cada vez mais os mecanismos de controle e a avaliação com critérios e objetivos inequívocos, previamente definidos. Isso é necessário para permitir melhor distribuição dos recursos em áreas que o Estado deseja desenvolver (Afonso, 2000). Corroborando Afonso (2000), Kai (2009) afirma que a avaliação está relacionada com a efetividade de as IES atingirem seus objetivos propostos. Isso é particularmente importante em uma época marcada, notadamente, tanto pela exigência de acompanhamento dos níveis educacionais de um país quanto pela necessidade de manter e criar altos padrões de inovação científica e tecnológica para enfrentar a competitividade em nível global.

Stecher e Davis (1987) e Kai (2009) afirmam que o processo de avaliação é tarefa complexa e envolve negociação entre os atores. Ocorre que, muitas vezes, os envolvidos na avaliação não compartilham das mesmas ideias e atitudes e não possuem as mesmas informações sobre os tópicos discutidos. Essa disparidade de entendimento culmina, muitas vezes, em discrepância na atribuição dos valores e dos pesos para os quesitos e itens avaliados. Nessa direção, Schwartzman (1990) e Durham (1992; 2006) discorrem sobre a necessidade de criar um processo de avaliação transparente que utilize critérios legítimos, que visem identificar problemas decorrentes da avaliação, e vislumbre as oportunidades de melhorias.

1.1. Problema

De acordo com Thayer e Whelan (1987), o dilema para realizar a avaliação é, justamente, como medir a qualidade de um programa, de um curso ou das IES de forma justa, sem tolher as iniciativas inovadoras dos avaliados. Esses autores citam vários problemas encontrados em um processo de avaliação das IES e recomendam que sua metodologia seja bem definida para não ocorrerem falhas e questionamentos sobre a validade de todo o processo. Para eles, há dois tipos genéricos de avaliação: um, com ênfase quantitativa; outro, com ênfase qualitativa. Os autores afirmam que, dependendo do modelo de avaliação utilizado, os resultados podem ser bem diferentes.

Thayer e Whelan (1987) consideram que a avaliação com ênfase quantitativa incorpora, por conceito, um viés de massificação, embora tenha a vantagem de ser econômica e de obter resultados considerados consistentes. Esse viés parte da suposição de que os avaliados possuem constituição e propósitos semelhantes e, assim, são julgados indistintamente sob os mesmos indicadores e métricas. Desse modo, o resultado pode sobrecarregar, com padrões acima de seus propósitos, os avaliados novos, pequenos e em consolidação, assim como restringir o aprimoramento de avaliados tradicionais, grandes e consolidados. Em outras palavras, ao longo do tempo, esse sistema padronizado produz avaliados parecidos. Nesse tipo de avaliação, os avaliados pequenos podem concentrar esforços somente para atender aos requisitos exigidos para obtenção e manutenção do credenciamento. Já os programas maiores, em vez de ampliar seu campo de atuação, podem limitar-se estritamente a cumprir os requisitos de avaliação que o sistema determina. Nesse contexto, o sistema de avaliação precisa permitir certa flexibilidade para poder captar as diferenças entre os programas e possibilitar que cada um se desenvolva e cumpra sua missão de forma mais efetiva.

A avaliação com ênfase qualitativa está baseada na reputação do avaliado e é uma abordagem mais flexível que a quantitativa. Essa modalidade utiliza a análise subjetiva e parte do pressuposto de que o avaliado tenha a qualidade ou a excelência exigida. Isso requer que a análise seja feita com base em instrumentos confiáveis, para evitar a armadilha da excelência presumida, o que exige um constante aprimoramento do instrumento de avaliação por parte do avaliador e do avaliado (Morgan, Meier, Kearney, Hays & Birch, 1981).

O dilema da avaliação (quantitativa e/ou qualitativa) é especialmente percebido no sistema de avaliação da pós-graduação do Brasil. Enquanto uma ala dos pesquisadores defende que o sistema deva privilegiar os quesitos da avaliação quantitativa, com pouca margem para a interpretação subjetiva, outra sustenta que o sistema deva ser flexibilizado para permitir uma avaliação mais ajustada à realidade e à missão de cada programa.

A partir dessa problemática, foi formulada a seguinte pergunta de pesquisa: Como aprimorar a gestão dos programas de pós-graduação em Administração do Brasil com base na experiência de programas avaliados no Brasil e nos Estados Unidos? Para respondê-la, o seguinte objetivo foi estabelecido: propor um modelo de gestão dos programas de pós-graduação em Administração com base no sistema de avaliação brasileiro da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e no sistema de acreditação norte-americano da Association to Advance Collegiate School of Business (AACSB).

2. SISTEMA DE AVALIAÇÃO DA PÓS-GRADUAÇÃO BRASILEIRA

O sistema brasileiro de avaliação da pós-graduação stricto sensu vem sendo desenvolvido e aprimorado pela CAPES desde 1976. Um marco importante em sua evolução ocorreu no final da década de 1990, quando houve sua informatização e a adoção de critérios mais rígidos para atribuição de notas aos programas. Desde então, o sistema vem mantendo-se estável, com avanços incrementais em seus quesitos e itens de avaliação.

Uma peculariedade do sistema é seu caráter quantitativo, haja vista que aproximadamente 80% dos itens da avaliação são quantificados e os 20% restantes, de caráter qualititativo, também podem ser quantificados. Essa exigência quantitativa do sistema ocorre devido ao fato de o Estado utilizá-lo como ferramenta para subsidiar sua política de financiamento e de expansão da pós-graduação. Adicionalmente, o Estado, por meio da CAPES, utiliza o sistema de avaliação para classificar os programas em uma escala que varia de 1 a 7 (Maccari, 2008).

Os programas novos que alcançam nota mínima, igual ou superior a 3, são autorizados ou credenciados para funcionamento; aqueles que obtêm nota inferior a 3 não são autorizados. Já os programas em funcionamento que não alcançam a nota mínima na avaliação trienal ficam impedidos de abrir nova seleção de alunos até que a nota 3 seja atingida. Contudo, aos alunos que compõem o corpo discente desses programas é assegurado o direito de concluir o curso e obter o título em outro programa devidamente credenciado no sistema da CAPES.

Nesse contexto, os adeptos da avaliação quantitativa da CAPES salientam que o uso de critérios que privilegiem a quantificação dos itens permite a aplicação de uma mesma regra para todos os programas em todas as áreas, o que possibilita fazer comparações entre os programas de uma mesma área ou até entre as áreas. Isso deixa pouco espaço para subjetividade, comumente encontrada em avaliação qualitativa baseada na reputação do avaliado. No limite, a recíproca é verdadeira, pois os partidários da avaliação qualitativa acreditam que o sistema de avaliação da CAPES possua pouco espaço para inovações, o que, em última análise, prejudica o desenvolvimento desse sistema e, consequentemente, dos próprios avaliados.

Discussões à parte, é fato que a CAPES possui um sistema de avaliação moderno e eficiente. Nesse sentido, Gazzola (2008), em artigo para a Sociedade Brasileira para o Progresso da Ciência (SBPC), afirma que na América Latina, no Caribe e até no restante do mundo, é difícil encontrar um sistema de avaliação comparável ao adotado no Brasil. Esse autor compara o sistema de pós-graduação do Brasil com o do México e observa que ambos possuem basicamente o mesmo número de IES: porém, no Brasil, são formados aproximadamente dez mil doutores por ano, enquanto no México esse número não ultrapassa cinco mil. Gazzola (2008) atribui essa diferença à maior eficiência indutiva do sistema de avaliação da CAPES. Schwartzman (2010) afirma que a pós-graduação brasileira atingiu um tamanho considerável, aproximando-se, em termos absolutos, de países de grande porte econômico. Adicionalmente, o número de publicações científicas de autores brasileiros vem aumentando de forma considerável.

2.1. Parâmetros do sistema de avaliação brasileiro - CAPES

Até o mês de maio de 2014 existiam 145 programas de pós--graduação credenciados pela CAPES na área de Administração, Ciências Contábeis e Turismo. São 190 cursos: 86 de mestrado, 47 de doutorado, e 57 de mestrado profissional (CAPES, 2014).

De acordo com Maccari (2008), o sistema de avaliação da pós-graduação brasileira é o mesmo para todas as áreas. No entanto, os comitês de avaliação têm autonomia para mudar o peso dos quesitos em 5% para mais ou para menos. Quanto aos pesos dos itens internos a cada quesito, cada área é livre para mudá-los ou até mesmo suprimi-los se eles não se aplicarem às necessidades da área em questão. Os quesitos de avaliação são: proposta do programa; corpo docente; corpo discente; produção intelectual; e inserção social. Os itens e os valores que compõem cada quesito do sistema de avaliação da CAPES estão apresentados na Figura 1.

Na Figura 1, observa-se que a Proposta do Programa é avaliada de forma qualitativa, ou seja, não possui peso na avaliação, sendo classificada como "Adequada" ou "Inadequada". Contudo, a proposta é um quesito essencial na avaliação, pois é nela que os programas descrevem: seu desenvolvimento ao longo dos anos; o planejamento e as perspectivas futuras; as inovações nas atividades de ensino, pesquisa e extensão; e como estão realizando as atividades de solidariedade e nucleação de outros programas. Adicionalmente, são descritas as informações do quesito Insersão Social, que equivale a 10% da avaliação global. A avaliação desse quesito, também qualitativa, é um dos principais requisitos para que os programas alcancem as notas 5, 6 e 7 no ranking da CAPES.

Destaca-se que existe uma contradição na Figura 1, no Quesito Produção Intelectual item 4.3 Produção técnica/tecnológica. No "Documento de Área" (CAPES, 2013a) é mencionado que a avaliação é qualitativa e no documento "Relatório da Avaliação Trienal" (CAPES, 2013b) são indicados 10 produtos e o percentual de professores do corpo docente permanente que precisam atingir esse número para o item ser classificado como Muito bom, Bom, Regular, Fraco ou Deficiente.

Observa-se ainda que os demais quesitos de avaliação são de caráter quantitativo, o que facilita a comparação entre os programas. Fica evidente que, ao estabelecer os indicadores e as métricas, o sistema de avaliação da CAPES sinaliza para os programas os valores que devem ser obtidos em cada um dos itens para cada nível de nota. Na Figura 2 ilustram-se, de forma resumida, essas exigências.

Para a obtenção das notas 6 e 7, os programas precisam cumprir, além dos requisitos da nota 5, as seguintes exigências (CAPES, 2011):

• terem titulado doutores nos últimos cinco anos;

• participarem em convênios internacionais com resultados evidenciados;

• possuírem professores visitantes de universidades estrangeiras reputadas;

• ofertarem intercâmbio de alunos em ambos os sentidos;

• organizarem eventos internacionais;

• terem participação dos docentes em comitês e diretorias de associações científicas internacionais;

• ofertarem mestrado e doutorado interinstitucionais, especialmente em regiões prioritárias.

3. SISTEMA DE AVALIAÇÃO E CREDENCIAMENTO DAS ESCOLAS DE ADMINISTRAÇÃO NOS ESTADOS UNIDOS

De acordo com Larry (2002), nos Estados Unidos o processo de credenciamento de escolas e programas de pós-graduação é realizado por organizações não governamentais, por meio de um processo de peer review. Essas organizações efetuam periodicamente a avaliação com o intuito de orientar seus avaliados a cumprirem os requisitos mínimos de qualidade, sendo um processo de avaliação com características mais qualitativas.

Uma instituição que é referência no cenário norte-americano é a Association to Advance Collegiate Schools of Business (AACSB), entidade sem fins lucrativos que congrega instituições educacionais e outras dedicadas à promoção e ao desenvolvimento da educação superior na área de Administração e Negócios.

Fundada em 1916, a AACSB foi concebida com o objetivo de assegurar o padrão de qualidade para as escolas de negócios dos Estados Unidos. O processo de avaliação e credenciamento propriamente dito começou a ser realizado em 1919, com a adoção dos primeiros padrões de qualidade. Somente em 1980 foram adicionados ao sistema de avaliação os critérios de qualidade para a área de Ciências Contábeis. Em 1991, foi introduzida a avaliação por pares (peer review), o que proporcionou maior credibilidade a todo o processo de avaliação (AACSB, 2012a).

No ano de 2003, o sistema de avaliação da AACSB foi novamente revisado com o propósito de ampliar sua atuação e sua avaliação em nível global. Dessa feita, foram consideradas as novas demandas e tendências das escolas de negócio em todo o mundo. Essa evolução do sistema de avaliação proporcionou à AACSB liderança mundial na área de acreditação das escolas de negócio. Isso fica evidente ao se observarem os números da AACSB, que, em abril de 2012, contava com 648 instituições credenciadas em 43 países. Das instituições credenciadas, 42 possuíam apenas cursos de graduação (6%); 30 possuíam somente programas de mestrado e doutorado (4%); e 117 (28%) possuíam também o credenciamento dos cursos e programas da área de Ciências Contábeis (AACSB, 2012b).

4. METODOLOGIA

A pesquisa aqui relatada teve caráter qualitativo exploratório com dois componentes básicos: o primeiro, um levantamento documental por meio de um estudo em profundidade dos sistemas de avaliação utilizados pela CAPES e pela AACSB; o segundo, uma pesquisa de campo em múltiplos casos, na qual se buscaram informações sobre o uso dos sistemas de avaliação pelos programas de pós-graduação stricto sensu em Administração no Brasil e nos Estados Unidos. Com base nesses estudos, foi possível propor um modelo de gestão da pós-graduação em Administração.

A escolha da metodologia de estudo de casos múltiplos seguiu a lógica de Gilgun (1994), Ghauri e Gronhaug (2002) e Yin (2003). Esses autores afirmam que, quando se deseja conhecer melhor um fenômeno que afeta um indivíduo, um grupo ou uma organização, é recomendável empregar o estudo de casos múltiplos (CM). Nesses termos, com a escolha dessa metodologia para a presente pesquisa visa-se elaborar um estudo mais robusto e com possibilidade de generalização analítica (Yin, 2003).

Para Yin (2003), utilizar casos múltiplos possui vantagens e desvantagens em comparação a um caso único. As evidências nesse tipo de metodologia apontam para resultados mais sólidos (Herriott & Firestone, 1983). Por outro lado, a racionalidade obtida em um caso único ou raro não pode ser satisfeita no caso dos CM. Ademais, o estudo de casos múltiplos requer mais tempo e recursos para sua execução.

Considerando-se as vantagens e as limitações dos CM, os programas foram selecionados cuidadosamente no sentido de prever resultados que pudessem ser replicados de forma literal como sugerido por Yin (2003). Para isso, foram escolhidos casos com características parecidas e um instrumento semelhante de coleta de dados, com alguns ajustes necessários para atender aos dois sistemas de avaliação que estavam sendo estudados.

As pesquisas foram realizadas com os coordenadores de oito programas: quatro no Brasil, avaliados e recomendados pela CAPES, e quatro nos Estados Unidos, avaliados e credenciados pela AACSB. Optou-se por estudar o sistema norte-americano devido à experiência daquele país em avaliação. No presente trabalho, o sistema da AACSB será considerado como complementar ao da CAPES. Cabe destacar que, embora não haja compatibilidade absoluta entre os dois sistemas, identificaram-se as potencialidades de ambos no sentido de contribuir para a concepção do modelo de gestão. Já o instrumento de coleta de dados foi um questionário semiestruturado ajustado à medida que os dados eram coletados, de acordo com a recomendação de Eisenhardt (1989).

4.1. Definição dos sujeitos sociais da pesquisa

Conforme Eisenhardt (1989), a escolha dos casos é um aspecto muito importante porque define as características do desenho da pesquisa. A escolha apropriada da população a ser pesquisada possibilita controlar as variações externas e definir os limites para a generalização dos resultados. Nessa perspectiva, como este é um estudo multicaso, os casos foram escolhidos intencionalmente, com base nas contribuições que poderiam fornecer ao estudo. Assim, nas pesquisas realizadas nos Estados Unidos e no Brasil, foram selecionados dois conjuntos de programas de pós-graduação que atendessem a duas características distintas: o primeiro grupo foi formado por programas que possuíam mais experiência no processo de avaliação e que poderiam enriquecer o resultado da pesquisa com essa experiência; o segundo grupo foi composto por programas mais jovens que estavam há menos tempo sendo avaliados e, por isso, poderiam contribuir com a pesquisa por representarem os programas em processo de amadurecimento no quesito avaliação.

Assim, foram escolhidos quatro programas de pós-graduação strico sensu em Administração dos Estados Unidos. Dois deles são programas de universidades públicas com tradição em pesquisa, que fazem parte do processo de credenciamento e avaliação da AACSB há mais tempo. Os outros dois programas são: um de uma instituição pública e um de uma instituição privada, e estão há menos tempo sendo avaliados. Na Figura 3 ilustram-se os programas de pós-graduação estudados nos Estados Unidos.

O sistema de avaliação da AACSB não atribui um conceito de avaliação para os cursos, apenas seu credenciamento.

No caso do Brasil, foi seguido o mesmo critério de escolha, sendo selecionados quatro programas. Dois deles são de universidades públicas - Universidade de São Paulo (USP) e Universidade Federal do Rio Grande do Sul (UFRGS) -, que possuem tradição na pós-graduação, sendo avaliados há mais de duas décadas e com conceito máximo (7) no sistema de avaliação da CAPES. Os outros dois programas representam uma universidade pública - Universidade Regional de Blumenau (FURB) - e uma universidade privada - Universidade Nove de Julho (Uninove). Esses programas fazem parte do sistema de avaliação da CAPES há menos tempo, porém com bons conceitos de avaliação. Na Figura 4 ilustram-se os programas selecionados no Brasil.

4.2. Construto da pesquisa

O construto da pesquisa foi elaborado e estruturado para responder ao objetivo do estudo. Optou-se pela representação em forma de quadro, o que permite visualizar tanto os resultados pretendidos quanto a forma de obtê-los, considerando-se as variáveis e as questões da pesquisa. Na Figura 5 descrevem-se o construto e as questões utilizadas nos Estados Unidos e no Brasil.

Na Figura 5, na coluna Estados Unidos, foi utilizada a palavra não para as questões feitas apenas aos coordenadores dos programas no Brasil. Isso ocorreu porque algumas questões não se aplicavam à realidade de avaliação nos Estados Unidos.

4.3. Como os casos foram analisados

De acordo com Miles e Huberman (1994), a análise de dados qualitativos em um estudo de casos múltiplos requer técnicas que facilitem compreender, sintetizar e sumarizar os resultados. Para que isso seja possível, os autores afirmam ser fundamental que o instrumento de coleta seja o mesmo, isto é, as questões, os códigos de dados, as variáveis e a apresentação dos resultados devem ser comuns para possibilitar comparações. A partir desse entendimento, Miles e Huberman (1994) sugerem a criação de uma metamatriz que possibilite sintetizar e agrupar os dados em clusters. Na Figura 6, é apresentada a lógica da análise dos casos.

Procurou-se analisar os casos de forma agrupada por país, utilizando a complementaridade das respostas dadas pelos coordenadores nos Estados Unidos e no Brasil. Essa estratégia possibilitou um entendimento de forma mais aprofundada e equilibrada de como esses coordenadores estão gerindo seus programas para atender às demandas dos sistemas de avaliação de seus respectivos países. A partir disso, foi possível propor o Modelo de Gestão da Pós-Graduação.

4.4. Limitações da pesquisa

Conforme Creswell (2003), descrever as limitações da pesquisa remete à especificação e à circunscrição do estudo em questão. Nesses termos, os principais modos de limitação são: o método escolhido, a forma como os dados foram coletados e a análise dos casos. Assim, os resultados desta pesquisa e a replicação do modelo proposto limitam-se aos programas da área de Administração, Ciências Contábeis e Turismo, não podendo ser generalizados para todas as áreas de avaliação da CAPES.

5. PROPOSTA DO MODELO DE GESTÃO DE PROGRAMAS DE PÓS-GRADUAÇÃO

O sistema de avaliação da CAPES vem contribuindo para melhorar a qualidade dos programas de pós-graduação em Administração no Brasil. Nesse sentido, a análise das respostas dos coordenadores entrevistados nos Estados Unidos e no Brasil indica que os programas podem ter sua gestão aperfeiçoada se aproveitarem de forma plena e estruturada os requisitos de avaliação do sistema. Adicionalmente, se o Modelo de Gestão de Programas de Pós-Graduação na área de Administração, Ciências Contábeis e Turismo levasse em consideração alguns elementos (especificamente missão, plano estratégico e stakeholders) do sistema de avaliação da AACSB, isso ampliaria as possibilidades de desenvolvimento e aprimoramento dos programas brasileiros. Na Figura 7 apresenta-se o Modelo de Gestão de Programas de Pós-Graduação proposto neste artigo.

Na Figura 7, ilustra-se uma forma de organização da estrutura de pesquisa e atuação do programa. Salienta-se que a ordem de apresentação não precisa ser seguida rigidamente, mas é importante que o fluxo das informações tenha uma sequência lógica para a interpretação do modelo. Ademais, embora se saiba que a missão e a visão fazem parte do plano estratégico, por questões didáticas e de representação optou-se por apresentá-las como elementos separados. Na sequência, detalham-se os elementos do modelo de gestão proposto.

5.1. Missão e visão

A Missão é uma exigência do sistema de avaliação da AACSB. Embora ela não seja um elemento exigido pelo sistema de avaliação da CAPES, que requer no quesito de avaliação da Proposta do Programa que ele indique qual o seu objetivo, no modelo aqui proposto ela é um item essencial. Entende-se que a Missão é a razão de ser de um programa e deve ser de caráter mais permanente. Nesse sentido, o programa deverá incluí-la em seu plano de desenvolvimento. É fundamental que os stakeholders, que influenciam e são influenciados pelo programa, participem da definição e da atualização da Missão. Já o elemento Visão foi adicionado ao modelo por ter sido sugerido pelos coordenadores dos programas no Brasil. A Visão sinaliza um desejo futuro, no caso o que o programa imagina ser dentro de determinado período de tempo. Por ser mais dinâmica e mudar conforme as alterações do ambiente, em geral a Visão é elaborada após a definição da Missão, que é mais estática. No entanto, nada impede que tal regra seja mudada. Pode ocorrer que se tenha uma Visão e, a partir dela, seja criada a Missão. Isso é comum na implantação de novos programas.

No modelo proposto, na leitura de cima para baixo da Figura 7, a Visão aparece por último. Essa disposição dos elementos foi proposital, por imaginar-se que os programas estão realizando suas ações com o objetivo de cumprir sua Missão e atingir a sua Visão.

5.2. Plano estratégico

O Plano Estratégico é item obrigatório no sistema de avaliação da AACSB. Sua utilidade foi realçada pelos coordenadores dos programas nos Estados Unidos, pois serve como uma ferramenta de acompanhamento e de desenvolvimento dos programas. Salienta-se que o Plano é o resultado do planejamento estratégico. Embora esse item não seja exigido pelo sistema de avaliação da CAPES, que requer, no quesito Proposta, que os programas especifiquem qual foi a sua evolução e quais são as tendências para seu desenvolvimento, ficou evidente a sua importância nas entrevistas com os coordenadores dos programas no Brasil. Apesar de esses programas não possuírem um planejamento estratégico formal, todos os coordenadores afirmaram pautar-se pelo sistema de avaliação da CAPES, que passou a ser o grande direcionador estratégico.

No modelo proposto, acredita-se ser válido que os programas definam seus Planos Estratégicos, levando em conta a Missão, a Visão e as Necessidades dos Stakeholders. Ademais, o plano ajuda a formalizar os objetivos, definir responsáveis e especificar as ações a serem desenvolvidas. Sugere-se, também, a elaboração de planos individuais para professores e alunos, nos quais precisam ser definidas as atividades de ensino, pesquisa e extensão, bem como as metas para publicação científica e tecnológica. Dessa forma, obtém-se um alinhamento dos planos individuais com o plano estratégico do programa.

5.3. Corpo docente

A partir das pesquisas nos programas de pós-graduação nos Estados Unidos e no Brasil, verificou-se que o principal elemento do sistema de avaliação é o Corpo Docente. A partir dessa constatação, no modelo proposto o Corpo Docente ficou no centro da estrutura.

No sistema de avaliação da CAPES, apesar de representar o peso individual de 20%, o quesito Corpo Docente influencia direta ou indiretamente todos os demais índices do sistema de avaliação.

Nesse contexto, nas pesquisas tornou-se evidente que a preocupação do programa deve recair sobre a qualificação, o aperfeiçoamento e as condições de trabalho do corpo docente. A melhoria nos critérios de produção intelectual, formação do aluno e inserção social torna-se consequência da boa atuação do corpo docente.

5.4. Estrutura do programa

No sistema de avaliação da CAPES, a organização da pesquisa de um programa ocorre por área de concentração, estrutura curricular, linhas de pesquisa, projetos de pesquisa e corpo docente. Nesse sentido, os coordenadores dos programas no Brasil foram unânimes em afirmar que o resultado da avaliação - a formação do aluno e a produção intelectual - depende da estruturação e da organicidade desses itens. Assim, no modelo proposto, utilizou-se a nomenclatura de Estrutura do Programa para organizar os itens (área de concentração, estrutura curricular, linhas de pesquisa e corpo docente), de forma a permitir um alinhamento dos resultados do programa, que são a produção científica e tecnológica e a titulação dos alunos (dissertações e teses).

Na organização desses itens no modelo, seguiu-se a lógica de estruturação do sistema de avaliação da CAPES. Assim, ela aparece como se fosse um funil, que parte do elemento mais abrangente - a área de concentração - até chegar ao corpo docente.

A seguir, são descritos os itens que compõem a Estrutura do Programa, seguindo a estrutura do sistema de avaliação da CAPES e do Documento da área de Administração, Ciências Contábeis e Turismo (CAPES, 2013a).

5.4.1. Área de concentração

No sistema de avaliação da CAPES, a área de Concentração integra o quesito Proposta do Programa como um item qualitativo. Segundo a CAPES (2013a, p. 31), "a(s) área(s) de concentração visa(m) apontar, de maneira clara, a área do conhecimento do programa, os contornos gerais de sua especialidade na produção intelectual e na formação de seus mestres ou doutores". A área de concentração deve ser o recorte da grande área de conhecimento na qual o programa está inserido.

No sistema de avaliação da AACSB, não há terminologia para área de concentração, linhas de pesquisa. Lá, os programas precisam cumprir sua missão e atender às demandas dos stakeholders.

5.4.2. Linhas de pesquisa

Na CAPES, as linhas de pesquisa "devem expressar a especificidade de produção de conhecimento da respectiva área de concentração, devem representar um recorte específico e bem delimitado da área de concentração" (CAPES, 2013a, p. 31).

Nesse sentido, o programa precisa ter Linhas de Pesquisa bem definidas, as quais representem a competência de pesquisa instalada e que permitam definir o núcleo temático que direciona o desenvolvimento sistemático de trabalhos. Dessa maneira, as linhas devem expressar a especificidade da produção de conhecimento. Salienta-se que, de acordo com o documento da área disponível em CAPES (2013a), o programa precisa ter um mínimo de quatro docentes permanentes ligados a cada linha de pesquisa. Destaca-se que um curso de Mestrado deverá possuir um mínimo de 8 docentes permanentes, enquanto um de Doutorado deverá possuir um mínimo de 12 docentes permanentes. Em termos práticos, se um programa possui apenas oito docentes, com produções coerentes com as linhas de pesquisa e área de concentração, sugere-se sua organização em duas linhas de pesquisa.

5.4.3. Estrutura curricular

Segundo a CAPES (2013a, p.10), a "estrutura curricular deve apresentar um núcleo de disciplinas ou seminários de tratamento metodológico relacionado à(s) área(s) de concentração além de um de disciplinas ou seminários com conteúdos relacionados às linhas linhas de pesquisa".

Na pesquisa ocorrida nos programas de pós-graduação do Brasil, percebeu-se a preocupação dos coordenadores em proporcionar um conjunto de disciplinas que permite representar a área de concentração e as linhas de pesquisa do programa.

Nesses termos, no modelo proposto, sugere-se que o programa defina um conjunto de disciplinas (obrigatórias e eletivas) que permita a sustentação das linhas de pesquisa e da área de concentração, de modo a propiciar que o programa cumpra seus objetivos de pesquisa, de formação dos alunos e de atendimento aos stakeholders.

5.4.4. Projeto de pesquisa

Para a CAPES (2002), o Projeto de Pesquisa deve ser formulado de maneira que se possa compreender claramente o objeto de investigação, os objetivos, o método de pesquisa, os resultados esperados. Adicionalmente, os projetos de pesquisa devem ser coerentes com a especialização dos docentes, com as linhas de pesquisa do programa, com sua(s) área(s) de concentração e com o tipo de formação pretendida.

O documento de área (CAPES, 2006) alerta para que os projetos guardem coerência com as linhas de pesquisa do programa, bem como o número de projetos por docente, que não deve ser superior a dois.

A partir dessas exposições, no modelo proposto, para representar a linha de pesquisa do professor, definiu-se o termo projeto-eixo de pesquisa, que possui a característica de ser construído ao longo da vida do docente, assumindo um caráter mais permanente. Essa forma de organizar as pesquisas facilita a vinculação e o alinhamento da produção intelectual do docente às dissertações e às teses por ele orientadas. Em outras palavras, passa-se a alinhar, de modo natural, o tema de pesquisa do aluno ao projeto-eixo do professor e não o contrário. Nesse sentido, os projetos-eixo devem ser distribuídos de maneira equilibrada entre os docentes e as linhas de pesquisa do programa. Esse modelo de estrutura de organização das pesquisas foi encontrado em dois dos quatro programas de pós-graduação no Brasil.

5.5. Corpo discente

Na pesquisa realizada com os coordenadores no Brasil e nos Estados Unidos, ficou evidente a importância dos discentes no processo de avaliação dos programas. Para tanto, o programa precisa ter regras bem definidas para o ingresso de alunos. No sistema de avaliação da AACSB, o item seleção de alunos deve ser informado pelos programas de maneira explícita, principalmente no que se refere às políticas para a seleção de alunos nos cursos oferecidos e se essa seleção está consistente com a missão do programa (AACSB, 2012c).

Sabe-se que o desenvolvimento das pesquisas em um programa e o sucesso na orientação de alunos dependem de um processo seletivo que permita a entrada de candidatos com a qualificação e o perfil desejados. Essa seleção adequada facilita a adaptação do aluno à estrutura de pesquisa do programa, o que possibilitará ao programa alcançar melhores resultados.

Nesse cenário, observou-se que uma das alternativas adotadas pelos programas no Brasil foi a seleção de alunos por linha de pesquisa e, dentro delas, pela capacidade de orientação do docente. Assim, o estudante entra no programa ligado a um professor, o que favorece o alinhamento de seu plano de pesquisa (dissertação ou tese) ao projeto de pesquisa (projeto-eixo) do docente.

No modelo proposto, ao interpretar a interação do corpo discente com os demais elementos do sistema de avaliação, observa-se que o aluno entra no programa, passa por sua estrutura e sai por meio da titulação. No ano seguinte, esse aluno formado retorna ao sistema na condição de Egresso. Dessa maneira, o modelo permite o acompanhamento e a evolução profissional de seus ex-alunos. Esse fato faz com que o programa possa comprovar de forma mais efetiva sua Inserção Social.

5.6. Resultados (item do modelo proposto)

A partir dos estudos realizados nos sistemas de avaliação da CAPES e da AACSB, e das pesquisas com os coordenadores dos programas no Brasil e nos Estados Unidos, perceberam-se oportunidades de melhorias na abrangência dos resultados alcançados e apresentados pelos programas.

No modelo proposto, os programas devem ver os resultados de forma mais ampla, considerando não somente os aspectos quantitativos (número de titulados e produção científica e tecnológica), mas também os qualitativos. Desse modo, ao mesmo tempo em que os programas cumprem as demandas do sistema de avaliação, podem ampliar suas contribuições no contexto em que atuam. Como consequência, eles poderão atender às necessidades regionais e nacionais na formação de recursos humanos de alto nível e colaborar com a produção de conhecimento científico e tecnológico, o que permitirá aos programas cumprirem suas respectivas missões.

A partir disso, propõe-se que os programas realizem a medição, a avaliação e o acompanhamento dos resultados em três elementos: produção científica e tecnológica; egressos; e inserção social. Melhor acompanhamento desses resultados proporcionará aos programas melhores indicadores para a obtenção de recursos públicos e privados, criando um círculo virtuoso entre os envolvidos diretamente no programa (alunos, professores, funcionários e estrutura para a pesquisa), e propiciará o atendimento das necessidades dos diversos stakeholders do programa.

5.6.1. Produção científica e tecnológica

A produção científica, tanto no sistema de avaliação da CAPES quanto no da AACSB, tem como característica ser avaliada de forma mais quantitativa, sendo utilizada como um dos principais indicadores para aferir a qualidade de um programa. A produção científica mais usual é aquela proveniente de artigos publicados em periódicos, livros, capítulos, coletâneas em livros e trabalhos completos em congressos.

No Brasil, as áreas de avaliação da CAPES estão fazendo um esforço para avaliar as produções tecnológicas, inclusive com a construção de indicadores que permitam atribuir pontuações para cada tipo de produção. Para a área de Administração, Ciências Contábeis e Turismo, os tipos de produções tecnológicas mais comuns são: desenvolvimento de tecnologias, patentes, software, protótipos, processos, metodologias, consultorias, pareceres técnicos e científicos, relatórios técnicos, entre outros.

No modelo proposto, recomenda-se que os programas elaborem, para seus docentes, um plano de atividades que contemple as metas de produção científica e tecnológica, de formação discente e de atuação docente fora do âmbito do programa ao longo do triênio de avaliação. Esse plano é essencial para que os programas acompanhem, sistematicamente, a evolução das atividades planejadas e realizadas por seus professores. Afinal, a avaliação do programa pela CAPES não pode ser uma surpresa, mas uma constatação do trabalho que vem sendo realizado ao longo do triênio de avaliação.

Adicionalmente, faz-se necessária a disponibilização de uma estrutura de apoio às atividades desenvolvidas pelos docentes. Essa estrutura deverá conter: tradução de artigos para língua estrangeira, revisão de português, tratamento estatístico, suporte para elaboração de projetos de pesquisa, entre outros. Finalmente, é necessário manter uma equipe de apoio interna para auxiliar o programa a cumprir o plano de desenvolvimento traçado. Essa equipe deverá também orientar os professores: no preenchimento de seus currículos (Plataforma Lattes); na manutenção do cadastro discente; no Sistema de Coleta de Dados da CAPES, e no acompanhamento dos egressos. Essa sistemática melhorará a qualidade das informações relatadas à CAPES, o que trará reflexos positivos na avaliação do programa.

5.6.2. Egressos

No Brasil, no sistema de avaliação da CAPES, o acompanhamento dos egressos passou a ser considerado mais fortemente na avaliação dos mestrados profissionais. Essa necessidade tornou-se realidade no final de 2011, por meio do Relatório de reunião com os Coordenadores de Programas de Pós-Graduação em Administração, Ciências Contábeis e Turismo (CAPES, 2011, p. 3-4) que indicou a importância de avaliar e acompanhar os egressos nos seguintes itens:

• qualidade dos trabalhos de conclusão e produção científica, técnica e artística dos discentes egressos;

• impacto dos trabalhos de conclusão e da atuação profissional do egresso;

• percepção dos impactos pelos egressos e/ou organizações/instituições beneficiadas.

Maccari (2008) afirma que o acompanhamento do egresso é algo essencial em um programa de pós-graduação, pois permite o entendimento de forma mais precisa da contribuição do programa ao desenvolvimento das carreiras de seus alunos, possibilitando que os programas adequem suas estruturas para serem mais efetivos na formação de seus discentes.

Para a avaliação desse item foi sugerida a realização de pesquisas de acompanhamento dos egressos, em pelo menos três anos após sua titulação.

Adicionalmente, o Comunicado n. 003/2012 - Área de Administração, Ciências Contábeis e Turismo - Orientações para Novos APCNs 2012 (CAPES, 2012, p. 2-3) indica que um aspecto central na avaliação da proposta de um programa será a análise da relevância local, regional ou temática da proposta e do perfil de egresso pretendido.

Essa tendência de acompanhar e avaliar o desenvolvimento do egresso vem ao encontro do que é exigido pelo sistema de avaliação da AACSB, que possui um indicador que mede como as atividades realizadas pelos programas estão atendendo aos interesses dos stakeholders, dentre eles os egressos. Os programas norte-americanos incentivam a criação e a manutenção de associações de ex-alunos (Alumni), pois desejam que os egressos participem ativamente do desenvolvimento do programa. Com esse envolvimento dos egressos, os programas conseguem identificar sua contribuição efetiva no desenvolvimento profissional do aluno formado por eles. Outro ponto importante é que o egresso traz para o programa as demandas do mercado de trabalho; assim, o programa consegue ajustar-se mais rapidamente a elas, tornando-se mais efetivo.

No modelo proposto, o egresso deve ser considerado como um elemento fundamental na atividade do programa, pois é um disseminador de conhecimento capaz de modificar o entorno e de contribuir para o desenvolvimento do País. Nesse sentido, sugere-se que os programas façam coleta sistemática das informações de seus ex-alunos, criando associações, promovendo encontros anuais e incentivando sua participação efetiva. Ademais, os dados sobre os ex-alunos, quando relatados no sistema de avaliação da CAPES, realçam a atuação do programa e a sua inserção social.

5.6.3. Inserção social

O critério Inserção Social é relativamente novo no sistema de avaliação da CAPES. Ele apareceu de forma explícita no triênio de avaliação 2004-2006, com 10% do peso total. Por ser a inserção social um quesito recente, as áreas ainda estão desenvolvendo indicadores quantitativos e qualitativos para melhor medi-lo.

Assim, no modelo proposto, algumas iniciativas são sugeridas para aumentar a inserção social do programa, dentre elas: desenvolver parcerias com outros programas para a oferta de cursos interinstitucionais, como mestrados (Minter) ou doutorados (Dinter); realizar pesquisas em conjunto com programas nacionais e internacionais; formar parcerias com organizações públicas e privadas visando atender a demandas específicas; sistematizar as atividades para a transferência de conhecimentos e tecnologias para a sociedade; acompanhar, medir e avaliar sua atuação de forma sistemática e divulgar os resultados para a sociedade.

6. CONSIDERAÇÕES FINAIS

O processo de avaliação da educação não é um fenômeno unicamente brasileiro, ele vem sendo adotado por vários países com a participação do Estado em maior ou menor monta. O interesse dos governos pela avaliação intensificou-se a partir de 1980, sendo cunhada a expressão "Estado Avaliador" que traduz o estilo competitivo de governos que importam modelos de gestão privada para o domínio público, ou seja, seguem a lógica de mercado, com foco nos resultados (Schwartzman, 1990; Afonso, 2000). Nessa lógica, o processo de avaliação adotou uma nova dinâmica, pois passou a reunir informações para que o Estado tenha subsídios para orientar os financiamentos, canalizar as pressões sociais por acesso ao ensino de qualidade e, assim, atender às demandas do setor produtivo (Schwartzman, 1990; Durham, 1992).

No entanto, o processo de avaliação de instituições de ensino superior e de programas, em geral, apresenta alguns problemas que devem ser superados. Thayer e Whelan (1987) recomendam a utilização de uma metodologia bem definida, que seja reconhecida e aceita pelos avaliados, para não colocar a credibilidade do processo em xeque. Para esses autores, há dois tipos genéricos de avaliação: um com ênfase quantitativa e outro com ênfase qualitativa na reputação do avaliado. Sendo assim, dependendo do modelo utilizado, os resultados da avaliação podem ser bem distintos.

É nesse contexto que os sistemas de avaliação no Brasil e nos Estados Unidos se inserem. O brasileiro é focado nos resultados, apresentando critérios e indicadores em sua expressiva maioria quantitativos, com ênfase no produto, enquanto o norte-americano é centrado nos processos de ensino e aprendizagem, com quesitos e indicadores de caráter mais qualitativo, no sentido de orientar os programas a alcançarem suas missões, sendo sua ênfase no processo.

Assim, ao se estudarem os sistemas de avaliação no Brasil e nos Estados Unidos e a pesquisa com os coordenadores dos oito programas investigados, verificou-se que existem espaços para melhorar o processo de gestão dos programas no Brasil. Essas possibilidades de melhoria foram sistematizadas em um modelo de gestão de programas de pós-graduação que sugere a atenção dos programas aos seguintes elementos: missão e visão; plano estratégico; corpo docente; estrutura do programa; corpo discente; resultados, que englobam produção científica e tecnológica, egressos e inserção social.

O modelo proposto tem a finalidade de permitir aos programas não apenas atender aos critérios de avaliação da CAPES, mas, também, principalmente, ampliar sua atuação com uma efetiva contribuição à sociedade brasileira.

Recebido em 10/setembro/2012

Aprovado em 12/outubro/2013

Sistema de Avaliação: Double Blind Review

Editor Científico: Nicolau Reinhard

• Afonso, A. J. (2000). Avaliação educacional - regulação e emancipação: para uma sociologia das políticas avaliativas contemporâneas São Paulo: Cortez.
• Association to Advance Collegiate School of Business (AACSB). (2012a). Institucional web page Recuperado em 14 janeiro, 2012, de http://www.aacsb. edu
• Association to Advance Collegiate School of Business (AACSB). (2012b). Accredited institutions Recuperado em 18 maio, 2012, de http://www.aacsb.edu/accreditation/accreditedmembers.asp
• Association to Advance Collegiate School of Business (AACSB). (2012c). AACSB accreditation standards Recuperado em 8 fevereiro, 2012, de http://www.aacsb.edu/accreditation/standards
• Barreyro, G. B. (2004, junho). Do provão ao Sinaes: o processo de construção de um novo modelo de avaliação da educação superior. Avaliação, 9(2), 37-49.
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). (2002). Critérios de avaliação da área de administração e turismo (Triênio 2001-2003) Recuperado em 20 janeiro, 2012, de http://www.CAPES.gov.br/images/stories/download/avaliacao/ADMINISTRACAO TURISMO. pdf
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). (2006). Critérios de avaliação da área de administração, ciências contábeis e turismo (triênio 2004-2006) Recuperado em 20 janeiro, 2012, de http://www.CAPES.gov.br/images/stories/download/avaliacao/CA2007_Administ racao Turismo.pdf
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). (2011). Relatório da Reunião de Coordenadores dos Programas de Pós-Graduação em Administração, Ciências Contábeis e Turismo Recuperado em 20 junho, 2012, de http://www.CAPES.gov.br/images/stories/download/avaliacao/Relatorio_Reuniao_ Coordenadores_Adm.pdf
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). (2012). Comunicado no. 003/2012 - Área de Administração, Ciências Contábeis e Turismo - Orientações para Novos APCNs. Recuperado em junho, 2012, de http://www.CAPES.gov.br/images/stories/download/avaliacao/Criterios_APCNs_ Administracao.pdf
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). (2013a). Documento de Área 2013 - Administração, Ciências Contábeis e Turismo. Recuperado de http://www.avaliacaotrienal2013.CAPES.gov.br/documento-de-area-e-comissao
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). (2013b). Relatório da Avaliação Trienal 2013 - Administração, Ciências Contábeis e Turismo. Recuperado de http://avaliacaotrienal2013.CAPES.gov.br/relatorios-de-avaliacao
• Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). (2014). Relação de Cursos Recomendados e Reconhecidos. Recuperado de http://conteudoweb.CAPES.gov.br/conteudoweb/ProjetoRelacaoCursosServlet? acao= pesquisarAreaAvaliacao
• Creswell, J. W. (2003). Research design: qualitative, quantitative, and mixed method approaches (2nd ed.). Thousand Oaks, CA: Sage.
• Dias Sobrinho, J. (2003). Avaliação: políticas educacionais e reformas da educação superior São Paulo: Cortez.
• Durham, E. R. (1992). A institucionalização da avaliação. In E.R. Durham & S. Schwartzman (Orgs.). Avaliação do ensino superior. São Paulo: Edusp.
• Durham, E. R. (2006). Avaliação In J. E. Steiner & G. Malnic. Ensino superior: conceito e dinâmica São Paulo: Edusp.
• Eisenhardt, K. M. (1989, October). Building theories from case study research. Academy of Management Review, 14(4), 532-550. doi: 10.5465/AMR.1989.4308385
• El-Khawas, E., DePietro-Jurand, R. & Holm-Nielsen, L. (1998). El control de calidad en la educacion superior: avances recientes y dificultades por superar Washington, DC: Banco Mundial.
• Gazzola, A. L. (2008, junho). Desigualdade é a marca da educação superior na América Latina e Caribe. Jornal da Ciência da Sociedade Brasileira Para o Progresso da Ciência - SBPC, ano XXII, n. 624.
• Ghauri, P. & Gronhaug, K. (2002). Research methods in business studies: a practical guide Harlow, England: Person Education.
• Gilgun, J. F. (1994). A case for case studies in social work research. Social Work, 39, pp. 371-380.
• Herriott, R. E. & Firestone, W. A. (1983). Multisite qualitative policy research: optimizing description and generalizability. Educational Research, 12(2), 14-19. doi: 0.3102/0013189X012002014
• Kai, J. (2009, March/April). A critical analysis of accountability in higher education its relevance to evaluation of higher education. Chinese Education & Society, 42(2), 39-51. doi: 10.2753/CED1061-1932420204
• Kneller, R. (2007). Prospective and retrospective evaluation systems in context: insights from Japan. In R. Whitley & J. Gläser, Jochen (Eds.), Changing governanceof the sciences: the advent of research evaluation systems (pp. 51-73). Dordrecht, Netherlands: Springer.
• Larry, Aft. (2002). Evaluating higher education programs in quality. Quality Progress, 35(10), 30-31.
• Maccari, E. A. (2008, July). Contribuições à gestão dos programas de pós-graduação stricto sensu em administração no Brasil com base nos sistemas de avaliação norte-americano e brasileiro Universidade de São Paulo, Faculdade de Economia, Administração e Contabilidade. Recuperado de http://www.teses.usp.br/teses/disponiveis/12/12139/tde-03092008-172119/pt-br.php
• Miles, M. B. & Huberman, A. M. (1994). Qualitative data analysis: an expanded sourcebook (2nd ed.). Oaks, CA: Sage.
• Morgan, D., Meier, K. J., Kearney, r., Hays, S. & Birch, H. B. (1981, November/December). Reputation and productivity among U.S. Public Administration and Public Affairs Programs. Public Administration Review, 41(6), 666-673. doi: 10.2307/975743
• Neave, Guy. (1988, August). On the cultivation of quality, efficiency and enterprise: an overview of recent trendsin higher education in Western Europe. European Journal of Education, 23(1), 7-24. doi: 10.2307/1502961
• Schwartzman, S. (1990). O contexto institucional e político da avaliação do ensino superior São Paulo: Nucleo de Pesquisas sobre Ensino Superior da Universidade de São Paulo.
• Schwartzman, S. (2010). Nota sobre a transição necessária da pós-graduação brasileira. In Brasil (2010), Plano Nacional de Pós-Graduação - PNPG 2011-2020 (pp. 34-52). Brasília: CAPES.
• Stecher, B. M. & Davis, W. A. (1987). How to focus an evaluation Newbury Park, CA: Sage.
• Thayer, R. & Whelan, R. K. (1987). Evaluating graduate Public Administration Programs. Public Administration Quarterly, 11(2), 188-196.
• Yin, R. (2003). Case study research: design and methods (3rd ed.). Thousand Oaks, CA: Sage.

Endereço para correspondência:

Emerson Antonio Maccari

Universidade Nove de Julho

Programa de Pós-Graduação em Administração

Avenida Franscisco Matarazzo, 612, Água Branca

05001-100 - São Paulo - SP

Datas de Publicação

• Publicação nesta coleção
  31 Jul 2014
• Data do Fascículo
  Jun 2014

Histórico

• Recebido
  10 Set 2012
• Aceito
  12 Out 2013