Avaliação da qualidade das publicações: Excelência ou legitimação de práticas de pesquisa?

RESUMO

O objetivo desta pesquisa foi analisar a eficiência relativa dos Programas de Pós-Graduação [PPGs] em termos de qualidade de suas publicações em periódicos. O método utilizado foi o Data Envelopment Analysis, aplicado à área de concentração de Administração Pública e de Empresas, Ciências Contábeis e Turismo, a partir da Avaliação Quadrienal de 2017, desenvolvida pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior [CAPES]. Os resultados sugerem que os PPGs eficientes estão centralizados no eixo Centro-Sul do país, nas áreas de Administração e Contabilidade. Apesar de a estratégia difundida de publicar em todos os estratos, os PPGs eficientes possuem concentração preponderante de sua eficiência em publicações de Qualis A1, consideradas como as de maior excelência pela CAPES. Conclui-se, portanto, que as práticas de pesquisa legitimadas pressionam os PPGs por uma melhoria na qualidade de suas publicações, ao mesmo tempo em que ameaçam a existência daqueles que não conseguirem se adequar às regras de avaliação.

PALAVRAS-CHAVE
Isomorfismo institucional; Eficiência; Publicações científicas; Legitimidade

ABSTRACT

This study aims to analyze the relative efficiency of graduate programs in terms of the quality of their scientific publications in journals. To this end, we applied Data Envelopment Analysis to the fields of Public and Business Administration, Accounting, and Tourism, using data from the 2017 Quadrennial Evaluation developed by the Coordenação de Aperfeiçoamento de Pessoal de Nível Superior [“Coordination for the Improvement of Higher Education Personnel”, CAPES]. The results suggest that efficient graduate programs are concentrated in the center-south axis of Brazil, in the areas of Administration and Accounting. Despite the overall publishing strategy in journals of various ranks (strata), efficient graduate programs allocate their efficiency primarily to Qualis A1 journals, A1 being the excellence rating in the CAPES scale. We conclude that legitimized research practices pressure graduate programs to improve the quality of their publications while threatening the survival of programs that fail to conform to the assessment rules.

KEYWORDS
Institutional isomorphism; Efficiency; Scientific publications; Legitimacy

1. INTRODUÇÃO

Nas últimas décadas, o sistema universitário mundial tem se reconfigurado em resposta às incertezas e às pressões externas por maior eficiência em seus resultados (Jelonek & Mazur, 2020). Isso tem feito com que as Instituições de Ensino Superior [IES] busquem por legitimidade a partir da replicação de práticas - de pesquisa, ensino e extensão - adotadas pelos pares ranqueados como os mais prestigiados (Meyer & Rowan, 1977). Essas práticas passam a ser referência para legitimação e manutenção de padrão de qualidade, não apenas para as demais IES, mas também para agências governamentais, rankings e acreditações internacionais (Xu, Rose & Oancea, 2019). Nesse contexto, as publicações científicas em periódicos de excelência, muitos deles internacionais, passam a ser reconhecidas como boas práticas de pesquisa (Barrett, Fernandez & Gonzalez, 2020). Tais publicações começam a ser encaradas como de maior excelência pelas IES ao receberem maior número de citações, medida utilizada para avaliar as publicações (Xu et al., 2019).

No Brasil, a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior [CAPES] é a instituição responsável por garantir a qualidade dos Programas de Pós-Graduação [PPGs] a partir da avaliação do Sistema Nacional de Pós-Graduação [SNPG]. Ao longo dos anos, a CAPES vem promovendo um apelo por maior excelência em publicações, por exemplo, com a inclusão do critério “Publicações qualificadas do programa por docente permanente” na Avaliação Quadrienal de 2013-2016 (Andrade, Oliveira, Maccari & Hollnagel, 2018; CAPES, 2017b) e, mais recentemente, com a sinalização da inclusão de parâmetros bibliométricos internacionais para medir e avaliar a qualidade das publicações produzidas pelos PPGs (CAPES, 2020a).

A valorização desse tipo de quesito pode, portanto, representar a busca pela legitimidade das publicações dos PPGs nacionais a partir da conformidade com as práticas de pesquisa internacionais (Kezar & Bernstein-Sierra, 2019; Vakkayil & Chatterjee, 2017). Nesse sentido, a avaliação da CAPES implicaria uma maior homogeneidade dos PPGs aos modelos voltados para publicação em periódicos de maior excelência, como indicado pelo isomorfismo institucional (Meyer & Rowan, 1977; DiMaggio & Powell, 1983). Por outro lado, Lozano, Bofarull, Waddock e Prati-Pubill (2018) apontam que, embora o Isomorfismo Institucional sugira uma tendência à homogeneidade, persistem características coletivas e até mesmo individuais que comprometeriam esse processo. Nesse contexto, haveria diferenças de recursos financeiros e humanos em cada PPG que poderiam estar refletidos na desigualdade de seus resultados, o que pode representar desníveis substanciais na aferição de sua qualidade (Croucher & Woelert, 2016; Thornton, William & Lounsbury, 2012; Woelert & Croucher, 2018).

A avaliação CAPES possui caráter coercivo, ao vincular a manutenção dos PPGs aos resultados de suas avaliações (Andrade et al., 2018; Patrus, Shigaki & Dantas, 2018), e normativo, na medida em que estabelece as práticas consideradas como legítimas pelos membros da comunidade acadêmica que atuam junto à CAPES. Nesse sentido, esses mecanismos criam uma espécie de “gaiola de ferro” (DiMaggio & Powell, 1983) porque, ao mesmo tempo em que homogeneízam práticas de pesquisa que devem ser adotadas igualmente por todos os PPGs, também inibem ou mesmo desencorajam iniciativas que não estejam contempladas nos critérios avaliados pela CAPES. Surge, então, uma influência determinante sobre o comportamento dos professores e alunos dos PPGs para atender às práticas de pesquisa exigidas, bem como a consequência em não cumpri-las.

Desse modo, propõe-se a seguinte pergunta de pesquisa: em que medida a distribuição da qualidade das publicações científicas está relacionada com a eficiência dos PPGs? O objetivo desta pesquisa é analisar a eficiência relativa dos PPGs em termos de qualidade de suas publicações em periódicos classificados como de estratos superiores (A1, A2 e B1) e inferiores (B2 a B5). Para isso, foram analisados os PPGs na área de Administração Pública e de Empresas, Ciências Contábeis e Turismo, a partir das informações apresentadas na Avaliação Quadrienal de 2017, desenvolvida pela CAPES. A eficiência relativa foi estimada por meio da Análise Envoltória de Dados [Data Envelopment Analysis - DEA], ao passo que a legitimidade e a excelência de práticas de pesquisa foram fundamentadas com base no Isomorfismo Institucional.

2. REFERENCIAL TEÓRICO

2.1. Isomorfismo institucional - excelência e legitimidade

A gestão das IES é influenciada por “regras”, “roteiros” ou “incentivos” institucionais que as conduzem para um estado de maior conformidade de práticas adotadas pelos seus pares prestigiados, tidos como modelos de excelência. Esse fenômeno é conhecido como isomorfismo institucional (Czarniawska, 2009; DiMaggio & Powell, 1983; Meyer & Rowan, 1977; Thornton et al., 2012). O prestígio deve ser compreendido como excelência nas práticas estabelecidas, enquanto a legitimidade consiste na conformidade dessas mesmas práticas (Kezar & Bernstein-Sierra, 2019; Vakkayil & Chatterjee, 2017).

Esse fenômeno gera pressões que influenciam a assimilação de novas práticas a serem perseguidas pelas organizações, o que pode alterar seus valores e comportamentos (Kezar & Bernstein-Sierra, 2019; Woelert & Croucher, 2018). Nesse sentido, a legitimidade e o prestígio engendram a perpetuação de práticas e valores que se tornam gradualmente as novas “regras do jogo”, alterando crenças e ações de todos os atores inseridos no mesmo ambiente institucional (Jelonek & Mazur, 2020). Como Kezar e Bernstein-Sierra (2019, p.3, tradução nossa) descrevem, “onde muitas organizações em um campo procuram uma associação profissional de prestígio em busca de orientação, é provável que adotem as práticas dessa associação. Com o tempo, as práticas são legitimadas dentro do campo e se tornam a nova norma”.

As pressões institucionais reúnem forças no sentido de homogeneizar e convergir as instituições para o mesmo ambiente de conformidade de práticas a partir de três mecanismos: coercivo, mimético e normativo (Czarniawska, 2009; DiMaggio & Powell, 1983; Meyer & Rowan, 1977; Thornton et al. 2012). O primeiro, coercivo, é imposto de acordo com pressões legais e regulatórias a partir de instituições governamentais, sociais ou culturais. O segundo, mimético, surge por meio da replicação de estratégias adotadas por organizações prestigiadas pelas demais, visando a se adequar aos ambientes de alta incerteza e ambiguidade. O terceiro, normativo, atua por intermédio da adoção de práticas profissionais consideradas pelos pares como legítimas, a exemplo da definição de critérios e normas básicas para avaliação dos resultados de pesquisas de um campo científico. Esses mecanismos atuam de forma integrada, explicando por que as organizações adotam práticas ou estratégias com alto grau de similaridade (Barrett et al., 2020).

Como resultado, essas pressões criam a chamada “gaiola de ferro” institucional, que limita os comportamentos e as estratégias dos atores aos incentivos aos quais estão submetidos (DiMaggio & Powell, 1983; Meyer & Rowan, 1977; Thornton et al., 2012). Essa interpretação, por outro lado, não pressupõe que o isomorfismo institucional deva ser encarado como algo determinístico. Pelo contrário, ele se caracteriza como um processo dinâmico e não-determinístico, sendo, portanto, o seu resultado o da não convergência completa e homogênea das instituições (Woelert & Croucher, 2018).

2.2. Avaliação dos Programas de Pós-graduação pela CAPES: as regras do jogo

No Brasil, a CAPES avalia os PPGs por meio de critérios que garantem a renovação do funcionamento dos programas para o período subsequente (CAPES, 2020b). Os parâmetros de avaliação geram, por conseguinte, pressões institucionais sobre pesquisadores e, consequentemente, sobre os PPGs aos quais estão credenciados, para se legitimarem de acordo com as “regras do jogo”. Isso pode influenciar seus comportamentos e práticas de pesquisa (Jelonek & Mazur, 2020), principalmente no tocante à publicação de artigos científicos, uma vez que são esses um dos principais resultados (mas não o único) a serem gerados pelos PPGs das IES de acordo com o modelo vigente (Patrus et al., 2018).

O processo de avaliação da CAPES exerce uma forte influência por homogeneidade das práticas de pesquisa a partir de dois mecanismos principais, o normativo e o coercivo. O primeiro estabelece que as práticas de pesquisa consideradas como “legítimas” sejam disseminadas entre os pares. Essas regras são determinadas pelos acadêmicos, que colaboram junto à diretoria da CAPES durante o processo avaliação, por meio do compartilhamento de sua visão de mundo a respeito do que vêm a ser boas práticas de pesquisa. O segundo atua por meio dos resultados da avaliação, que definem as políticas de apoio e, no limite, a própria existência dos PPGs (CAPES, 2020b; Patrus et al., 2018).

A CAPES busca continuamente aperfeiçoar seus mecanismos de avaliação, tendo papel de destaque para o desenvolvimento dos PPGs no Brasil (Maccari, Rodrigues, Alessio & Quoniam, 2008), apesar de existirem críticas ao modelo vigente (Andrade et al., 2018). Dentre elas, destaca-se a proliferação de práticas de “produtivismo acadêmico” (Alcadipani, 2011a, 2011b), que é uma resultante da norma de avaliação da produção intelectual. Sobre isso, Rego (2014, p. 341) comenta que “o cenário é triste: nunca publicamos tanto, nunca tivemos tantos periódicos. Mas será que isso significa que pesquisamos mais e melhor?”

Uma sinalização objetiva da CAPES (2017b) no sentido de superar essas críticas apresenta-se no incentivo às publicações de qualidade, ou seja, dos artigos publicados em periódicos de Qualis superior, com atenção especial às publicações em periódicos A1 devido à internacionalização. No quadriênio 2013-2016, foi inserido um novo critério, nomeado “Publicações qualificadas do programa por docente permanente”, em que se consideram as três melhores produções de cada docente que estejam alinhadas à proposta do programa. Além disso, limitou-se a contagem de publicações em periódicos B4-B5 (CAPES, 2017b), tidos como de estrato inferior.

Atualmente, a CAPES começa a dar sinais de que adotará critérios bibliométricos internacionais para qualificar os periódicos que publicaram artigos dos PPGs (CAPES, 2020a), e isso daria maior peso às publicações internacionais de alto impacto. Essa sinalização gera algumas consequências para os PPGs nacionais. Isso porque a criação de critérios de avaliação pela qualidade das publicações não implica assumir que todos os PPGs irão se adequar automaticamente e tampouco que irão fazê-lo de forma homogênea, conforme preconizado pelo isomorfismo institucional. Os PPGs experimentarão essa nova pressão com base no perfil de seus pesquisadores (Imasato, Perlin & Borenstein, 2017), além de suas características e limitações (Thornton et al. 2012; Woelert & Croucher, 2018). Provavelmente irão se destacar os PPGs que previamente se adequavam a essa nova regra do jogo ou terão maior probabilidade de alcançá-la. Torna-se importante, desse modo, que seja estimado como os PPGs (comparados uns aos outros) conseguem alcançar sua eficiência em produção acadêmica, que é resultante da publicação de artigos em estratos superiores e inferiores, com base em seus respectivos recursos humanos e de capital.

3. PROCEDIMENTOS METODOLÓGICOS

3.1. Análise de eficiência por meio de modelos DEA

A qualidade das IES tem sido objeto de investigação empírica a partir de meados da década de 1980 (Geva-May, 2001). Desde então, essas análises têm ganhado maior relevância e intenso debate entre políticos, docentes e outros stakeholders na área de educação (Witte & López-Torres, 2017). Isso ocorre porque, além de sua relevância, o contexto atual é de reduções contínuas e significativas dos investimentos e subsídios governamentais, fazendo com que as IES tenham que, de um lado, manter a excelência acadêmica e, de outro, utilizar eficientemente os seus recursos (Monfared & Safi, 2013). Na literatura, as análises que envolvem qualidade e eficiência na educação são desenvolvidas, principalmente, por meio da Análise Envoltória de Dados [DEA] (Liu, Lu, Li & Lin, 2013).

A aplicação de modelos DEA se torna útil na ausência de preços de mercado e quando são utilizados vários insumos e produtos para se calcular a eficiência do processo produtivo de uma unidade tomadora de decisão [decision making unit - DMU], que pode ser representada por universidades ou Programas de Pós-graduação [PPGs] (Joumady & Ris, 2005), dentre diversas outras possibilidades. No caso das IES, por exemplo, sabe-se que a seleção e, principalmente, a medição de insumos e produtos na função de produção da educação se constitui um tópico de intenso debate (Agasisti & Pérez-Esparells, 2010). Ainda assim, o uso de DEA apresenta vantagens porque permite que cada DMU tenha seus vetores de insumos e produtos ponderados de forma que seja maximizada a eficiência e, ao mesmo tempo, possa ser comparável dentro do conjunto de DMUs analisado (Johnes & Johnes, 1993).

Este estudo utilizou DEA para cumprir com o objetivo de analisar a eficiência relativa dos PPGs strictu senso na área de Administração Pública e de Empresas, Ciências Contábeis e Turismo na Avaliação Quadrienal 2017 desenvolvida pela CAPES, referente ao período entre 2013 e 2016. É importante ressaltar que o objetivo da CAPES na Avaliação Quadrienal é analisar os PPGs, não focando em aspectos mais amplos das IES. Portanto, este estudo delimita como unidade de análise, ou seja, a DMU do modelo DEA, os PPGs dessa área.

O modelo segue a suposição de retornos constantes à escala [Constant Returns to Scale - CRS] com orientação a produtos. A escolha por CRS se deu pela comparação da distribuição dos escores de eficiência em CRS com os escores dos retornos variáveis à escala [Variable Returns to Scale - VRS] por meio de três testes estatísticos: i) pela suposição de distribuição dos erros ser exponencial; ii) pela suposição de distribuição dos erros ser seminormal; iii) utilizando o teste não paramétrico de Kruskal-Wallis (Bogetoft & Otto, 2011).

Foram calculados, ainda, os produtos virtuais a partir do modelo de multiplicadores em DEA. Para maiores detalhes sobre esses cálculos, consultar Cook e Zhu (2008, p. 69-89). A análise dos produtos virtuais permite que se identifique qual a origem do escore de eficiência de cada DMU em termos de produtos. Por exemplo, supondo que, no processo produtivo, existam três produtos, a soma de seus produtos virtuais deve ser igual a um (ou 100%). Esse método permite demonstrar em que medida a eficiência está concentrada em apenas um produto ou se está distribuída em diferentes combinações desses produtos. Dado que a eficiência dos PPGs pode apresentar várias soluções ótimas, utilizou-se o método proposto por Thanassoulis (2001, p. 101) para análise de robustez dos resultados. Após a determinação do modelo DEA com CRS e orientação a produtos, faz-se necessário definir as DMUs, a amostra, os insumos e os produtos selecionados.

3.2. Caracterização da amostra

A base de dados foi obtida no sítio eletrônico da CAPES referente à Avaliação Quadrienal de 2017, desenvolvida no período entre 2013 e 2016 (CAPES, 2017a). Os dados coletados referem-se à grande área de Administração Pública e de Empresas, Ciências Contábeis e Turismo. Como critério de seleção das DMUs, foram coletadas informações dos PPGs os quais tinham o curso de doutorado na área analisada e que foram avaliados durante todo o quadriênio. Ao final, a amostra contou com 59 PPGs avaliados pela CAPES (2017b).

3.3. Determinação de insumos e produtos do modelo

Para selecionar as variáveis, considerou-se como insumos o número de docentes permanentes e colaboradores, de docentes bolsistas produtividade, de doutorandos, de mestrandos e de projetos financiados. Os produtos foram as publicações de artigos, subdivididas em três níveis de Qualis: A1 (ponderado); A2 e B1 (ponderados e somados); B2 a B5 (ponderados e somados). O número de variáveis do modelo se ajusta ao número de DMUs analisadas, de acordo com a orientação de Dyson et al. (2001). A Figura 1 ilustra a listagem dos insumos e produtos do modelo.

A escolha do número de docentes buscou reunir o conjunto de recursos humanos permanentes e colaboradores à disposição dos PPGs, destacando aqueles que possuem bolsa de produtividade por apresentarem um desempenho de produção acadêmica diferenciado e reconhecido pela CAPES. Em paralelo, tem-se a contribuição dos discentes, que foi medida pela quantidade de mestrandos e doutorandos matriculados, uma vez que as publicações acadêmicas são desenvolvidas, em geral, na forma de parceria entre docentes e discentes. O número de projetos financiados foi incluído devido à limitação da informação de seu valor monetário, assim como de alguma outra variável financeira na base de dados. Essa variável identifica a existência de recursos econômicos para a condução de pesquisas.

Figura 1.
Listagem dos insumos e produtos

A seleção de publicações de artigos como produtos foi motivada pela pressuposição de que são elas um dos principais resultados a serem atingidos pelos PPGs, mas não os únicos (Patrus et al., 2018). A discriminação dos produtos em diferentes estratos se deu a partir das regras de avalição da CAPES (2017b), uma vez que um dos critérios de qualidade da produção científica do corpo docente e discente é medido pela quantidade de publicações veiculadas em periódicos de estratos superiores. Em linhas gerais, a CAPES (2017b) define como estratos superiores o Qualis de periódicos classificados entre A1 e B1, sendo, por dedução, os restantes (B2 a B5) tidos como inferiores. Seguindo esses critérios, os pesos atribuídos às publicações, segundo a CAPES (2017b), foram: os estratos A1, A2, B1, B2, B3, B4 e B5 ponderados pelos valores 100, 80, 60, 50, 30, 20 e 10 pontos, respectivamente.

Percebe-se, então, que a separação entre estratos superiores e inferiores tem o objetivo de destacar as produções científicas veiculadas no mais alto grau de excelência acadêmica. Nesse sentido, a motivação em separar as publicações classificadas como A1 decorre do maior impacto que elas possuem na comunidade acadêmica, porque, para a área pesquisada, são representadas por periódicos internacionais, a despeito dos estratos A2 e B1, formados por periódicos nacionais e internacionais. Assim, como a ênfase desta pesquisa reside na qualidade (em termos de pontuação do Qualis) dos periódicos em que os artigos são publicados, optou-se por excluir as publicações em Qualis C, as produções técnicas e os livros.

Como a base de dados é um painel balanceado com quatro observações em cada PPG, uma para cada ano do quadriênio 2013-2016, a consolidação desses dados para a análise do período foi feita por meio da média dos quatro anos para os insumos: número de professores (permanentes, colaboradores e bolsistas produtividade), de mestrandos, de doutorandos e de projetos financiados. Optou-se pela média dessas variáveis, porque os dados se mostraram estáveis ou não cumulativos. Em decorrência de o número de publicações de artigos em periódicos (nos estratos A1, A2, B1, B2, B3, B4 e B5, ponderadas pelos seus respectivos pesos) se caracterizar como variáveis cumulativas, somaram-se os valores dos produtos no período para cada um dos três níveis de estrato analisados.

Em resumo, os produtos foram segmentados em três níveis de qualidade: i) A1; ii) A2 e B1; iii) B2 a B5. A orientação a produtos no modelo CRS é adotada pressupondo-se a maximização da produção acadêmica pelos PPGs em termos de qualidade, quantidade ou de alguma combinação entre ambos, mantidos constantes os níveis dos insumos. Procedimento similar também foi adotado no Brasil por Silva, Corrêa e Gomes (2016); Costa, Ramos, Souza, Sampaio e Barbosa (2015); Costa, Souza, Ramos e Silva (2012) e Moreira, Cunha, Ferreira e Silveira (2011). A utilização dos produtos virtuais em DEA busca complementar as análises desenvolvidas, na medida em que segrega a solução ótima de acordo com as diferentes combinações de produtos.

4. ANÁLISE DOS RESULTADOS

Para analisar a distribuição dos dados da amostra, apresenta-se a Tabela 1 com a estatística descritiva. Ao analisá-la, os dados apontam para uma maior representatividade dos PPGs pertencentes ao curso de Administração, não apenas na maior participação absoluta, assim como em todos os insumos. Os PPGs de Administração totalizam 45 programas - o que representa 76% da amostra - seguidos por Ciências Contábeis, com 10 PPGs - representando 17% - e Turismo, com 4 PPGs - respondendo por 7%.

Tabela 1
Resumo dos dados

Estatística Descritiva	Professores produtividade	Professores	Mestrandos	Doutorandos	Projetos Financiados	Publicações
						A1	A2	B1	B2	B3	B4	B5
Administração (45 PPGs)
Média	4	17	42	41	26	13	46	56	58	50	43	9
Mínimo	0	11	0	2	1	0	9	18	19	12	8	0
Máximo	18	48	93	154	64	63	168	172	228	179	230	35
Desvio-Padrão	4	7	19	32	15	17	35	36	41	37	36	9
Contabilidade (10 PPGs)
Média	3	14	26	18	15	5	60	58	50	50	50	14
Mínimo	1	7	15	2	0	0	15	12	12	16	8	2
Máximo	7	20	34	70	42	16	148	156	142	121	132	39
Desvio-Padrão	2	4	6	20	11	6	35	45	42	34	40	13
Turismo (4 PPGs)
Média	2	14	33	8	14	1	15	21	30	36	26	11
Mínimo	0	12	25	2	6	0	9	14	20	26	21	9
Máximo	3	18	38	19	19	1	18	30	47	45	31	12
Desvio-Padrão	1	3	6	8	6	1	4	7	12	10	5	1
Amostra completa (59 PPGs)
Média	4	17	39	35	23	11	46	54	55	49	43	10
Mínimo	0	7	0	2	0	0	9	12	12	12	8	0
Máximo	18	48	93	154	64	63	168	172	228	179	230	39
Desvio-Padrão	4	6	18	31	15	15	35	37	40	35	36	10

• Fonte: dados da pesquisa.

Com relação aos produtos, identifica-se uma maior representatividade dos PPGs em Administração e Ciências Contábeis nas publicações em estratos superiores. Por exemplo, os PPGs de Administração apresentam maiores valores de média e de máximo em publicações A1, enquanto nos de Ciências Contábeis há uma maior média em publicações A2. Em relação às publicações em estratos inferiores, ambos os cursos possuem valores médios, mínimos, máximos e desvios-padrão similares. Por fim, verifica-se que a quantidade de publicações dos PPGs em Turismo é inferior em comparação à dos demais, exceto para as publicações em B5, que possuem patamares semelhantes aos de outras áreas.

4.1. Análise da eficiência dos PPGs

Na estimação do modelo DEA com orientação a produtos e CRS, foram analisados cinco insumos e três produtos (ver Figura 1) para os 59 PPGs. A interpretação da eficiência relativa dos PPGs pode ser feita com base na comparação entre como os níveis de recursos humanos e financeiros (insumos) são transformados em publicações (produtos). Espera-se que sejam mais eficientes os PPGs que, em comparação aos outros PPGs (eficiência relativa), conseguem produzir mais publicações com menos recursos utilizados. Um PPG terá 100% de eficiência se, e somente se, nenhum de seus insumos ou produtos puder ser melhorado (comparando-se a outros PPGs) sem piorar algum de seus outros insumos e produtos.

Para melhor compreender os resultados apresentados na Tabela 2, é preciso retomar dois conceitos fundamentais na análise de modelos que utilizam DEA: i) conceito de benchmark; ii) fonte da eficiência. No primeiro, depreende-se que os PPGs ineficientes têm como benchmark, isto é, referência para se tornar eficiente, os PPGs situados na fronteira eficiente formada por DEA. Essa relação de dominação (em termos matemáticos) dos PPGs ineficientes pelos PPGs eficientes leva em consideração a proporção da combinação entre produtos e insumos (ver exemplo ilustrativo no ^{Apêndice 1}). Em outros termos, os PPGs eficientes utilizaram a melhor combinação da proporção entre insumos e produtos na amostra analisada, servindo de referência para os PPGs ineficientes mais próximos. No segundo, a fonte da eficiência é calculada por meio do cômputo dos produtos virtuais. Esse procedimento permite identificar o quanto cada estrato de produto contribuiu para o escore final da eficiência do PPG, também servindo de referência de qualidade de publicações. Por meio dessa abordagem, torna-se possível identificar a proporção de cada estrato no cálculo da eficiência dos PPGs, sendo, portanto, possível comparar os produtos dos PPGs eficientes aos PPGs ineficientes.

Tabela 2.
Eficiência dos PPGs por região, área e status jurídico

Critério	PPGs #	Eficiência Média	PPGs eficientes #	Benchmark para outros PPGs #	Fonte da eficiência (média)
					A1	A2 e B1	B2 a B5
Região Geográfica
Centro-Oeste	3	99%	2	8	16%	65%	18%
Nordeste	9	61%	0	0	11%	46%	44%
Norte	1	93%	0	0	0%	7%	93%
Sudeste	27	83%	15	108	33%	44%	23%
Sul	19	75%	7	60	23%	44%	33%
Área do Conhecimento
Administração	45	74%	15	85	30%	41%	29%
Contabilidade	10	95%	8	88	10%	71%	19%
Turismo	4	78%	1	3	6%	20%	73%
Status Jurídico
Estadual	7	66%	2	23	15%	57%	28%
Federal	23	80%	10	67	19%	56%	25%
Municipal	2	100%	2	29	25%	38%	38%
Particular	27	77%	10	57	29%	44%	27%

• Fonte: dados da pesquisa.

Nos resultados apresentados na Tabela 2, verifica-se que a eficiência média dos PPGs é mais alta no Centro-Oeste, seguido pelo Norte, Sudeste, Sul e Nordeste. Destaca-se que as duas primeiras regiões estão representadas com menos DMUs que as restantes, com três e um PPGs, respectivamente. A região Sudeste detém maior representatividade em número absoluto de PPGs eficientes, assim como a quantidade de vezes em que esses são benchmark para outros PPGs, seguida pelas regiões Sul e Centro-Oeste. Assim, ao analisar a eficiência dos PPGs por região geográfica, percebe-se uma concentração de programas eficientes no eixo Centro-Sul do país, enquanto as demais não apresentaram PPGs eficientes.

Ainda analisando a Tabela 2, identifica-se que essa concentração de PPGs eficientes também está presente ao examinar as publicações de excelência, ou seja, aquelas veiculadas em estratos superiores. A região Sudeste apresenta uma maior proporção de sua eficiência atribuída ao Qualis A1 (33%), seguida pelas regiões Sul (23%), Centro-Oeste (16%) e Nordeste (11%). Em termos de publicações nos estratos A2 e B1, a região Centro-Oeste apresentou maior concentração de sua eficiência nesse estrato (65%), tendo as outras regiões patamares semelhantes (entre 44% e 46%), com exceção da região Norte (7%). Nas publicações de estratos inferiores, essa região apresentou uma concentração mais elevada, com cerca de (93%), seguida pela região Nordeste (44%), Sul (33%), Sudeste (23%) e Centro-oeste (18%).

Com relação à eficiência por área de conhecimento, observa-se que os PPGs de Ciências Contábeis apresentaram maior eficiência média em relação aos de Administração e Turismo. Proporcionalmente, 80% dos PPGs em Ciências Contábeis são eficientes, contra 33% dos de Administração. Mesmo em menor quantidade, os PPGs de Ciências Contábeis são benchmark para mais PPGs do que os de Administração. Foi possível identificar que a principal fonte da eficiência dos PPGs de Administração e Ciências Contábeis reside nas publicações A2 e B1, possuindo, em média, o curso de Ciências Contábeis 71%, enquanto a Administração possui 41%. Para as publicações A1, o curso de Administração tem sua eficiência média alocada em 30% nesse estrato, sendo superior aos demais cursos. As eficiências dos PPGs de Turismo concentram-se em publicações de estratos inferiores (73%), e apenas um PPG foi eficiente.

De acordo com o status jurídico dos PPGs analisados, identifica-se que os PPGs oriundos de universidades municipais foram os mais eficientes, seguidos por universidades particulares, federais e estaduais. Os PPGs federais e particulares representam o maior número de PPGs eficientes. De modo geral, a origem da eficiência dos diferentes status jurídicos é distribuída de forma semelhante, sendo os estratos A2 e B1 os principais indicadores da eficiência desses PPGs.

4.2. Análise da origem da eficiência a partir da participação dos estratos de publicação

Como forma de demonstrar a origem da eficiência relativa dos PPGs, optou-se por separá-los em eficientes e ineficientes. Os PPGs considerados eficientes são todos aqueles que tiveram resultado igual a um na estimação do modelo DEA, e isso totalizou 24 PPGs. Os que apresentaram valor inferior a um foram considerados ineficientes, sendo os 35 PPGs restantes.

A estruturação dos produtos seguiu a mesma divisão anterior, por publicações em periódicos de Qualis superior (A1; A2 e B1) e inferior (B2 a B5). Para isso, foram definidos dois níveis de participação de cada estrato na eficiência: a preponderante, em que o estrato representa pelo menos a metade (50% ou mais) da eficiência do PPG; e a alta, na qual a participação do estrato era entre um quarto, e a metade da eficiência do PPG (igual ou maior que 25% e menor que 50%). Apresentam-se, então, quantos PPGs (eficientes e ineficientes) possuem a origem de sua eficiência de forma preponderante ou alta em cada estrato de publicações (Ver Figura 2 e ^{Apêndice 4}). Para que a contagem de PPGs dos grupos eficientes (24 PPGs) e ineficientes (35 PPGs) pudesse ser comparada, os dados foram apresentados de forma percentual.

Ao analisar os resultados, de modo geral, percebeu-se que as eficiências dos PPGs eficientes eram originadas por meio de uma combinação dos três níveis analisados, ou seja, em publicações nos estratos superior (A1; A2 e B1) e inferior (B2 a B5). Isso sinaliza que PPGs eficientes adotam uma estratégia híbrida de publicação, em diferentes estratos. De acordo com a Figura 2, pode-se identificar que 29% dos PPGs eficientes têm sua eficiência originada de forma preponderante nas publicações em estrato A1 e também 29% em A2 e B1. A preponderância de concentração da eficiência nos Qualis inferiores (B2 a B5) está presente em 42% dos PPGs. Além disso, é possível identificar que 4% dos PPGs têm a origem de sua eficiência de forma alta nos estratos A2 e B1, e 4% atribuem a eficiência alta em B2 a B5.

Observa-se que 63% dos PPGs ineficientes apresentam origem preponderante de sua eficiência alocada em estrato superior nos Qualis A2 e B1. Esses periódicos, divididos em internacionais e nacionais, ainda que sejam de alta qualidade, têm menor impacto em relação às publicações em periódicos A1. Respectivamente 9% e 26% dos PPGs obtiveram a concentração de sua eficiência de forma preponderante ou alta em publicações de nível A1. Em relação aos estratos inferiores, os PPGs ineficientes alocaram 23% e 11% de concentração preponderante e alta, respectivamente. Esses resultados sugerem que grande parte desses programas buscam se adequar às práticas de pesquisa consideradas de excelência, porque alocam parte de sua eficiência em publicação de estrato superior, principalmente em publicações A2 e B1. Entretanto, os resultados revelam que a projeção internacional desses mesmos programas, representada aqui por publicações A1, é mais baixa em comparação à dos PPGs eficientes.

Figura 2.
Origem das eficiências a partir da participação dos produtos virtuais dos PPGs

4.3. Análises de outras soluções ótimas em DEA

Em programação linear e em DEA, consequentemente, existe a possibilidade de haver mais de uma solução ótima para as DMUs eficientes. Isso significa, no caso analisado, que os PPGs eficientes podem se manter eficientes com outras combinações de produtos virtuais. É, portanto, necessário que se analisem os produtos virtuais de um modelo que recorra a métodos os quais verifiquem outras soluções ótimas. Dessa forma, para averiguar a robustez dos resultados obtidos por meio da análise dos produtos virtuais, foi feita a mesma implementação do modelo deste estudo, porém utilizando outro solver de programação linear [LpSolve].

Aplicou-se, ainda, o método sugerido por Thanassoulis (2001) com o objetivo de verificar qual o máximo dos produtos virtuais a serem alcançados pelos PPGs eficientes. A ideia desse método parte do pressuposto de que um PPG poderia ter sua eficiência distribuída em um terço para cada estrato caso apresentasse um volume de publicações suficientemente grande para que essas ponderações o mostrassem como eficiente em comparação aos outros PPGs. Caso contrário, um ou dois estratos continuarão se mostrando como preponderantes na composição da eficiência desse PPG, conforme demonstrado anteriormente. Esses resultados estão apresentados na Tabela 3. Além da participação preponderante e alta, é mostrada a participação nula, em que a eficiência tem zero presença de determinado estrato, e baixa-intermediária, na qual a participação de cada estrato na eficiência é maior que zero e menor que um quarto (25%).

Tabela 3.
Quantidade de PPGs eficientes e a contribuição de cada estrato de publicações quando os produtos virtuais são maximizados

	Estrato de publicações
Nível de contribuição de cada estrato de publicações	A1	A2 e B1	B2 a B5
Nula (0)	4	0	2
Baixa - Intermediária (>0% & <=25%)	4	2	6
Alta (>25% & <= 50%)	13	19	15
Preponderante (>50%)	3	3	1
Total de PPGs	24	24	24

• Fonte: dados da pesquisa.

De modo geral, os resultados apontaram que tanto a implementação do mesmo modelo em outro solver como a maximização dos produtos virtuais não modificaram os resultados para os PPGs ineficientes. Essa conclusão é esperada, uma vez que a combinação ótima entre pesos e publicações já havia sido alcançada para posicionar o PPG como o mais eficiente possível. Após as estimações realizadas no LpSolve, os resultados apontaram que algumas soluções ótimas divergiram para os PPGs eficientes em comparação aos resultados obtidos anteriormente. É mantida, entretanto, a mesma tendência encontrada na primeira solução. A Tabela 3 compila os resultados após a maximização dos produtos virtuais do modelo deste estudo para os PPGs eficientes.

A partir dos resultados dessa análise, é possível identificar que os PPGs eficientes, em sua maioria, conseguem ser eficientes por meio da maximização dos três estratos de publicações. Apenas quatro, dentre os 24 PPGs eficientes, têm participação nula do estrato A1, zero com relação a A2 e B1 e dois com relação a B2 a B5. Também pode ser observado na Tabela 3 que a maioria desses PPGs se encontram na faixa de participação alta de cada estrato. Isso indica que, minimamente, todos os programas que se mostraram eficientes atribuem sua eficiência às publicações de maior qualificação, mantendo, ainda, um nível alto de publicações em estrato inferior. Esses resultados estão alinhados às interpretações anteriores de que, no geral, os PPGs eficientes adotam uma estratégia híbrida de publicação.

5. DISCUSSÃO

Os resultados desta pesquisa sugerem que há uma maior proporção dos PPGs eficientes concentrados no eixo Centro-Sul do país e nas áreas de Administração e Contabilidade. Com relação à concentração por área do conhecimento, os cursos de pós-graduação stricto sensu em Ciências Contábeis começaram a aumentar de número em meados de 2005 e que, a despeito de possuir redes sociais de produção científica esparsas (Nascimento & Beuren, 2011), eles conseguem, ainda assim, projetar suas publicações em estratos superiores e serem benchmark para mais PPGs em relação à área de Administração, enquanto na área de Turismo os PPGs começaram a surgir de forma mais recente (Holanda, Widmer & Leal, 2014). Por outro lado, os PPGs em Administração têm não somente o maior número absoluto, como também possuem maior presença em redes de cooperação entre programas e professores, o que aumenta a sua produtividade (Rossoni & Guarido Filho, 2009).

Observando-se a concentração geográfica e a quantidade de PPGs, esses resultados, em geral, estão alinhados aos da avaliação desenvolvida pela CAPES (2017b). Esse cenário se repete para os PPGs de excelência acadêmica que possuem, dentre outras características, maior projeção internacional (Ramos, 2018). Portanto, nota-se que as disparidades regionais repercutem na quantidade e qualidade dos resultados apresentados pelos PPGs no Brasil.

Ainda sobre as análises das eficiências relativas, os resultados mostraram que os PPGs publicam seus artigos em todos os estratos. Todavia, a proporção de PPGs com eficiência originada preponderantemente em publicações A1 é maior entre os PPGs eficientes, enquanto os PPGs ineficientes alocam maior ênfase nas publicações em periódicos A2 e B1. Desse modo, identifica-se a projeção internacional de suas pesquisas como aspecto distintivo nos PPGs eficientes, o que também foi apontado em Ramos (2018) para os PPGs de excelência.

Essa projeção é parte de um processo de legitimação (Kezar; Bernstein-Sierra, 2019; Vakkayil & Chatterjee, 2017; Woelert & Croucher, 2018) proposto na avaliação da CAPES por meio de pressões normativas e coercitivas do Sistema Nacional de Pós-Graduação a partir da adequação das publicações brasileiras às práticas de pesquisa internacional. Tais pressões ocorrem no sentido de que se priorize a qualidade das produções dos programas, com atenção especial às publicações internacionais classificadas em periódicos de Qualis A1.

Dessa forma, os PPGs que tiveram seus produtos alocados de forma preponderante em periódicos de estratos inferiores possivelmente precisarão rever suas práticas de pesquisa em um futuro próximo, uma vez que a CAPES sinaliza que a medição de qualidade das publicações poderá ser baseada em critérios bibliométricos internacionais a partir do Quadriênio 2021-2024 (CAPES, 2020a). Entretanto, levantam-se dúvidas sobre quais PPGs teriam, efetivamente, condições de publicar em periódicos de Qualis A1.

A homogeneização institucional, discutida em DiMaggio e Powell (1983), pode não ocorrer ou ocorrer de forma parcial. Isso se daria porque os PPGs possuem características e recursos distintos, como recursos financeiros próprios para pesquisa, redes de cooperação intra e interuniversitária, parcerias internacionais dos professores e da IES, dentre outros. Essa discrepância, por sua vez, culmina nas concentrações regionais e de eficiência apresentadas.

Lozano et al. (2018) argumentam que o isomorfismo pode não se dar nas universidades que perseguem os rankings das escolas de negócios, posto que algumas dessas escolas optam por se diferenciar através de outras formas de se obter qualidade que não são computadas por esse sistema de avaliação. Levando em conta esse argumento, é possível que PPGs aqui avaliados como ineficientes em termos de publicação possam ter bom desempenho em outros aspectos tais como o impacto social (Wood Jr, Costa, Lima, & Guimarães, 2016), proporcionado pelas suas atuações em âmbito local ou regional.

Diferentemente desses rankings, as “regras do jogo” instituídas pela CAPES se baseiam em um mecanismo coercivo e normativo, cuja avaliação determina a própria continuidade dos PPGs (Andrade et al., 2018; Patrus et al., 2018). Uma eventual não conformidade com novos critérios poderia, no futuro, descontinuar os PPGs menores ou com baixo desempenho no quesito publicações, caso não consigam alcançar essas novas metas. Nesse sentido, a homogeneização das práticas de pesquisa poderia não vir da conformidade de todos os PPGs com os novos critérios, mas da manutenção apenas daqueles que conseguirem se adaptar. Esse resultado poderia agravar ainda mais a concentração da área e aprofundar os abismos regionais em termos de desenvolvimento científico.

6. CONCLUSÕES

O objetivo deste artigo foi analisar a eficiência relativa dos PPGs em termos de qualidade de suas publicações em periódicos classificados como de estratos superiores (A1, A2 e B1) e inferiores (B2 a B5). A análise foi feita avaliando os PPGs na área de concentração de Administração Pública e de Empresas, Ciências Contábeis e Turismo na Avaliação Quadrienal de 2017, desenvolvida pela CAPES. Os resultados encontrados apontaram para uma concentração dos PPGs eficientes nas regiões do Centro-Sul do país e nos cursos de Administração e Contabilidade. Em relação às características das eficiências dos PPGs, destacaram-se aqueles que diversificaram suas publicações científicas de forma ótima entre todos os estratos analisados. É importante destacar que os PPGs eficientes alocaram preponderantemente sua eficiência em publicações em periódicos A1, ou seja, os de maior excelência, segundo a CAPES, devido a sua projeção e alto impacto internacional.

De acordo com os resultados apresentados, esta pesquisa avança no sentido de se buscar compreender as consequências do processo de isomorfismo institucional nos PPGs das IES do Brasil por meio da relação integrada entre os mecanismos coercivo e normativo estabelecidos pela CAPES. No contexto brasileiro, o modelo vigente, desenvolvido conjuntamente entre governo e representantes da academia, conduz a uma avaliação única, que tenta conciliar a legitimidade de práticas de pesquisa, em consonância às medidas de excelência já adotadas internacionalmente, e garantir a continuidade dos PPGs. Esse cenário, contraditório e complexo, contribui para o desenvolvimento de um ambiente heterogêneo de desenvolvimento dos PPGs. Nesse sentido, o isomorfismo institucional não tem sido atingido de forma equitativa entre os PPGs analisados.

A CAPES (2020a) tem se manifestado nesse sentido ao propor um modelo multidimensional de avaliação, de modo a contemplar outros critérios de qualidade como forma de atender às novas realidades e aperfeiçoar o parâmetro vigente. As publicações científicas de alto impacto continuam sendo a referência do que há de maior qualidade de produção científica, e os PPGs devem tentar se adequar a essa realidade. Pretende-se, portanto, que essas práticas de pesquisa, legitimadas internacionalmente, sejam implementadas igualitariamente aqui.

Os PPGs que conseguem, ou os que teriam a maior probabilidade de seguir com essas novas regras, seriam beneficiados. Por conseguirem projetar suas produções científicas internacionalmente, esses PPGs se tornariam dominantes no contexto nacional, tendo suas práticas de pesquisa consideradas como modelos de excelência a serem adotados e legitimados pelos demais programas. A esse respeito, compreende-se que esses PPGs estão mais próximos de se lançarem como centros reconhecidos internacionalmente, mas isso implicaria que apenas eles deveriam ser incentivados?

Os resultados reportados neste artigo possuem limitações que abrem caminhos para pesquisas futuras. O modelo proposto avaliou apenas um quadriênio, todavia seria interessante entender como a eficiência dos PPGs se alterou em função do critério de qualidade no quadriênio seguinte, ou seja, como essa mudança alterou as práticas de pesquisa no longo prazo. Novos fatores poderiam ser explorados como o impacto do valor dos projetos financiados nas publicações ou a influência do ensino e da qualidade na formação de mestres e doutores nos resultados de pesquisa dos PPGs. Adicionalmente, a influência do contexto da IES de origem do PPG na eficiência em pesquisa poderia ser analisada, como o impacto de recursos financeiros próprios, a projeção internacional da IES, ou mesmo a presença de redes de pesquisa e cooperação nacional e internacional entre os PPGs de diversas áreas. Sugere-se, também, que se compreenda como os mecanismos normativos se tornam coercivos durante o processo de avaliação, isto é, como os valores dos consultores ad hoc poderiam ser incorporados na definição dos critérios de avaliação que poderiam se tornar as futuras “regras do jogo” instituídas pela CAPES.

AGRADECIMENTOS

O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001 e Conselho Nacional de Desenvolvimento Científico e Tecnológico - CNPq.

Apêndice 1.

Exemplo ilustrativo simplificado de fronteira CRS em que há apenas um input (Número de Professores) e apenas um output (Publicações A1)

Apêndice 2.

Eficiência, produtos virtuais, produtos virtuais maximizados e quantidade de vezes que cada PPG eficiente do estudo é benchmark para as outros

		Produtos Virtuais			Produtos Virtuais Maximizados			Benchmark p/ quantos?
Sigla	Eficiência	A1	A2 e B1	B2 a B5	A1	A2 e B1	B2 a B5
FUCAPE (C)	1,00	0,47	0,53	0,00	0,37	0,37	0,25	9
UFRJ (A)	1,00	1,00	0,00	0,00	0,66	0,34	0,00	10
UFRJ (C)	1,00	0,10	0,90	0,00	0,19	0,74	0,07	1
PUC-RIO (A)	1,00	0,78	0,00	0,22	0,77	0,01	0,22	1
FGV/RJ (A)	1,00	1,00	0,00	0,00	0,45	0,45	0,11	8
UFV (AP)	1,00	0,00	0,00	1,00	0,26	0,37	0,37	3
UFU (C)	1,00	0,00	1,00	0,00	0,00	0,50	0,50	18
USP (C)	1,00	0,00	1,00	0,00	0,07	0,58	0,35	18
USP/RP (A)	1,00	1,00	0,00	0,00	0,59	0,41	0,00	5
PUC/SP (A)	1,00	1,00	0,00	0,00	0,38	0,24	0,38	1
UNIMEP (A)	1,00	0,00	0,00	1,00	0,33	0,33	0,33	1
FEI (A)	1,00	0,95	0,00	0,05	0,44	0,44	0,12	5
UNINOVE (A)	1,00	0,11	0,00	0,89	0,33	0,33	0,33	18
UAM (T)	1,00	0,00	0,00	1,00	0,00	0,42	0,58	3
USCS (A)	1,00	0,00	0,00	1,00	0,33	0,33	0,33	7
UFPR (C)	1,00	0,00	1,00	0,00	0,00	0,97	0,03	1
UFSC (C)	1,00	0,21	0,12	0,67	0,33	0,33	0,33	15
FURB (C)	1,00	0,00	0,57	0,43	0,16	0,42	0,42	22
UFRGS (A)	1,00	1,00	0,00	0,00	0,44	0,44	0,12	2
UFSM (A)	1,00	0,00	0,00	1,00	0,19	0,41	0,41	9
PUC/RS/ UCS (A)	1,00	0,32	0,00	0,68	0,33	0,33	0,33	2
UCS (A)	1,00	0,44	0,00	0,56	0,33	0,33	0,33	9
UFMS (A)	1,00	0,00	0,45	0,55	0,00	0,50	0,50	4
UNB (C)	1,00	0,00	1,00	0,00	0,33	0,33	0,33	4
Média		0,35	0,27	0,38	0,30	0,41	0,28

• Fonte: dados da pesquisa.
• Nota: (A) = Programa de pós-graduação em Administração. (C) = Programa de pós-graduação em Contabilidade. (T) = Programa de pós-graduação em Turismo.

Apêndice 3.

Eficiência e produtos virtuais dos PPGs ineficientes do estudo

		Produtos Virtuais
Sigla	Eficiência	A1	A2 e B1	B2 a B5
UFRN (T)	0,99	0,25	0,00	0,75
FGV/SP (A)	0,96	0,53	0,47	0,00
UNB (AP)	0,96	0,49	0,51	0,00
UFPE (C)	0,95	0,15	0,01	0,84
UNAMA (A)	0,93	0,00	0,07	0,93
UNISINOS (A)	0,88	0,47	0,53	0,00
PUC/RS (A)	0,85	1,00	0,00	0,00
FGV/SP (AP)	0,83	0,50	0,50	0,00
UCS (T)	0,80	0,00	0,00	1,00
UFC (A)	0,77	0,13	0,58	0,28
PUC/PR (A)	0,67	0,06	0,87	0,08
ESPM (A)	0,66	0,18	0,82	0,00
UFES (A)	0,65	0,28	0,65	0,07
USP (A)	0,65	0,28	0,72	0,00
UFPR (A)	0,63	0,06	0,94	0,00
UFLA (A)	0,62	0,00	0,97	0,03
UNIVALI (A)	0,61	0,34	0,00	0,66
UNISINOS (C)	0,60	0,28	0,72	0,00
UFSC (A)	0,59	0,00	0,77	0,23
USP/RP (C)	0,56	0,03	0,97	0,00
UFBA (AP)	0,55	0,34	0,66	0,00
FUMEC (A)	0,54	0,38	0,53	0,08
UECE (A)	0,53	0,00	0,24	0,76
UPM (A)	0,52	0,23	0,42	0,35
UDESC (A)	0,50	0,07	0,09	0,84
UNIFOR (A)	0,47	0,00	0,12	0,88
UFRN (A)	0,46	0,00	1,00	0,00
UNIGRANRIO (A)	0,46	0,00	1,00	0,00
UFMG (A)	0,45	0,11	0,39	0,49
UFPB/J.P. (A)	0,45	0,10	0,90	0,00
UP (A)	0,41	0,08	0,92	0,00
UEM (A)	0,41	0,00	1,00	0,00
PUC/MG (A)	0,37	0,00	0,96	0,04
UNIVALI (T)	0,33	0,00	0,82	0,18
UFPE (A)	0,30	0,00	0,57	0,43
Média	0,63	0,18	0,56	0,25

• Fonte: dados da pesquisa.
• Nota: (A) = Programa de pós-graduação em Administração. (AP) = Programa de pós-graduação em Administração Pública. (C) = Programa de pós-graduação em Contabilidade. (T) = Programa de pós-graduação em Turismo.

Apêndice 4.

Número de PPGs classificados em diferentes níveis de participação dos estratos de publicação do estudo

	Número de PPGs Eficientes			Número de PPGs Ineficientes
Participação do tipo de publicação no escore de eficiência	A1	A2 e B1	B2 a B5	A1	A2 e B1	B2 a B5
Nula (0)	11	15	11	12	4	16
Baixa - Intermediária (>0% & <=25%)	3	1	2	11	5	7
Alta (>25% & <= 50%)	3	1	1	9	4	4
Preponderante (>50%)	7	7	10	3	22	8
Total de PPGs	24	24	24	35	35	35

• Fonte: dados da pesquisa.

REFERENCES

• Agasisti, T., & Pérez-Esparrells, C. (2010). Comparing efficiency in a cross-country perspective: the case of Italian and Spanish state universities. Higher Education, 59, 85-103. https://doi.org/10.1007/s10734-009-9235-8
  » https://doi.org/10.1007/s10734-009-9235-8
• Alcadipani, R. (2011a). Academia e a fábrica de sardinhas. Organizações & Sociedade, 18(57), 345-348. https://portalseer.ufba.br/index.php/revistaoes/article/view/11155/8067
  » https://portalseer.ufba.br/index.php/revistaoes/article/view/11155/8067
• Alcadipani, R. (2011b). Resistir ao produtivismo: uma ode à perturbação acadêmica. Cadernos EBAPE.BR, 9(4), 1174-1178. http://dx.doi.org/10.1590/S1679-39512011000400015
  » http://dx.doi.org/10.1590/S1679-39512011000400015
• Andrade, E. F. S., Oliveira, J., Maccari, E. A., & Hollnagel, H. (2018). Inovação em um contexto isomórfico nos Programas de Pós-Graduação Stricto Sensu em Administração. Revista Gestão & Tecnologia, 18(2), 100-127. http://revistagt.fpl.edu.br/get/article/view/1415/847
  » http://revistagt.fpl.edu.br/get/article/view/1415/847
• Barrett, B., Fernandez, F., & Gonzalez, E. M. (2020). Why universities voluntarily pursue US accreditation: the case of Mexico. Higher Education, 79(3-4), 1-17. https://doi.org/10.1007/s10734-019-00427-y
  » https://doi.org/10.1007/s10734-019-00427-y
• Bogetoft, P., Otto, L. (2011). Benchmarking with DEA, SFA, and R. Media New York: Springer.
• Cook, W. D., & Zhu, J. (2008) Data Envelopment Analysis: Modeling Operational Processes and Measuring Productivity Boston: CreateSpace.
• CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. (2017a). Avaliação Quadrienal 2017 Recuperado de http://avaliacaoquadrienal.capes.gov.br/home
  » http://avaliacaoquadrienal.capes.gov.br/home
• CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. (2017b). Documento de Área 2017 - Administração, Ciências Contábeis e Turismo Recuperado de http://avaliacaoquadrienal.capes.gov.br/resultado-da-avaliacao-quadrienal-2017-2
  » http://avaliacaoquadrienal.capes.gov.br/resultado-da-avaliacao-quadrienal-2017-2
• CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. (2020a). Sobre a Avaliação Recuperado de https://www.capes.gov.br/images/novo_portal/documentos/PNPG/25052020_Relat%C3%B3rio_Final__2019_Comiss%C3%A3o_PNPG.pdf
  » https://www.capes.gov.br/images/novo_portal/documentos/PNPG/25052020_Relat%C3%B3rio_Final__2019_Comiss%C3%A3o_PNPG.pdf
• CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. (2020b). Sobre a Avaliação Recuperado de https://www.capes.gov.br/perguntas-frequentes
  » https://www.capes.gov.br/perguntas-frequentes
• Costa, E. M., Ramos, F. S., Souza, H. R., Sampaio, L. M. B., & Barbosa, R. B. (2015). Dinâmica da eficiência produtiva das instituições federais de ensino superior. Planejamento e Políticas Públicas, (44), 51-84.
• Costa, E. M., Souza, H. R. de, Ramos, F. de S., & Silva, J. L. M. da. (2012). Eficiência e desempenho no ensino superior: uma análise da fronteira de produção educacional das IFES brasileiras. Revista de Economia Contemporânea, 16(3), 415-440. https://doi.org/10.1590/S1415-98482012000300003
  » https://doi.org/10.1590/S1415-98482012000300003
• Croucher, G., & Woelert, P. (2016). Institutional isomorphism and the creation of the Unified National System of Higher Education in Australia: An empirical analysis. Higher Education, 71(4), 439-453. https://doi.org/10.1007/s10734-015-9914-6
  » https://doi.org/10.1007/s10734-015-9914-6
• Czarniawska, B. (2009). Emerging institutions: pyramids or anthills?Organization Studies,30(4), 423-441. https://doi.org/10.1177/0170840609102282
  » https://doi.org/10.1177/0170840609102282
• DiMaggio, P. J., & Powell, W. W. (1983). The iron cage revisited: Institutional isomorphism and collective rationality in organizational fields. American sociological review, 48(2), 147-160. https://doi.org/10.2307/2095101
  » https://doi.org/10.2307/2095101
• Dyson, R. G., Allen, R., Camanho, A. S., Podinovski, V. V., Sarrico, C. S., & Shale, E. A. (2001). Pitfalls and protocols in DEA. European Journal of Operational Research, 132(2), 245-259. https://doi.org/10.1016/S0377-2217(00)00149-1
  » https://doi.org/10.1016/S0377-2217(00)00149-1
• Geva-May, I. (2001). Higher education and attainment of policy goals: Interpretations for efficiency indicators in Israel. Higher Education, 42(3), 265-305. https://doi.org/10.1023/A:1017550802162
  » https://doi.org/10.1023/A:1017550802162
• Holanda, L. A., Widmer, G. M., & Leal, S. (2014). A produção científica em turismo no Brasil: reflexões e proposições a partir de um estudo revisional. Anais Brasileiros de Estudos Turísticos, 4(1), 72-79.
• Imasato, T., Perlin, M. S., & Borenstein, D. (2017). Análise do perfil dos acadêmicos e de suas publicações científicas em Administração.Revista de Administração Contemporânea,21(1), 62-83. https://doi.org/10.1590/1982-7849rac2017150329
  » https://doi.org/10.1590/1982-7849rac2017150329
• Jelonek, M., & Mazur, S. (2020). Necessary changes, adverse effects? The institutional patterns of adaptation of economics universities to changes prompted by the reform of Poland’s science and higher education system. Management Learning, 51(4), 472-490. https://doi.org/10.1177/1350507620913896
  » https://doi.org/10.1177/1350507620913896
• Johnes, G., & Johnes, J. (1993). Measuring the research performance of UK economics departments: an application of data envelopment analysis. Oxford Economic Papers, 45(2) 332-347.
• Joumady, O., & Ris, C. (2005). Performance in European higher education: a non-parametric production frontier approach. Education Economics, 13(2), 189-205. https://doi.org/10.1080/09645290500031215
  » https://doi.org/10.1080/09645290500031215
• Kezar, A., & Bernstein-Sierra, S. (2019). Examining processes of normative isomorphism and influence in scaled change among higher education intermediary organizations. AERA Open, 5(4), 1-16. https://doi.org/10.1177/2332858419884905
  » https://doi.org/10.1177/2332858419884905
• Liu, J., Lu, L., Li, W., & Lin, B. (2013). A survey of DEA applications. Omega, 41(5), 893-902. https://doi.org/10.1016/j.omega.2012.11.004
  » https://doi.org/10.1016/j.omega.2012.11.004
• Lozano, J. M., Bofarull, I., Waddock, S., & Prat-I-Pubill, Q. (2018). Avoiding the iron cage of business school rankings. Higher Education Policy, 33(1), 135-157. https://doi.org/10.1057/s41307-018-0107-7
  » https://doi.org/10.1057/s41307-018-0107-7
• Maccari, E. A., Rodrigues, L. C., Alessio, E. M., & Quoniam, L. M. (2008). Sistema de avaliação da pós-graduação da Capes: pesquisa-ação em um programa de pós-graduação em Administração. Revista Brasileira de Pós-Graduação, 5(9). https://doi.org/10.21713/2358-2332.2008.v5.147
  » https://doi.org/10.21713/2358-2332.2008.v5.147
• Meyer, J. W., & Rowan, B. (1977). Institutionalized organizations: Formal structure as myth and ceremony. American Journal of Sociology, 83(2), 340-363. https://www.jstor.org/stable/2778293
  » https://www.jstor.org/stable/2778293
• Monfared, M. A. S., & Safi, M. (2013). Network DEA: an application to analysis of academic performance. Journal of Industrial Engineering International, 9(1), 1-10. https://doi.org/10.1186/2251-712X-9-15
  » https://doi.org/10.1186/2251-712X-9-15
• Moreira, N. P., Cunha, N. R. da S., Ferreira, M. A. M., & Silveira, S. de F. R. (2011). Fatores determinantes da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo. Avaliação: Revista da Avaliação da Educação Superior, 16(1), 201-230. https://doi.org/10.1590/S1414-40772011000100011
  » https://doi.org/10.1590/S1414-40772011000100011
• Nascimento, S. do, & Beuren, I. M. (2011). Redes sociais na produção científica dos programas de pós-graduação de ciências contábeis do Brasil. Revista de Administração Contemporânea, 15(1), 47-66. https://doi.org/10.1590/S1415-65552011000100004
  » https://doi.org/10.1590/S1415-65552011000100004
• Patrus, R., Shigaki, H. B., & Dantas, D. C. (2018). Quem não conhece seu passado está condenado a repeti-lo: distorções da avaliação da pós-graduação no Brasil à luz da história da Capes. Cadernos EBAPE.BR, 16(4), 642-655. https://dx.doi.org/10.1590/1679-395166526
  » https://dx.doi.org/10.1590/1679-395166526
• Ramos, M. (2018). Internacionalização da pós-graduação no Brasil: lógica e mecanismos. Educação e Pesquisa, 44, 1-10. https://doi.org/10.1590/s1517-9702201706161579
  » https://doi.org/10.1590/s1517-9702201706161579
• Rego, T. C. (2014). Produtivismo, pesquisa e comunicação científica: entre o veneno e o remédio. Educação e Pesquisa, 40(2), 325-346. https://doi.org/10.1590/S1517-97022014061843
  » https://doi.org/10.1590/S1517-97022014061843
• Rossoni, L., & Guarido Filho, E. R. (2009). Cooperação entre programas de pós-graduação em administração no Brasil: evidências estruturais em quatro áreas temáticas. Revista de Administração Contemporânea, 13(3), 366-390. https://doi.org/10.1590/S1415-65552009000300003
  » https://doi.org/10.1590/S1415-65552009000300003
• Silva, J. S., Corrêa, C. R. & Gomes, A. P. (2016). Determinantes da eficiência dos programas de pós-graduação em Economia do Brasil. Reflexões Econômicas, 2(2), 55-75.
• Thanassoulis, E. (2001). Introduction to the Theory and Application of Data Envelopment Analysis New York: Springer .
• Thornton, P. H., William, O., & Lounsbury, M. (2012). The institutional logics perspective: A new approach to culture, structure, and process Oxford: Oxford University Press.
• Woelert, P., & Croucher, G. (2018). The multiple dynamics of isomorphic change: Australian law schools 1987-1996. Minerva: a review of science, learning and policy, 56(4), 479-503. https://doi.org/10.1007/s11024-018-9350-8
  » https://doi.org/10.1007/s11024-018-9350-8
• Vakkayil, J., & Chatterjee, D. (2017). Globalization routes: The pursuit of conformity and distinctiveness by top business schools in India. Management Learning, 48(3), 328-344. https://doi.org/10.1177/1350507616679347
  » https://doi.org/10.1177/1350507616679347
• Witte, K., & López-Torres, L. (2017). Efficiency in education: a review of literature and a way forward. Journal of the Operational Research Society, 68(4), 339-363. https://doi.org/10.1057/jors.2015.92
  » https://doi.org/10.1057/jors.2015.92
• Wood T. Jr., Costa, C. C. M., Lima, G. D. M. R., & Guimarães, R. C. (2016). Impacto social: Estudo sobre programas brasileiros selecionados de pós-graduação em administração de empresas. Revista de Administração Contemporânea, 20(1), 21-40. https://doi.org/10.1590/1982-7849rac20161842
  » https://doi.org/10.1590/1982-7849rac20161842
• Xu, X., Rose, H., & Oancea, A. (2019). Incentivising international publications: institutional policymaking in Chinese higher education. Studies in Higher Education, 1-14. https://doi.org/10.1080/03075079.2019.1672646
  » https://doi.org/10.1080/03075079.2019.1672646

Datas de Publicação

• Publicação nesta coleção
  12 Jan 2022
• Data do Fascículo
  Nov-Dec 2021

Histórico

• Recebido
  07 Out 2020
• Revisado
  27 Jan 2021
• Aceito
  22 Mar 2021
• Publicado
  05 Nov 2021