Avaliação de desempenho para o apoio à gestão de unidades organizacionais em Ifes: análise e oportunidades

Performance evaluation for supporting the management of organizational units in Ifes: Analysis and opportunities

Evaluación de desempeño para el apoyo a la gestión de unidades organizativas en Ifes: análisis y oportunidades

Resumo

Este estudo explora a literatura da avaliação de desempenho para o apoio à gestão de unidades organizacionais de universidades públicas, identificando oportunidades de futuras pesquisas. Neste contexto, foi realizada a revisão sistemática da literatura através do instrumento Knowledge Development Process – Constructivist . Foi selecionado o Portfólio Bibliográfico de artigos cientificamente relevantes, disponíveis e alinhados ao tema de pesquisa, sendo posteriormente realizadas as análises bibliométrica e sistêmica. Ao final deste processo, identifica-se como lacuna de pesquisa a construção de um modelo de avaliação de desempenho que apoie a gestão de unidades organizacionais de universidades públicas, utilizando a abordagem construtivista, conduzindo à construção de conhecimento no decisor, utilizando escalas ordinais e cardinais, realizando a integração dos indicadores a partir dos conhecimentos do decisor e apresentando níveis de referência, permitindo ações de melhoria.

Avaliação de Desempenho; Universidade Pública; Revisão Sistemática da Literatura; ProKnow-C

Abstract

This study explores the literature related to performance evaluation to aid the management of organizational units of public universities, identifying future research opportunities. A Systematic Review of Literature was carried out through the Knowledge Development Process - Constructivist. The resulting Bibliographic Portfolio consisted of scientifically relevant articles, freely available and aligned with the research theme, after which bibliometric and systemic analyses were carried out. At the end of this process, we identify as a research gap, the construction of a performance evaluation model that supports the management of organizational units of public universities, using a constructivist approach, leading to the construction of knowledge in the decision maker, using ordinal and cardinal scales, performing the integration of the indicators based on the knowledge of the decision maker and presenting levels of reference, allowing the generation of improvement actions.

Performance Evaluation; Public university; Systematic Review of Literature; ProKnow-C

Resumen

Este estudio explora la literatura sobre evaluación de desempeño para apoyar la gestión de unidades organizativas de universidades públicas, identificando oportunidades para futuras investigaciones. En este contexto, se realizó una Revisión Sistemática de la Literatura utilizando el instrumento Knowledge Development Process - Constructivist. Se seleccionó el Portafolio Bibliográfico de artículos científicamente relevantes, se dispuso y alineó con el tema de investigación, y posteriormente se realizaron análisis bibliométricos y sistémicos. Al final de este proceso, se identifica como una brecha de investigación la construcción de un modelo de evaluación de desempeño que apoye la gestión de las unidades organizativas de las universidades públicas, utilizando el enfoque constructivista, conduciendo a la construcción del conocimiento en el tomador de decisiones, utilizando escalas ordinales y cardinal, integrando los indicadores del conocimiento del tomador de decisiones y presentando niveles de referencia, permitiendo acciones de mejora.

Evaluación de Desempeño; Universidad Pública; Revisión Sistemática de la Literatura; ProKnow-C

1 Introdução

O presente artigo consiste na Revisão Sistemática da Literatura sobre avaliação de desempenho para o apoio à gestão de Unidades Organizacionais (UO) de Instituições Federais de Ensino Superior (Ifes), realizada através de uma ferramenta estruturada, a fim de explicitar o estado da arte. Para isto, foi selecionado um portfólio bibliográfico de artigos alinhados ao tema de pesquisa e realizadas as análises bibliográfica e sistêmica.

A pesquisa se deu devido ao contexto complexo e incerto da gestão pública das Ifes. Considerando-se que os recursos públicos, necessários para a implantação de políticas públicas e para a manutenção das organizações, são limitados e escassos, para otimizar a utilização do erário, ações orientadas à maximização do capital humano é um dos aspectos importantes para a administração pública.

Segundo o Painel Estatístico de Pessoal do Ministério do Planejamento, Desenvolvimento e Gestão (PEP-MPDG) ( BRASIL, 2020 ), os gastos com pessoal do Poder Executivo Federal em fevereiro de 2020 ultrapassaram 20 bilhões de reais, dos quais cerca de 55% correspondem aos gastos com servidores ativos. Ao redor de 20% deste valor correspondem aos gastos com servidores vinculados ao Ministério da Educação.

Considerando-se que, dos 1.270.406 servidores do Executivo Federal, 86.415 são professores ativos permanentes do magistério superior e 136.845 são Técnicos Administrativos em Educação ativos ( BRASIL, 2020 ), percebe-se a importância do aperfeiçoamento e da avaliação desta força de trabalho. Nessa perspectiva, a avaliação de desempenho consiste em uma ferramenta de gestão que permite identificar as fragilidades que precisam de melhorias e prever os impactos das ações.

Assim, para compreender como a avaliação de desempenho tem sido utilizada, surge a seguinte questão: Qual o Estado da Arte e as lacunas de pesquisa sobre a temática da avaliação de desempenho como instrumento de apoio à gestão de UO de Ifes? O objetivo é revisar a literatura sobre a temática, desenvolvendo o conhecimento dos pesquisadores sobre o tópico estudado e identificando as oportunidades de pesquisas futuras. Para isso, utilizou-se o instrumento Knowledge Development Process – Constructivim (ProKnow-C ) , que consiste em um processo estruturado para a Revisão Sistemática da Literatura.

Este trabalho justifica-se, conforme Roesch (2005) , quanto à importância, à oportunidade e à viabilidade. Quanto à importância, justifica-se por sua contribuição teórica à comunidade científica ao apresentar as evidências sobre a avaliação de desempenho para o apoio à gestão de UO de Ifes através do desenvolvimento de todas as etapas do ProKnow-C. O estudo é oportuno devido à relevância do tema na atual conjuntura econômico-financeira do país. O estudo é viável pela facilidade com que os dados podem ser obtidos a partir dos periódicos indexados pela Plataforma da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes).

Este artigo é composto por esta seção introdutória, seguida pelo referencial teórico, apresentado na segunda seção, após é discutida a metodologia, na terceira seção, posteriormente, na quarta seção são apresentados os resultados, seguida das considerações finais, tratadas na quinta seção, e ao final são apresentadas as referências.

2 Avaliação de Desempenho em Universidades Públicas

A partir de 1930, várias reformas foram desenvolvidas com o intuito de modernizar a administração pública e reduzir os reflexos do patrimonialismo ( FILGUEIRAS, 2009 ). A Revolução Industrial originou ideias sobre uma administração pública otimizada ( MOTTA, 2013 ). E o aumento da demanda por serviços públicos mais eficientes, ocasionado pela complexidade das sociedades, globalização e evolução tecnológica, fortaleceu os esforços para a desburocratização ( FAVERO, 2010 ).

Neste sentido, a Nova Gestão Pública deu origem à utilização de técnicas do setor privado pelo público, visando o aumento da eficiência na prestação de serviços e a redução de custos ( MOTTA, 2013 ). Assim, introduziu-se a avaliação de desempenho no setor público, viabilizando a maximização das atividades de coordenação, controle e aperfeiçoamento da gestão ( ARAÚJO; PINHEIRO, 2010 ). Para isso, são utilizados os indicadores de desempenho, que permitem mensurar os dados organizacionais, orientando a tomada de decisões ( ANDRIOLA; ARAÚJO, 2018 ).

Entretanto, a modernização administrativa do Estado, diferentemente de outros países, ocorre em um contexto socialmente atrasado e marcado por desigualdades em nível nacional e regional ( ALMEIDA et al., 2016 ). Para Abrucio (2007) , embora Bresser-Pereira, ministro do governo de Fernando Henrique Cardoso, tenha sido pioneiro em perceber as mudanças da administração pública mundial, também necessárias no Brasil, nem sempre soube traduzi-las politicamente à realidade brasileira.

Para atender aos anseios da sociedade globalizada, assegurando aspectos importantes da Administração Pública, como o combate à corrupção e ao nepotismo, a NGP no Brasil deve tratar-se de um movimento dialético, com a combinação de aspectos weberianos e de novos mecanismos de gestão ( ABRUCIO, 2007 ). Com isso, verifica-se a importância da adoção de práticas administrativas com cautela e adaptadas às particularidades não apenas do setor público, como também das características socioeconômicas do país.

Com a corrente da NGP, tornou-se comum também a reforma dos sistemas educacionais, buscando-se o controle dos gastos e a eficiência na prestação de serviços ( ARAÚJO; PINHEIRO, 2010 ). Multiplicaram-se então os desafios das universidades, que além de ofertar Ensino de qualidade, desenvolver pesquisa básica, aplicada e tecnológica, potencializando o conhecimento científico para a resolução de problemas sociais, econômicos, políticos e culturais ( MARRA; MELO, 2005 ), tiveram de lidar com o aumento do número de vagas sem proporcional destinação orçamentária ( SANTOS, 2002 ).

Em resposta a estes desafios, a avaliação de desempenho compreende uma importante ferramenta, viabilizando a melhoria da qualidade dos serviços e motivando uma imagem positiva perante a sociedade (GUERRA; BRITO; SOARES, 2017). Neste sentido, Andriola e Araújo (2018) destacam a necessidade das Ifes por um conjunto confiável de indicadores que auxiliem à tomada de decisões.

Neste tocante, pode-se considerar que a administração universitária, por sua complexidade, está alinhada às Metodologias Multicritério, que partem da concepção de que existem várias pessoas envolvidas no processo decisório, com percepções diferentes do problema que nem sempre é claramente definido e estruturado (ENSSLIN; DUTRA; ENSSLIN, 2000).

O paradigma científico construtivista adotado no apoio à decisão revelou a nova perspectiva da avaliação de desempenho como um instrumento de apoio à decisão ( TASCA, 2013 ). No âmbito das Ifes, percebe-se o alinhamento da metodologia multicritério construtivista como instrumento de apoio à decisão para contextos específicos, permitindo a construção de modelos personalizados a cada setor, de acordo com suas particularidades e considerando as preferências dos gestores das unidades ( VALMORBIDA, 2012 ).

3 Metodologia

3.1 Delineamento da pesquisa

Quanto ao delineamento, a pesquisa é classificada como descritiva, pois descreve as características dos artigos do Portfólio Bibliográfico (PB), e exploratória, pois objetiva gerar conhecimento ao pesquisador a respeito da temática de estudo, de acordo com as restrições adotadas nas buscas nos bancos de dados, com o propósito de evidenciar as oportunidades de pesquisa ( ROESCH, 2005 ).

Quanto às técnicas de coleta, foram utilizados dados secundários, obtidos a partir da seleção de artigos através de periódicos indexados na Plataforma Capes. Quanto às técnicas de análise, classifica-se como qualitativa nas etapas de seleção dos artigos e análise sisêmica, que consiste na análise de conteúdo, e quantitativa na etapa da análise bibliométrica, pois se utiliza técnicas de contagem com o objetivo de evidenciar as principais características dos artigos do PB ( ROESCH, 2005 ).

3.2 Knowledge Development Process – Constructivism (ProKnow-C)

Ao iniciar um trabalho científico, o pesquisador precisa ter como ponto de partida o entendimento existente acerca do tópico de interesse, a fim de evidenciar o estado da arte e direcionar a construção de novas percepções (SANTOS; ELIEL; ELIEL, 2006). No entanto, o conhecimento científico encontra-se disperso em uma vasta gama de publicações, bases de dados e outras fontes ( TASCA et al., 2010 ).

Desta forma, para a construção do conhecimento sobre o tema de pesquisa utilizou-se o instrumento de revisão sistemática da literatura denominado Knowledge Development Process – Constructivism (ProKnow-C), que consiste em um processo estruturado para seleção e análise de publicações e que permite ao pesquisador conhecer o desenvolvimento atual da temática estudada, bem como identificar lacunas de pesquisa ( ENSSLIN et al., 2015 ; LUZ et al., 2016 ).

O Proknow-C é uma ferramenta de pesquisa bibliográfica, desenvolvida no Laboratório de Metodologias Multicritério em Apoio à Decisão (LabMCDA), vinculado ao Departamento de Engenharias de Produção e Sistemas da Universidade Federal de Santa Catarina ( ENSSLIN et al., 2015 ). Através desse processo ordenado, é desenvolvida a seleção do PB de artigos alinhados à temática de interesse e são feitas a análise bibliométrica e a análise sistêmica, fornecendo ao final o estado da arte do tema de pesquisa, conforme a Figura 1 .

Figura 1
– Etapas do ProKnow-C

A seleção do PB é a reunião de artigos alinhados ao tema de pesquisa, selecionados a partir de um conjunto de delimitações e de acordo com a percepção do pesquisador. Na segunda etapa, o PB é analisado quantitativamente, dando embasamento aos pesquisadores sobre onde e como buscar informações sobre o tema. Posteriormente, o PB é analisado qualitativamente, através de lentes que explicitam a afiliação teórica adotada pelo pesquisador, complementando o conhecimento sobre a temática e emergindo ao final do processo os destaques e as lacunas de pesquisa.

4 Resultados

4.1 Seleção do portfólio bibliográfico

O PB consiste no conjunto de artigos alinhados à temática da pesquisa, com reconhecimento científico e disponíveis para acesso gratuito. Trata-se de um recorte, visto a impossibilidade de se analisar a totalidade de produções. Este recorte não equivale a uma amostra representativa do universo de publicações, mas sim ao grupamento de artigos considerados mais relevantes, de acordo com os mecanismos de busca e a percepção do pesquisador. Para a formação deste portfólio, realizou-se a seleção do banco de artigos brutos, as filtragens e o teste de representatividade.

O banco de artigos brutos equivale ao fragmento da literatura resultante da pesquisa de todas as combinações possíveis de palavras-chave determinadas na estratégia de busca, em todas as bases de dados escolhidas para a pesquisa. O Quadro 1 apresenta a estratégia de busca utilizada para a pesquisa nas bases de dados. Optou-se por utilizar seis bases de dados indexadas pela Plataforma CAPES que agregam pesquisas das áreas de ciências sociais aplicadas: Wiley , EBSCO, Emerald, ProQuest, Scopus e Web of Science .

Quadro 1
– Estratégia de busca

Eixo Temático	Avaliação de desempenho como instrumento de apoio à gestão de unidades organizacionais de universidade pública
Palavras-chave	Eixo 1: Avaliação de desempenho	Eixo 2: Gestão de UO em universidade pública	Eixo 3: Setor público
	performance evaluation	organizational unit	public university
	performance assessment	administrative unit	government
	Performance measurement	university administration	college
	performance appraisal	university staff	undergraduate
		academic staff	higher education

Fonte: Elaboração dos autores (2018)

Foram pesquisados artigos publicados até março de 2020, retornando o montante de 13.969 artigos, que foram importados para o software de gerenciamento bibliográfico EndNote , formando o banco de artigos brutos. Com o banco de artigos brutos composto, procederam-se as filtragens dos artigos quanto à redundância, ao alinhamento do título ao tema de pesquisa, ao alinhamento do resumo e palavras-chave, à disponibilidade, ao reconhecimento científico e ao alinhamento do texto completo, conforme o fluxograma apresentado na Figura 2 .

Figura 2
– Filtragens dos artigos brutos

Na primeira filtragem, foram excluídos os artigos repetidos, resultando 3.141 trabalhos não duplicados. Na segunda filtragem, na qual realizou-se a leitura dos títulos, 314 artigos apresentaram-se em conformidade com o tema de pesquisa.

Na terceira filtragem, procedeu-se a leitura dos resumos e palavras-chave, chegando-se a 128 artigos alinhados à temática do estudo. Na quarta filtragem foram excluídos os trabalhos que não tinham acesso gratuito ao texto completo, atingindo o montante de 58 artigos disponíveis.

Após, realizou-se a quinta filtragem, quanto ao reconhecimento científico das pesquisas. Inicialmente, consultou-se o número de citações dos 58 artigos no Google Acadêmico, totalizando 1.743 citações. Os trabalhos foram organizados em ordem decrescente do número de citações e, realizando-se o cálculo do percentual acumulado, se estabeleceu como ponto de corte 90% do total de citações.

Desta forma, foi definido que teriam reconhecimento científico comprovado, os artigos com 25 citações ou mais. Desta análise resultaram 19 artigos com reconhecimento científico comprovado, compondo então um banco de autores.

Os demais artigos passaram pela reanálise. Primeiramente, foi observado se os autores dos trabalhos constavam no banco de autores. Posteriormente, foi verificado se as publicações eram recentes, ou seja, a partir de 2015.

Após a reanálise, 42 pesquisas foram reconhecidas cientificamente, passando então pela sexta filtragem, na qual se realizou a leitura dos textos completos, resultando 17 artigos não repetidos, disponíveis, alinhados ao tema de pesquisa e reconhecidos cientificamente.

Para se certificar de que não houve publicações em consonância com o tema e com reconhecimento científico não incluídas no PB, foi realizado o teste de representatividade. Assim, todos os artigos constantes nas referências bibliográficas dos 17 trabalhos selecionados foram importados para o EndNote e foram realizadas as filtragens.

Ao final desta análise, foi incluído ao PB um novo trabalho alinhado ao tema. Desta forma, o PB final ficou composto por 18 artigos ( Quadro 2 ).

Quadro 2
– Portfólio bibliográfico

Ano	Autores	Título
2015	Özdemir Tüysüz	An Integrated Fuzzy DEMATEL and Fuzzy ANP Based Balanced Scorecard Approach: Application in Turkish Higher Education Institutions
2002	Moreno Tadepalli	Assessing Academic Department Efficiency at a Public University
2013	Umashankar Dutta	Balanced scorecards in managing higher education institutions: an Indian perspective
2015	Placek Ochrana Pucek	Benchmarking in Czech higher education: the case of schools of economics
2014	Agasisti Bonomi	Benchmarking universities’ efficiency indicators in the presence of internal heterogeneity
2009	Agasisti Johnes	Beyond frontiers: comparing the efficiency of higher education decision-making units across more than one country
2005	Rosa Saraiva Diz	Defining Strategic and Excellence Bases for the Development of Portuguese Higher Education
2015	Agasisti Johnes	Efficiency, costs, rankings and heterogeneity: the case of US higher education
2018	Yousif Shaout	Fuzzy logic computational model for performance evaluation of Sudanese Universities and academic staff
2014	McCormack Propper Smith	HERDING CATS? MANAGEMENT AND UNIVERSITY PERFORMANCE*
2015	Pereira Pereira Monteiro	Mapeamento conceitual do Balanced Scorecard no ensino superior
2018	Zuniga-Jara et al	Midiendo la Creación de Valor en una Universidad
2017	Machorro Romero	Propuesta de un Instrumento de Autoevaluación del Desempeño Organizacional en Instituciones Públicas de Educación Superior en México
2018	Dobija et al	Rational and symbolic uses of performance measurement Experiences from Polish universities
2020	Kuzu	Strategy selection in the universities via fuzzy AHP method: A case study
2002	Mollis Marginson	The assessment of universities in Argentina and Australia: between autonomy and heteronomy
2006	Abdullah	The development of HEdPERF: a new measuring instrument of service quality for the higher education sector
2006	Köksal Nalçaci	The Relative Efficiency of Departments at a Turkish Engineering College: A Data Envelopment Analysis

Fonte: Elaboração dos autores (2018)

a)Análise bibliométrica

A bibliometria consiste na ferramenta de gerenciamento da informação, através da quantificação das informações sobre os artigos do PB, com o intuito de gerar conhecimento sobre o tema de pesquisa ( ENSSLIN et al., 2015 ). Assim, foi realizada a análise bibliométrica sob quatro perspectivas: relevância dos periódicos, reconhecimento científico, autores de maior destaque e análise do fator de impacto.

Na primeira dimensão estudada, foi verificada a relevância dos periódicos do PB, através da contagem do número de artigos publicados. Conforme o Quadro 3 , depreende-se que Studies in Higher Education, Higher Education e Formación Universitaria foram os periódicos mais relevantes, com dois artigos cada.

Quadro 3
– Relevância dos periódicos do PB

Periódico	Número de Publicações
Higher Education	2
Studies in Higher Education	2
Formación Universitaria	2
Accounting, Auditing & Accountability Journal	1
Education Economics	1
European Journal of Education	1
International Jounal of Educational Management	1
International Journal of Consumer Studies	1
International Journal of Higher Education	1
Journal of Higher Education Policy and Management	1
Journal of King Saud University - Computer and Information Science	1
Journal of Multiple-Valued Logic & soft computing	1
Managerial and Decision Economics	1
Revista Capital Científico	1
The Economic Journal	1

Fonte: Elaboração dos autores (2018)

Na segunda perspectiva, o reconhecimento científico dos artigos foi obtido a partir do número de citações pesquisadas no Google Acadêmico. Os dados desta análise são demonstrados no Quadro 4 . O terceiro aspecto investigado refere-se aos autores de maior destaque. Conforme a Figura 3 observa-se que Agasisti, T. e Johnes, G. são os autores mais relevantes do PB, com três e dois artigos, respectivamente.

Quadro 4
– Reconhecimento Científico dos artigos do PB

Título	Citações
The development of HEdPERF: a new measuring instrument of service quality for the higher education sector	337
Balanced scorecards in managing higher education institutions: an Indian perspective	192
Beyond frontiers: comparing the efficiency of higher education decision-making units across more than one country	122
The assessment os universities in Argentina and Australia: between autonomy and heteronomy	92
Assessing Academic Department Efficiency at a Public University	72
The Relative Efficiency of Departments at a Turkish Engineering College: A Data Envelopment Analysis	60
Herding cats? Management and university performance	56
Benchmarking universities’ efficiency indicators in the presence of internal heterogeneity	29
Efficiency, costs, rankings and heterogeneity: the case of US higher education	26
Defining Strategic and Excellence Bases for the Development of Portuguese Higher Education	25
Fuzzy logic computational model for performance evaluation of Sudanese Universities and academic staff	12
Rational and symbolic uses of performance measurement Experiences from Polish universities	8
Propuesta de un Instrumento de Autoevaluación del Desempeño Organizacional en Instituciones Públicas de Educación Superior en México	3
Benchmarking in Czech higher education: the case of schools of economics	2
An Integrated Fuzzy DEMATEL and Fuzzy ANP Based Balanced Scorecard Approach: Application in Turkish Higher Education Institutions	1
Midiendo la Creación de Valor en una Universidad	1
Mapeamento conceitual do Balanced Scorecard no Ensino Superior	0
Strategy selection in the universities via fuzzy AHP method: A case study	0

Fonte: Elaboração dos autores (2018)

Figura 3
– Participação dos autores no PB

Por fim, a quarta investigação refere-se ao fator de impacto dos periódicos do PB. Para este trabalho, foi consultado o fator de impacto dos 15 periódicos do PB nas bases Thomson Reuters , que fornece o indicador JCR ( Journal Citation Report ) a partir de dados da Web of Science , e SCImago Journal & Country Rank , que fornece o indicador SJR ( Scimago Journal Rank ) a partir de informações da plataforma Scopus .

Da análise do JCR, observa-se que os periódicos Higher Education, Studies in Higher Education, Journal of King Saud University - Computer and Information Science e Accounting, Auditing & Accountability Journal apresentaram os maiores Fatores de Impacto ( Figura 4 ).

Figura 4
– Fator de Impacto JCR dos periódicos do PB

Da análise do SJR, tem-se que o periódico Studies in Higher Education apresentou o maior Fator de Impacto, seguido do Higher Education ( Figura 5 ).

Figura 5
– Fator de Impacto SJR dos periódicos do PB

b)Análise sistêmica

Na análise sistêmica, os artigos que compõem o PB são examinados criticamente através de lentes que explicitam a afiliação teórica do pesquisador, com o intuito de identificar os destaques e as lacunas de pesquisa ( TASCA et al., 2010 ).

No presente trabalho, adotou-se como afiliação teórica o conceito da avaliação de desempenho como processo para construir conhecimento no decisor, a respeito do contexto específico que se propõe avaliar, a partir da percepção do próprio decisor por meio de atividades que identificam, organizam, mensuram ordinalmente e cardinalmente, integram e permitem visualizar o impacto das ações e seu gerenciamento ( ENSSLIN et al., 2018 ). Assim, foram utilizadas as seis lentes apresentadas na Figura 6 e evidenciadas no Quadro 5 .

Figura 6
– Lentes da Análise Sistêmica

Quadro 5
– Lentes da Análise Sistêmica

Lente		O que busca?
1	Abordagem	Há harmonia entre a abordagem utilizada para a construção do modelo e sua aplicação?
2	Singularidade	Reconhece que o problema é único quanto ao contexto e atores envolvidos?
3	Processos para identificar	Processo para identificar os critérios/objetivos segundo a percepção do decisor?
4	Mensuração	As escalas (descritivas/nominais/ordinais/cardinais) utilizadas atendem à Teoria da Mensuração e suas propriedades (mensurabilidade/ operacionalidade/ homogeneidade/ inteligibilidade/ distinção entre os desempenhos melhor e pior)?
5	Integração	É realizada a integração dos indicadores em uma avaliação global?
6	Gestão	Permite diagnosticar os pontos fortes e fracos da situação atual? Disponibiliza processo para gerar ações de aperfeiçoamento?

Dutra et al. (2015)

A primeira lente apreciada na análise sistêmica busca responder a seguinte questão: A abordagem utilizada no artigo harmoniza o modelo construído com sua aplicação? Conforme Dutra et al. (2015) , a abordagem pode ser classificada conforme quatro categorias: normativista, descritivista, prescritivista e construtivista.

Na abordagem normativista, guiada pelo racionalismo, o pesquisador seleciona o modelo baseado no conhecimento científico, ou seja, na literatura existente e/ou conhecimentos de especialistas. Na abordagem descritivista, também racionalista, as variáveis para a construção do modelo são identificadas a partir do contexto físico e, de forma limitada e não obrigatória, pelo decisor ( TASCA, 2013 ).

Na abordagem prescritivista, o decisor consiste na fonte de dados utilizada para a construção do modelo, no entanto a construção do conhecimento ocorre para o facilitador. Por fim, na abordagem construtivista, de forma semelhante ao viés prescritivista, as variáveis que compõem o modelo são obtidas a partir do decisor, no entanto cabe ao facilitador apoiar o decisor nesse processo, em que a expansão do conhecimento ocorre no decisor ( TASCA, 2013 ).

O resultado desta análise é apresentado na Figura 7 . Observa-se que houve predominância das abordagens descritivista e normativista pelos autores dos artigos do PB. Em nenhum artigo foi utilizada a abordagem construtivista.

Figura 7
– Abordagem utilizada para a construção do modelo

Quanto ao local onde o modelo foi utilizado, é verificado se o contexto é genérico ou específico, sendo que por específico compreende-se o modelo aplicado a um contexto bem definido. Desta forma, 14 artigos do PB apresentaram-se em contextos genéricos, conforme apresentado na Figura 8 .

Figura 8
– Local onde o modelo é aplicado

A análise da harmonia entre a abordagem utilizada para a construção do modelo e sua aplicação foi realizada com base no Quadro 6 . Observa-se que ocorre harmonia nos casos A (abordagem realista e uso genérico) e D (abordagem prescritivista ou construtivista e uso específico).

Quadro 6
– Composições das abordagens e seus usos/aplicações para identificação da harmonia

	ABORDAGEM	USO/APLICAÇÃO	HARMONIA
A	REALISTA Normativista ou Descritivista	Genérico	SIM
B		Específico	NÃO
C	Prescritivista ou Construtivista	Genérico	NÃO
D		Específico	SIM

Tasca (2013)

A Figura 9 apresenta o resultado deste exame. Verifica-se que 12 artigos do PB apresentaram harmonia entre a abordagem utilizada e a aplicação do modelo. Da apreciação da primeira lente, é possível inferir a opção majoritária dos autores pelas abordagens realistas, com busca predominantemente no contexto físico e na literatura.

Figura 9
– Análise da harmonia entre a abordagem utilizada para a construção do modelo e seu uso

Na segunda lente, busca-se identificar se o problema abordado no artigo assume caráter único quanto ao contexto físico e atores envolvidos. Quanto aos atores envolvidos, observa-se que seis artigos consideram o decisor para a definição das variáveis que compõem o modelo, porém de forma parcial, e um considera o decisor para a construção integral do modelo. Nos demais artigos a figura do decisor não foi explicitada, conforme apresentado na Figura 10 .

Figura 10
– Participação do decisor no processo de apoio à decisão dos artigos do PB

Quanto ao contexto físico, 15 artigos reconhecem que o modelo não pode ser aplicado a outros contextos ( Figura 11 ).

Figura 11
– Artigos do PB que reconhecem o contexto físico como singular

O processo para identificação dos objetivos refere-se à necessidade de se incorporar ao modelo de avaliação os valores, as percepções e as preferências do decisor. Neste contexto, a terceira lente da análise sistêmica busca responder a seguinte questão: Como os autores dos artigos do PB identificam os objetivos segundo a percepção do decisor?

Esta análise é realizada em duas etapas. A primeira visa observar se o artigo reconhece a necessidade de expansão de conhecimento no decisor, enquanto na segunda, observa-se como os valores e preferências do decisor interferem na identificação dos objetivos. Da primeira análise, apresentada na Figura 12 , constata-se que em nenhum artigo houve a preocupação de gerar conhecimento no decisor.

Figura 12
– Reconhecimento dos limites de conhecimento do decisor

Em relação à segunda questão examinada, sete artigos consideram a percepção do decisor, porém apenas um o considera integralmente ( Figura 13 ).

Figura 13
– Processo considera os valores do decisor

Na quarta lente, o objetivo é identificar se as escalas (descritivas, nominais, ordinais ou cardinais) atendem à Teoria da Mensuração e suas propriedades (mensurabilidade, operacionalidade, homogeneidade, inteligibilidade e distinção entre os desempenhos melhor e pior). Assim, desta análise tem-se que oito artigos atendem às propriedades da Teoria da Mensuração ( Figura 14 ).

Figura 14
– Artigos do PB nos quais as escalas atendem às propriedades de mensurabilidade, operacionalidade, homogeneidade, inteligibilidade e permitir distinguir entre melhor e pior

Em relação às operações estatísticas utilizadas, sete artigos atendem à Teoria da Mensuração ( Figura 15 ).

Figura 15
– Artigos do PB nos quais as escalas atendem à Teoria da Mensuração

A quinta lente refere-se à integração dos critérios de avaliação de desempenho, permitindo a realização da avaliação global do contexto estudado. Conforme Valmorbida (2012) , a integração de escalas pode ser realizada de forma descritiva, gráfica, cardinal utilizando níveis de referência ou cardinal sem utilização de níveis de referência, em que por nível de referência compreendem-se níveis que permitem identificar quais ações são mais atrativas e quais apresentam desempenho inferior ao esperado. Conclui-se desta análise que em 14 artigos a integração dos indicadores é realizada, porém sem apresentar níveis de referência ( Figura 16 ).

Figura 16
– Artigos do PB que realizam a integração dos indicadores

Na sexta e última lente, os artigos do PB são examinados quanto ao processo de gestão. É analisado se o sistema de avaliação de desempenho permite conhecer a situação atual, realizar o monitoramento e gerar ações de melhorias. Neste sentido, é realizada a análise sob duas perspectivas. A primeira perspectiva é quanto ao diagnóstico, ou seja, se permite conhecer os pontos fortes e fracos da situação atual. A segunda é quanto ao aperfeiçoamento, ou seja, se permite a geração de ações de melhoria. Da primeira verificação resulta que 15 artigos realizaram o diagnóstico da situação atual, apresentando os pontos fortes e fracos do contexto ( Figura 17 ). A segunda dimensão analisada mostrou que 10 artigos apresentam ações de melhoria, porém apenas cinco desenvolveram um processo para esse fim ( Figura 18 ).

Figura 17
– Artigos do PB que fazem o diagnóstico da situação atual

Figura 18
– Artigos do PB que geram ações de aperfeiçoamento

Considerações finais

A partir da Análise Sistemática da Literatura realizada, utilizando o instrumento ProKnow-C, foi possível selecionar o fragmento da literatura que trata da avaliação de desempenho para o apoio à gestão de UO de Ifes, composto por 18 artigos. Da Análise Bibliométrica, verificou-se que os periódicos mais relevantes são Higher Education e Studies in Higher Education , que apresentam também os maiores Fatores de Impacto. O artigo mais relevante foi The development of HEdPERF: a new measuring instrument of service quality for the higher education sector , com 337 citações, e os autores mais expressivos foram Agasisti, T. e Johnes, G.

Da Análise Sistêmica, observou-se a opção preponderante dos autores pela utilização das abordagens realistas, com predominância da busca das variáveis no contexto físico e na literatura. A partir da análise da primeira lente, constatou-se que em nenhum artigo foi utilizada a abordagem construtivista, revelando uma lacuna de pesquisa. Apenas em sete artigos os decisores foram considerados para a seleção das variáveis, porém em apenas um de forma integral, e em nenhum artigo do PB houve a preocupação de gerar conhecimento para o decisor. Quanto ao processo de gestão, 10 artigos identificam ações de melhoria, porém apenas cinco apresentam um processo específico para este fim.

Desta análise, emerge como oportunidade de pesquisa a construção de um modelo de avaliação de desempenho que apoie à gestão de unidades organizacionais de universidades públicas, e que (i) utilize a abordagem construtivista harmonicamente ao uso/aplicação do modelo, (ii) que seja singular, identifique o decisor e considere suas preferências para a construção integral do modelo, (iii) oportunizando a geração de conhecimento no decisor através de um processo estruturado de identificação dos objetivos, (iv) utilizando escalas cardinais e ordinais compatíveis com a Teoria da Mensuração e suas propriedades, (v) permitindo a integração dos indicadores segundo as preferências do decisor a partir de níveis de referência e (vi) permitindo, ainda, gerar ações de melhoria por meio de processo estruturado, fornecendo desta forma embasamento ao decisor para demonstrar de que maneira deveria atuar para melhorar o desempenho no contexto avaliado.

Considera-se que uma limitação da presente pesquisa seja o número limitado de bases de dados utilizadas para o levantamento do PB, pois não abrange todo o universo de trabalhos científicos. Como possibilidade de pesquisas futuras, a fim de ampliar o conhecimento sobre a temática de estudo, sugere-se a construção de um estudo de redes de colaboração entre os pesquisadores que compõem o banco de artigos brutos. Ressalta-se ainda que a análise sistêmica é realizada através de lentes que explicitam a afiliação teórica do pesquisador, que na presente pesquisa consistiu na avaliação de desempenho como instrumento de apoio à decisão. Desta forma, pode-se considerar como recomendações para novas pesquisas, a análise que adote outras abordagens, englobando aspectos da literatura não vislumbrados na presente pesquisa, como o enfoque no processo avaliativo formativo.

Referências

• ABDULLAH, F. The development of HEdPERF: a new measuring instrument of service quality for the higher education sector. International Journal of Consumer Studies, Oxford, v. 30, n. 6, p. 569-581, Nov. 2006. https://doi.org/10.1111/j.1470-6431.2005.00480.x
  » https://doi.org/10.1111/j.1470-6431.2005.00480.x
• ABRUCIO, F. L. Trajetória recente da gestão pública brasileira: um balanço crítico e a renovação da agenda de reformas. Revista de Administração Pública, Rio de Janeiro, v. 41, n. esp, p. 67-86, 2007. https://doi.org/10.1590/S0034-76122007000700005
  » https://doi.org/10.1590/S0034-76122007000700005
• AGASISTI, T.; BONOMI, F. Benchmarking universities’ efficiency indicators in the presence of internal heterogeneity. Studies in Higher Education, [s. l.], v. 39, n. 7, p. 1237-1255, 2014. https://doi.org/10.1080/03075079.2013.801423
  » https://doi.org/10.1080/03075079.2013.801423
• AGASISTI, T.; JOHNES, G. Beyond frontiers: comparing the efficiency of higher education decision-making units across more than one country. Education Economics, v. 17, n. 1, p. 59-79, 2009. https://doi.org/10.1080/09645290701523291
  » https://doi.org/10.1080/09645290701523291
• AGASISTI, T.; JOHNES, G. Efficiency, costs, rankings and heterogeneity: the case of US higher education. Studies in Higher Education, [s. l.], v. 40, n. 1, p. 60-82, 2015. https:// doi.org/10.1080/03075079.2013.818644
• ALMEIDA, D. R., et al. Gerencialismo: efeitos no modelo de gestão em uma IFES. In: COLOQUIO INTERNACIONAL DE GESTIÓN UNIVERSTITARIA, 16., 2016, Arequipa, Peru, 2016. [S. n. t.].
• ANDRIOLA, W. B.; ARAÚJO, A. C. Uso de indicadores para diagnóstico situacional de Instituições de Ensino Superior. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 26, n. 100, p. 645-663, jul./set. 2018. https://doi.org/10.1590/s0104-40362018002601062
  » https://doi.org/10.1590/s0104-40362018002601062
• ARAÚJO, M. A. D.; PINHEIRO, H. D. Reforma gerencial do Estado e rebatimentos no Sistema educacional: um exame do REUNI. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 18, n. 69, p. 647-668, out./dez. 2010. https://doi.org/10.1590/S0104-40362010000400002
  » https://doi.org/10.1590/S0104-40362010000400002
• BRASIL. Ministério do Planejamento, Desenvolvimento e Gestão. PEP – Painel Estatístico de Pessoal. Brasília, DF, 2020. Disponível em: http://painel.pep.planejamento.gov.br/QvAJAXZfc/opendoc.htm?document=painelpep.qvw⟨=en-US&host=Local&anonymous=true%E2%80%8B. Acesso em: 27 mar. 2020.
  » http://painel.pep.planejamento.gov.br/QvAJAXZfc/opendoc.htm?document=painelpep.qvw⟨=en-US&host=Local&anonymous=true%E2%80%8B
• DOBIJA, D., et al. Rational and symbolic uses of performance measurement: experiences from Polish universities. Accounting, Auditing & Accountability Journal, Bingley, v. 32, n. 3, p. 750-781, 2019. https://doi.org/10.1108/AAAJ-08-2017-3106
  » https://doi.org/10.1108/AAAJ-08-2017-3106
• DUTRA, A., et al. The construction of knowledge from the scientific literature about the theme seaport performance evaluation. International Journal of Productivity and Performance Management, [s. l.], v. 64, n. 2, p. 243-269, 2015. https://doi.org/10.1108/IJPPM-01-2014-0015
  » https://doi.org/10.1108/IJPPM-01-2014-0015
• ENSSLIN, L., et al. Performance assessment model for bank client’s services and business development process: a constructivist proposal. International Journal Applied Decision Sciences, [s. l.], v. 11, n. 1, p. 100-126, 2018. https://doi.org/10.1504/IJADS.2018.088636
  » https://doi.org/10.1504/IJADS.2018.088636
• ENSSLIN, L., et al. Research process for selecting a theoretical framework and bibliometric analysis of a theme: illustration for the management of customer service in a bank. Modern Economy. v. 6, n. 6, p. 782-796, June 2015. https://doi.org/10.4236/me.2015.66074
  » https://doi.org/10.4236/me.2015.66074
• ENSSLIN, L.; DUTRA A.; ENSSLIN, S. R. MCDA: a constructivist approach to the management of human resources at a governamental agency. International Transactions in Operational Research. v. 7, p. 79-100, 2000.
• FAVERO, C. G. Avaliação de programas públicos: sistema de avaliação do Programa Nacional de Gestão Pública e Desburocratização aplicado na Marinha do Brasil: o caso do programa Netuno. Dissertação (Mestrado em Administração Pública) - Fundação Getúlio Vargas, Rio de Janeiro, RJ, Brasil, 2010.
• FILGUEIRAS, F. A tolerância à corrupção no Brasil: uma antinomia entre normas morais e prática social. Revista Opinião Pública. Campinas, v. 15, n. 2, p. 386-421, nov. 2009. https://doi.org/10.1590/S0104-62762009000200005
  » https://doi.org/10.1590/S0104-62762009000200005
• GUERRA, M. F.; BRITO, A. C.; SOARES, J. L. Avaliação de desempenho das instituições de ensino superior brasileiras: uma reflexão à luz da controladoria. Revista Espacios, Caracas, v. 38, n. 15, p. 11-22, 2017.
• KÖKSAL, G.; NALÇACI, B. The relative efficiency of departments at a Turkish engineering college: a data envelopment analysis. Higher Education, [s. l.], v. 51, p. 173-189, 2006. https://doi.org/10.1007/s10734-004-6380-y
  » https://doi.org/10.1007/s10734-004-6380-y
• KUZU, O. H. Strategy selection in the Universities via Fuzzy AHP Method: a case study. International Journal of Higher Education, [s..], v. 9, n. 2, p. 107-117, 2020. https://doi.org/10.5430/ijhe.v9n2p107
  » https://doi.org/10.5430/ijhe.v9n2p107
• LUZ, T. A., et al. Performance evaluation of information technology servisse: the state of the art recognition by a constructivist research process and bibliometrics. Perspectivas em Ciência da Informação, Belo Horizonte, v. 21, n. 2, p. 120- 140, abr./jun. 2016. https://doi.org/10.1590/1981-5344/2526
  » https://doi.org/10.1590/1981-5344/2526
• MACHORRO, F.; ROMERO, M. V. Propuesta de un instrumento de autoevaluación del desempeño organizacional en instituciones públicas de educación superior en México. Formación Universitaria, La Serena, v. 10, n. 3, p. 3-10, 2017. http://dx.doi.org/10.4067/S0718-50062017000300002
  » http://dx.doi.org/10.4067/S0718-50062017000300002
• MARRA, A.V.; MELO, M. C.O. L. A prática social de gerentes universitários em uma instituição pública. Revista de Administração Contemporânea, Curitiba, v. 9, n. 3, p. 9-31, jul./set. 2005. https://doi.org/10.1590/S1415-65552005000300002
  » https://doi.org/10.1590/S1415-65552005000300002
• MCCORMACK, J.; PROPPER, C.; SMITH, S. Herding cats? Management and university performance. The Economic Journal, London, v. 124, n. 578, p. 534-564, 2014. https://doi.org/10.1111/ecoj.12105
  » https://doi.org/10.1111/ecoj.12105
• MOLLIS, M.; MARGINSON, S. The assessment of universities in Argentina and Australia: between autonomy and heteronomy. Higher Education, [s. l.], v. 43, p. 311-330, 2002. https://doi.org/10.1023/A:1014603823622
  » https://doi.org/10.1023/A:1014603823622
• MORENO, A. A.; TADEPALLI, R. Assessing academic department efficiency at a public university. Managerial and Decision Economics, [s. l.], v. 23, n. 7, p. 385-397, Oct./Nov. 2002.
• MOTTA, P. R. M. O estado da arte da gestão pública. Revista de Administração de Empresas, São Paulo, v. 53, n. 1, p. 82-90, jan./fev. 2013. https://doi.org/10.1590/S0034-75902013000100008
  » https://doi.org/10.1590/S0034-75902013000100008
• ÖZDEMIR, A.; TÜYSÜZ, F. An integrated Fuzzy DEMATEL and Fuzzy ANP based Balanced Scorecard approach: application in Turkish higher education institutions. Journal of Multiple-Valued Logic & Soft Computing, [s. l.], v. 28, n. 2-3, p. 251-287, 2015.
• PEREIRA, C. A.; PEREIRA, N. S. P.; MONTEIRO, R. P. Mapeamento conceitual do Balanced Scorecard no ensino superior. Revista Capital Científico - Eletrônica. Guarapuava, v. 13, n. 3, p. 10-27, 2015. https://doi.org/10.5935/2177-4153.20150019
  » https://doi.org/10.5935/2177-4153.20150019
• PLACEK, M.; OCHRANA, F.; PUCEK, M. Benchmarking in Czech higher education: the case of schools of economics. Journal of Higher Education Policy and Management, [s. l.], v. 37, n. 4, p. 374-384, 2015. https://doi.org/10.1080/1360080X.2015.1056601
  » https://doi.org/10.1080/1360080X.2015.1056601
• ROESCH, S. M. A. Projetos de estágio e de pesquisa em administração. 3a ed. São Paulo: Atlas, 2005.
• ROSA, M. J.; SARAIVA, P. M.; DIZ, H. Defining strategic and excellence bases for the development of Portuguese higher education. European Journal of Education, [s. l.], v. 40, n. 2, p. 205-221, 2005. https://doi.org/10.1111/j.1465-3435.2005.00220.x
  » https://doi.org/10.1111/j.1465-3435.2005.00220.x
• SANTOS, L.P.G. Uma contribuição à discussão sobre a avaliação de desempenho das Instituições de Ensino Superior: uma abordagem da gestão econômica. Revista Contabilidade & Finanças, São Paulo, v. 13, n. 28, p. 86-99, 2002. https://doi.org/10.1590/S1519-70772002000100006
  » https://doi.org/10.1590/S1519-70772002000100006
• SANTOS, R. N. M.; ELIEL, R. A.; ELIEL, O. A ciência e o novo estado do conhecimento: a contribuição da ciência da informação. Encontros Bibli – Revista Eletrônica de Biblioteconomia e Ciências da Informação, Florianópolis, v. 11, n. 22, p. 16-29, 2006. https://doi.org/10.5007/1518-2924.2006v11n22p16
  » https://doi.org/10.5007/1518-2924.2006v11n22p16
• TASCA, J.E. A contribuição da avaliação de desempenho, como um instrumento de apoio à decisão, para a prevenção ao crime baseada no ambiente. Tese (Doutorado em Engenharia de Produção). Universidade Federal de Santa Catarina – UFSC, Florianópolis, Brasil, 2013.
• TASCA, J. E., et al. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, [s. l.], v. 34, n. 7, p. 631-655, 2010. https://doi.org/10.1108/03090591011070761
  » https://doi.org/10.1108/03090591011070761
• UMASHANKAR, V.; DUTTA, K. Balanced scorecards in managing higher education institutions: an Indian perspective. International Journal of Educational Management, [s. l.], v. 21, n. 1, p.5 4-67, 2007. https://doi.org/10.1108/09513540710716821
  » https://doi.org/10.1108/09513540710716821
• VALMORBIDA, S.M.I. Avaliação de desempenho como instrumento de apoio ao gerenciamento da Diretoria de Planejamento e Administração de uma Universidade Pública Federal: uma perspectiva multicritério. Dissertação (Mestrado em Contabilidade). Universidade Federal de Santa Catarina – UFSC, Florianópolis, 2012.
• YOUSIF, M.K.; SHAOUT, A. Fuzzy logic computacional model for performance evaluation of Sudanese Universities and academic staff. Journal of King Saud University – Computer and Information Sciences, v. 30, n. 1, p. 80-119, Jan. 2018. https://doi.org/10.1016/j.jksuci.2016.08.002
  » https://doi.org/10.1016/j.jksuci.2016.08.002
• ZUNIGA-JARA,S., et al. Midiendo la creación de valor en una Universidad. Formación Universitaria, La Serena, v. 11, n. 3, p. 87-96, 2018. https://doi.org/10.4067/S0718-50062018000300087
  » https://doi.org/10.4067/S0718-50062018000300087

Datas de Publicação

• Publicação nesta coleção
  18 Jan 2021
• Data do Fascículo
  Jan-Mar 2021

Histórico

• Recebido
  03 Nov 2018
• Aceito
  24 Set 2020