Acessibilidade / Reportar erro

Remendo novo em roupa velha? SINAES* * Utilizou-se a palavra “SINAES”, uma abreviatura que representa o Sistema Nacional de Avaliação do Ensino Superior por ser uma palavra homônoma homófona à palavra “SINAIS”, a escolha foi intencional com o objetivo de relacionar os aspectos da reforma do “SINAES” com os “sinais” de maturidade ou saturação do modelo. de maturidade ou de saturação do modelo de avaliação do ensino superior brasileiro

NEW PATCH IN OLD CLOTHES? SINAES OF MATURITY OR SATURATION OF THE BRAZILIAN HIGHER EDUCATION EVALUATION MODEL

¿REMENDO NUEVO EN ROPA VIEJA? SINAES DE MADUREZ O DE SATURACIÓN DEL MODELO DE EVALUACIÓN DE LA ENSEÑANZA SUPERIOR BRASILEÑA

RESUMO

Estudo aplicado ao contexto da avaliação externa do ensino superior do Brasil. Foram discutidas as recentes reformas no contexto do modelo de avaliação brasileiro (2016-2018). O novo cenário é explicado com base no mapeamento conceitual com um diagrama visual, permitindo a visão sistêmica da aplicação dos novos indicadores de qualidade relativos aos estudantes e do novo modelo de recrutamento de avaliadores do ensino superior. Realizou-se uma análise longitudinal de onze anos dos resultados das ações da avaliação externa do modelo (2004-2014), que antecedeu o início da reforma. A análise cruzou os dados das avaliações in loco com microdados das avaliações do Exame Nacional de Desempenho dos Estudantes. A metodologia de investigação utilizou a triangulação, com combinação de múltiplos métodos qualitativos e quantitativos. Os resultados destacam a capacidade de resposta do modelo em um cenário massificado que apresentou uma média anual de 3.500 ações avaliativas externas envolvendo visitas de avaliadores.

PALAVRAS-CHAVE:
ensino superior; avaliação; SINAES; avaliação externa; instituições de ensino superior

ABSTRACT

Study applied to the context of the external assessment of higher education in Brazil. Recent reforms were discussed in the context of the Brazilian evaluation model (2016-2018). The new scenario is explained based on the conceptual mapping with a visual diagram, allowing a systemic view of the application of the new quality indicators related to students and the new model of recruitment of higher education evaluators. An eleven years longitudinal analysis of the results of the external evaluation actions of the model (2004-2014) was carried out, which preceded the beginning of the reform. The analysis cross-checked the data from the on-site micro-data evaluations of the Exame Nacional de Desempenho dos Estudantes (National Student Performance Exam). The research methodology used triangulation, with a combination of multiple qualitative and quantitative methods. The results highlight the model’s responsiveness in a mass scenario that presented an annual average of 3,500 external evaluation actions involving visits by evaluator.

KEYWORDS:
higher education; assessment; SINAES; external evaluation; higher education institutions

RESUMEN

Estudio aplicado al contexto de la evaluación externa de la enseñanza superior en Brasil. Se discutieron las recientes reformas en el contexto del modelo de evaluación brasileño (2016-2018). El nuevo escenario se explica en base al mapeo conceptual con un diagrama visual, permitiendo la visión sistémica de la aplicación de los nuevos indicadores de calidad relativos a los estudiantes y al nuevo modelo de reclutamiento para evaluadores del enseñanza superior. Se realizó un análisis longitudinal de once años de los resultados de las acciones de la evaluación externa del modelo (2004-2014), que antecedió al inicio de la reforma. El análisis cruzó los datos de las evaluaciones in loco con microdatos de las evaluaciones del Exame Nacional de Desempenho dos Estudantes (Examen Nacional de Rendimiento Estudiantil). La metodología de investigación utilizó la triangulación, combinando varios métodos cualitativos y cuantitativos. Los resultados destacan la capacidad de respuesta del modelo en un escenario masificado que presentó un promedio anual de 3.500 acciones de evaluación externa que incluyen visitas de evaluadores.

PALABRAS CLAVE:
enseñanza superior; evaluación; SINAES; evaluación externa; instituciones de enseñanza superior

INTRODUÇÃO

Avaliação ou acreditação do ensino superior? Essa questão é abrangente e apresenta diferentes iniciativas e características dos modelos em atividade no ensino superior pelo mundo. Avaliar a qualidade das Instituições de Ensino Superior (IES), dos cursos oferecidos, dos professores ou dos alunos? Ou avaliar todos? Considerar as boas práticas ou criar um ranking? Qual modelo escolher para estabelecer um sistema de avaliação ou acreditação do ensino superior que tenha aderência à cultura e às práticas pelos países?

Essas são algumas perguntas iniciais para reflexão e introdução às políticas educacionais que procuram delinear as práticas de asseguração de qualidade no ensino superior pelas agências reguladoras responsáveis por sua gestão, independentemente de seus países.

As agências de acreditação e avaliação pelo mundo têm discutido e buscado o desenvolvimento da qualidade do ensino superior mediante iniciativas que procuram avaliar o desempenho dos cursos e dos estudantes. Pode-se exemplificar com as iniciativas como a da Organização para a Cooperação e o Desenvolvimento Econômico (OCDE), que aplica um teste internacional de avaliação do desempenho a alunos recém-formados de graduação (Morgan e Shahjahan, 2014MORGAN, C.; SHAHJAHAN, R. A. The legitimation of OECD’s global educational governance: examining PISA and AHELO test production. Comparative Education, United Kingdom, v. 50, n. 2, p. 192-205, 2014. http://dx.doi.org/10.1080/03050068.2013.834559
https://doi.org/http://dx.doi.org/10.108...
; Richardson e Coates, 2014RICHARDSON, S.; COATES, H. Essential foundations for establishing equivalence in cross-national higher education assessment. Higher Education, Netherlands, v. 68, n. 6, p. 825-836, 2014. http://dx.doi.org/10.1007/s10734-014-9746-9
https://doi.org/http://dx.doi.org/10.100...
; Shahjahan, 2013SHAHJAHAN, R. A. Coloniality and a global testing regime in higher education: unpacking the OECD’s AHELO initiative. Journal of Education Policy, United Kingdom, v. 28, n. 5, p. 676-694, 2013. http://dx.doi.org/10.1080/02680939.2012.758831
https://doi.org/http://dx.doi.org/10.108...
; Shahjahan e Torres, 2013SHAHJAHAN, R. A.; TORRES, L. E. A “Global Eye” for Teaching and Learning in Higher Education: a critical policy analysis of the OECD’s AHELO study. Policy Futures in Education, [S.l.], v. 11, n. 5, p. 606-620, 2013. http://dx.doi. org/10.2304/pfie.2013.11.5.606
https://doi.org/http://dx.doi. org/10.23...
), denominado Assessment of Higher Education Learning Outcomes (AHELO), que mede a efetividade de sistemas de educação e elabora estratégias de auditoria, no intuito de legitimar sua atuação em todo o mundo (Barzelay, 2014BARZELAY, M. Instituições centrais de auditoria e auditoria de desempenho: uma análise comparativa das estratégias organizacionais na OCDE. Revista do Serviço Público, Brasília, v. 53, n. 2, p. 5-35, 2014. https://doi.org/10.21874/rsp.v53i2.283
https://doi.org/https://doi.org/10.21874...
; Hanushek, Link e Woessmann, 2013HANUSHEK, E. A.; LINK, S.; WOESSMANN, L. Does school autonomy make sense everywhere? Panel estimates from PISA. Journal of Development Economics, Netherlands, v. 104, n. 1, p. 212-232, 2013. http://dx.doi.org/10.1016/j.jdeveco.2012.08.002
https://doi.org/http://dx.doi.org/10.101...
; Lenkeit e Caro, 2014LENKEIT, J.; CARO, D. H. Performance status and change: measuring education system effectiveness with data from PISA 2000-2009. Educational Research and Evaluation, United Kingdom, v. 20, n. 2, p. 146-174, 2014. http://dx.doi.org/10.1080/13803611.2014.891462
https://doi.org/http://dx.doi.org/10.108...
; Morgan e Shahjahan, 2014MORGAN, C.; SHAHJAHAN, R. A. The legitimation of OECD’s global educational governance: examining PISA and AHELO test production. Comparative Education, United Kingdom, v. 50, n. 2, p. 192-205, 2014. http://dx.doi.org/10.1080/03050068.2013.834559
https://doi.org/http://dx.doi.org/10.108...
; Soh, 2014SOH, K. Finland and Singapore in PISA 2009: similarities and differences in achievements and school management. Compare: A Journal of Comparative and International Education, United Kingdom, v. 44, n. 3, p. 455-471, 2014. http://dx.doi.org/10.1080/03057925.2013.787286
https://doi.org/http://dx.doi.org/10.108...
).

Para certificar a qualidade nos processos de avaliação e acreditação pelas agências, existem reconhecidas organizações internacionais como a European Association for Quality Assurance in Higher Education (ENQA) e a Advancing Quality Management Education Worldwide (AACSB), entre inúmeras outras (Blomqvist et al., 2012BLOMQVIST, C.; DONOHOE, T.; KELO, M.; LINDE, K. J.; LLAVORI, R.; MAGUIRE, B.; SANCHEZ, T. Quality assurance and qualifications frameworks: exchanging good practice. ENQA Workshop Report 21. Dublin: European Association for Quality Assurance in Higher Education, 2012. Disponível em: Disponível em: https://eric.ed.gov/?id=ED541665 . Acesso em: 10 jan. 2019.
https://eric.ed.gov/?id=ED541665...
; Maccari et al., 2014MACCARI, E. A.; ALMEIDA, M. I. R.; RICCIO, E. L.; ALEJANDRO, T. B. Proposta de um modelo de gestão de programas de pós-graduação na área de Administração a partir dos sistemas de avaliação do Brasil (CAPES) e dos Estados Unidos (AACSB). Revista de Administração (São Paulo), São Paulo, v. 49, n. 2, p. 369-383, 2014. https://doi.org/10.5700/rausp1152
https://doi.org/https://doi.org/10.5700/...
).

Por volta do ano 2000, a Organisation for Economic Co-operation and Development (OECD, 1999OECD - Organisation for Economic Co-Operation and Development. Quality and Internationalization in Higher Education. Programme on Institutional Management in Higher Education. Paris: IMHE, 1999. http://dx.doi.org/10.1787/9789264173361-en
https://doi.org/http://dx.doi.org/10.178...
) menciona as diferentes culturas entre modelos de acreditação e avaliação e, como exemplo, considera os diferentes padrões de garantia de qualidade entre Estados Unidos e Reino Unido. Em 2009, as discussões inerentes à qualidade e garantia da qualidade aplicadas ao ensino superior continuam a ressaltar a necessidade de promover a cultura da qualidade. Harvey (2009HARVEY, L. Deconstructing quality culture. Presentation given in a European Association for Institutional Research (EAIR) . Annual Conference in Vilnius. Vilnius, Lituânia: EAIR, 2009., p. 1) evidencia que a cultura da qualidade tende a ser entendida como resultado de melhores processos internos: “There is increasingly a taken-for-granted view that quality culture is about the development of, and compliance with, processes of internal quality assurance”.Lanares (2008LANARES, J. Developing a quality culture to become a world-class university. In: FROMENT, E.; KOHLER, J.; PURSER, L.; WISON, L. (org.). Paths to a world-class university. Brussels: Sense Publishers, 2008. p. 263-274., p. 13) explica que, entre duas formas em que as IES podem desenvolver a qualidade como cultura, deve-se preferir a segunda delas, em que a continuidade da cultura tende a facilitar a mudança:

In some cases, the institution will introduce quality assurance. This will imply new values which will have to be integrated in the organizational culture. In other ones, the creation of quality assurance will start from the existing quality culture. Once finalized, quality assurance will in turn influence and modify the quality culture.

Esse cenário de análise parecer fluir em direção às previsões de Lamarra e Centeno (2016LAMARRA, N. F.; CENTENO, C. G. P. La educación superior latinoamericana en el inicio del nuevo siglo. Situación, principales problemas y perspectivas futuras. Revista Española de Educación Comparada, Madrid, n. 27, p. 123-148, 2016. http://dx.doi.org/10.5944/reec.27.2016.15044
https://doi.org/http://dx.doi.org/10.594...
, p. 138), quando afirmam que os processos de garantia de qualidade na América Latina têm sido fortemente influenciados pelos ocorridos anteriormente na América do Norte (Estados Unidos e Canadá) e na Europa.

A EVOLUÇÃO DA ACCOUNTABILITY E DA QUALIDADE NOS SISTEMAS DE AVALIAÇÃO

Harvey e Askling (2003HARVEY, L.; ASKLING, B. Quality in higher education. In: BEGG, R. The dialogue between higher education research and practice. Netherlands: Springer; Kluwer Academic Publishers, 2003. p. 69-83.) afirmam que foi nos anos de 1990 que a busca pela qualidade emergiu no cenário do ensino superior. Assim, veio à tona o imperativo de se apresentar eficiência e efetividade nos serviços públicos, oriundo dos ideais da New Public Management (NPM) (Hood, 1989HOOD, C. Public administration and public policy: intellectual challenges for the 1990s. Australian Journal of Public Administration, United States, v. 48, n. 1, p. 346-358, 1989. http://dx.doi.org/10.1111/j.1467-8500.1989.tb02235.x
https://doi.org/http://dx.doi.org/10.111...
; Pollitt, 1993POLLITT, C. Managerialism and the public services. The Anglo-American Experiences. Oxford: Basil Blackwell, 1993.), não sendo possível a isenção das IES dessa nova exigência de produzir mais com menos custos (Bleiklie, 1998BLEIKLIE, I. Justifying the evaluative state: new public management ideals in higher education. European Journal of Education, United States, v. 33, n. 3, p. 299-316, 1998.). As IES passaram a incorporar essas mudanças (Askling e Henkel, 1988ASKLING, B.; HENKEL, M. Higher education institutions. In: KOGAN, M.; BAUER, M.; BLEIKLIE, I.; HENKEL, M. (org.). Transforming higher education. A comparative study. Netherlnds: Springer, 1988. p. 85-100.) na tentativa de acompanhar a ascensão do “The Evaluative State” (Neave, 1988NEAVE, G. On the cultivation of quality, efficiency and enterprise: an overview of recent trends in higher education in Western Europe, 1986-1988. European Journal of Education, United States, v. 23, n. 1/2, p. 7-23, 1988. http://dx.doi.org/10.2307/1502961
https://doi.org/http://dx.doi.org/10.230...
) cultivando a qualidade, a eficiência e a cultura empreendedora no ensino superior.

Nesse status quo, Santos (2011SANTOS, S. M. Análise comparativa dos processos europeus para a avaliação e certificação de sistemas internos de garantia da qualidade. Lisboa: Agência de Avaliação e Acreditação do Ensino Superior (A3ES), 2011.) posiciona o ensino superior como uma responsabilidade pública e ressalta a importância de governos e sociedade de zelarem pela sua qualidade, o que ocorreu pela necessidade de garantir a qualidade das IES por meio dos poderes públicos, fato que pode ser evidenciado em diversos modelos de acreditação baseados na autorregulação. A abordagem de responsabilização dos governos pela qualidade do ensino superior, sua acreditação e avaliação tem sido ressaltada nas diversas comunidades acadêmicas (Bleiklie, 1998BLEIKLIE, I. Justifying the evaluative state: new public management ideals in higher education. European Journal of Education, United States, v. 33, n. 3, p. 299-316, 1998.; Cret, 2011CRET, B. Accreditations as local management tools. Higher Education, Netherlands, v. 61, n. 4, p. 415-429, 2011. http://dx.doi.org/10.1007/s10734-010-9338-2
https://doi.org/http://dx.doi.org/10.100...
; Deem, 1998DEEM, R. “New managerialism” and higher education: the management of performances and cultures in universities in the United Kingdom. International Studies in Sociology of Education, United Kingdom, v. 8, n. 1, p. 47-70, 1998. http://dx.doi.org/10.1080/0962021980020014
https://doi.org/http://dx.doi.org/10.108...
; Neave, 1998NEAVE, G. The evaluative state reconsidered. European Journal of Education, United States, v. 33, n. 3, p. 265-284, 1998. Disponível em: Disponível em: http://www.jstor.org/stable/1503583 . Acesso em: 15 jan. 2019.
http://www.jstor.org/stable/1503583...
; Stensaker et al., 2011STENSAKER, B.; LANGFELDT, L.; HARVEY, L.; HUISMAN, J.; WESTERHEIJDEN, D. An in-depth study on the impact of external quality assurance. Assessment & Evaluation in Higher Education, United Kingdom, v. 36, n. 4, p. 465-478, 2011. http://dx.doi.org/10.1080/02602930903432074
https://doi.org/http://dx.doi.org/10.108...
).

Em suma, têm-se assistido à evolução dos modelos e sistemas de avaliação e de garantia da qualidade de forma globalizada. O governo de cada país tem adaptado suas regras, melhorias e órgãos de controle de forma diferenciada. Por exemplo, o uso dos processos de avaliação na Comunidade Europeia (ENQA, 2005ENQA - European Association for Quality Assurance in Higher Education. Standards and guidelines for quality assurance in the European higher education area. Helsinki: ENQA, 2005., 2007ENQA - European Association for Quality Assurance in Higher Education. Report on standards and guidelines for quality assurance in the European higher education area. Helsinki: ENQA , 2007., 2009ENQA - European Association for Quality Assurance in Higher Education. Current trends in European Quality Assurance. Workshop report 8. Helsinki: ENQA , 2009.; Rosa et al., 2011ROSA, M. J.; CARDOSO, S.; DIAS, D.; AMARAL, A. The EUA Institutional Evaluation Programme: an account of institutional best practices. Quality in Higher Education, United Kingdom, v. 17, n. 3, p. 369-386, 2011. http://dx.doi.org/10.1080/13538322.2011.625207
https://doi.org/http://dx.doi.org/10.108...
), os processos de acreditação nos Estados Unidos (Eaton, 2009EATON, J. S. Accreditation in the United States. New directions for Higher Education, Netherlands, v. 2009, n. 145, p. 79-86, 2009. http://dx.doi.org/10.1002/he.337
https://doi.org/http://dx.doi.org/10.100...
, 2012EATON, J. S. An overview of US accreditation-revised. Council for Higher Education Accreditation. Washington, DC: CHEA, 2012.; Harvey, 1995HARVEY, L. Beyond TQM. Quality in Higher Education, United Kingdom, v. 1, n. 2, p. 123-146, 1995. http://dx.doi.org/10.1080/1353832950010204
https://doi.org/http://dx.doi.org/10.108...
, 2002HARVEY, L. Evaluation for What? Teaching in Higher Education, United Kingdom, v. 7, n. 3, p. 245-263, 2002. http://dx.doi.org/10.1080/13562510220144761
https://doi.org/http://dx.doi.org/10.108...
; Massy, 2005MASSY, W. F. Academic audit for accountability and improvement. Achieving accountability in higher education: balancing public, academic and market demands. San Francisco: Jossey-Bass, 2005.) e os sistemas de avaliação híbridos ou alternados na América Latina e países do Leste Europeu (Brasil, 2004BRASIL. Lei n. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior (SINAES) e dá outras providências. Diário Oficial da União: seção I, Brasília, DF, edição 72, p. 3-4, 15 abr. 2004. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm . Acesso em: 19 jan. 2019.
http://www.planalto.gov.br/ccivil_03/_at...
; Lamarra, 2006LAMARRA, F. N. La evaluación y la acreditación de la calidad: situación, tendencias y perspectivas. Informe sobre la educación superior en América Latina y el Caribe. In: UNESCO. La metamorfosis de la educación superior. Caracas: UNESCO, 2006. p. 31-42., 2007LAMARRA, N. F. La universidad en America Latina y Argentina: problemas y desafios políticos y de gestión. Revista Gestão Universitária na América Latina - GUAL, Florianópolis, v. 1, n. 1, p. 40-64, 2007. https://doi.org/10.5007/%25x
https://doi.org/https://doi.org/10.5007/...
; Santos, 2011SANTOS, S. M. Análise comparativa dos processos europeus para a avaliação e certificação de sistemas internos de garantia da qualidade. Lisboa: Agência de Avaliação e Acreditação do Ensino Superior (A3ES), 2011.).

No contexto do ensino superior brasileiro, Polidori (2009POLIDORI, M. M. Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e... outros índices. Avaliação: Revista da Avaliação da Educação Superior, Sorocaba, v. 14, n. 2, p. 439-452, 2009. https://doi.org/10.1590/S1414-40772009000200009
https://doi.org/https://doi.org/10.1590/...
, p. 440-441) ressalta que as reformas ocorridas durante o governo de Fernando Henrique Cardoso (1995-2003) culminaram na privatização ou concessão ao setor privado da execução de funções e serviços públicos, incluindo-se a educação superior. A partir desse marco, denominado por Felix (2008FELIX, G. T. Reconfiguração dos modelos de universidade pelos formatos de avaliação: efeitos no Brasil e Portugal. 2008. 228 f. Tese (Doutorado em Educação) - Faculdade de Educação, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2008.) de “construção da avaliação emancipatória”, a implantação do Sistema Nacional de Avaliação da Educação Superior (SINAES) passou a ter o objetivo de desenvolver, no país, uma política de avaliação aderente à sua realidade sui generis.

De certa forma, essas mudanças tentaram ajustar o cenário brasileiro às sugestões do relatório publicado pelo Observatory on Borderless Higher Education:

  • priorizando o conhecimento para o desenvolvimento da nação;

  • incluindo alterações de forma racional no ensino superior;

  • diminuindo relações desiguais entre países em desenvolvimento;

  • implantando políticas de democratização do acesso e qualidade do ensino superior;

  • combatendo a visão errônea de priorização da educação básica em detrimento do ensino superior (Naidoo, 2007NAIDOO, R. Higher education as a global commodity: the perils and promises for developing countries. The Observatory on Borderless Higher Education. London: TOBHE, 2007., p. 2-9).

Quanto ao crescimento desenfreado do ensino superior na América Latina, Lamarra e Cóppola (2007LAMARRA, N. F.; CÓPPOLA, N. Educación superior y calidad en América Latina y Argentina: los procesos de evaluación y acreditación. Buenos Aires: EDUNTREF, 2007., p. 18) e Lamarra e Centeno (2016LAMARRA, N. F.; CENTENO, C. G. P. La educación superior latinoamericana en el inicio del nuevo siglo. Situación, principales problemas y perspectivas futuras. Revista Española de Educación Comparada, Madrid, n. 27, p. 123-148, 2016. http://dx.doi.org/10.5944/reec.27.2016.15044
https://doi.org/http://dx.doi.org/10.594...
, p. 137) afirmam que foram criados diversos tipos de IES universitárias e não universitárias,1 1 . No caso brasileiro, as instituições não universitárias são representadas pelos institutos federais. em sua maioria privadas, como tentativa de atender à demanda crescente do mercado, mas que nesse cenário não foram previamente pensados critérios de qualidade e de pertinência institucional. Essa afirmativa reforça a necessidade de criação de um modelo de avaliação do ensino superior capaz de fornecer resposta às demandas emergentes, sem perder o foco na qualidade.

Essas iniciativas consolidaram uma proposta de implantação de um modelo de qualidade no ensino superior brasileiro que vai de encontro ao modelo de supervisão estatal, que segundo Neave e Van Vught (1994NEAVE, G.; VAN VUGHT, F. A. Government and higher education relationships across three continents: the winds of change. United Kingdom: Pergamon Press, Elsevier Science, 1994. (Higher Education Series, 2).), reconhece que o estado tem dificuldade e ineficiência de controlar um sistema dinâmico de educação superior massificado, complexo e em constante mutação.

Em síntese, a proposta seguiu a tendência internacional de transformar o governo em um órgão regulador do ensino superior, não mais atuando como controlador, para isso tendo idealizado a implantação do SINAES. Para Amaral e Magalhães (2001AMARAL, A.; MAGALHÃES, A. On markets, autonomy and regulation the Janus Head revisited. Higher Education Policy, Netherlands, v. 14, n. 1, p. 7-20, 2001. https://doi.org/10.1016/S0952-8733(00)00028-3
https://doi.org/https://doi.org/10.1016/...
), esse modelo de ensino superior permite poucas intervenções nas decisões diárias das IES em virtude de sua autonomia,2 2 . No Brasil, as universidades possuem autonomia para criar, alterar e extinguir cursos de ensino superior, entre outras atribuições. Durham (2003, p. 276-277) afirma que a universidade goza de autonomia para executar essas atividades que lhes são próprias e não são realizadas para seu interesse exclusivo, mas constituem um serviço que presta à sociedade. Como consequência, o reconhecimento da autonomia não exime as instâncias públicas mais amplas da verificação da prestação efetiva desses serviços. Essa prerrogativa de autonomia não é facilmente encontrada em outros cenários, cite-se, por exemplo, o caso da The Encyclopedia of Higher Education (Schwartzman, Clark e Neave, 1992), que não apresenta nenhum capítulo discutindo a autonomia das universidades. limitando-se ao governo a tarefa posterior de direção, supervisão e avaliação de desempenho.

No biênio 2015-2017, o modelo brasileiro de avaliação passou a ter um papel de destaque no processo de avaliação da qualidade do ensino superior no âmbito do Mercado Comum do Sul (Mercosul):3 3 . Mercosul é um bloco sub-regional composto pelos países aderentes: Argentina, Brasil, Paraguai, Uruguai e Venezuela. Países associados: Chile, Bolívia, Peru, Colômbia e Equador e países observadores: Nova Zelândia e México. a escolha do Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira” (INEP) para conduzir a Secretaria da Rede de Agências Nacionais de Acreditação (RANA) (Brasil, 2016aBRASIL. Portaria n. 388, de 10 de maio de 2016. Aprova o Regimento interno da Comissão Técnica de Acompanhamento da Avaliação - CTAA. Diário Oficial da União, Brasília, seção I, edição 89, p. 38, 11 maio 2016a. Disponível em: Disponível em: http://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/content/id/21519877 . Acesso em: 12 fev. 2020.
http://www.in.gov.br/materia/-/asset_pub...
),4 4 . Conforme portaria n. 388, de 2016, artigo 1º, a gestão ocorrerá sob a responsabilidade da Comissão Técnica de Acompanhamento da Avaliação (CTAA). que compõe o Sistema de Acreditação Regional de Cursos de Graduação do Mercosul (Arcu-Sul).

O Arcu-Sul é resultado de um acordo entre os ministros de Educação da Argentina, Brasil, Paraguai, Uruguai, Bolívia e Chile, homologado pelo Conselho do Mercosul, em 2008. (Argentina, 2008ARGENTINA. Decisão do Conselho de Mercado Comum - CMC n. 17, de 30 de junho de 2008. Acordo sobre a criação e a implementação de um sistema de credenciamento de cursos de graduação para o reconhecimento regional da qualidade acadêmica dos respectivos diplomas no Mercosul e Estados associados. San Miguel de Tucumán: Argentina. Disponível em: Disponível em: http://portal.mec.gov.br/dmdocuments/dec_017_conae.pdf . Acesso em: 7 dez. 2018.
http://portal.mec.gov.br/dmdocuments/dec...
).5 5 . Decisão do Conselho de Mercado Comum n. 17 (Argentina, 2008).

UM PANORAMA DA DIMENSÃO DO ENSINO SUPERIOR BRASILEIRO

Apresenta-se então a situação do ensino superior no país com base nos dados oficiais publicados. Para isso, consideraram-se os microdados do Censo da Educação Superior Brasileira de 2014 (INEP, 2014aINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2014. Brasília, DF: MEC; INEP , 2014a. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
); os dados divulgados pelo INEP relativos a 2014 (INEP, 2015INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Censo da Educação Superior 2015. Brasília, DF: MEC; INEP , 2015.) e os microdados do Exame Nacional de Desempenho dos Estudantes (ENADE) de 2014 (INEP, 2014bINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do Censo da Educação Superior 2014. Brasília, DF: MEC; INEP , 2014b. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 2 jan. 2019.
http://inep.gov.br/microdados...
). Nessa análise, por padronização, foram considerados os dados relativos a 2014 por serem esses os que se encontravam publicados até o início das ações da reforma do ensino superior em 2016.

Com o crescimento desordenado das IES no Brasil entre 1996 e 2003, houve uma evolução do número das 894 instituições existentes, em 1995, para 1.859, em 2003. Subsequentemente, ocorreu a expansão de matrículas no ensino superior, aumentando de aproximadamente 1.759 matrículas em 1995 para 3.887 em 2003 (INEP, 2004aINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2014. Brasília, DF: MEC; INEP , 2014a. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
).

O Censo da Educação Superior Brasileira de 2014 (INEP, 2014aINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2014. Brasília, DF: MEC; INEP , 2014a. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
) aponta em relatório estatístico, publicado no mês de julho de 2016, que existiam 2.368 IES6 6 . As 2.368 IES mencionadas são responsáveis, em conjunto, pela oferta de 32.878 cursos de ensino superior no país. e 7.828.013 matrículas no ensino superior do país (INEP, 2015INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Censo da Educação Superior 2015. Brasília, DF: MEC; INEP , 2015.), conforme representado na Tabela 1.

Tabela 1 -
Estatísticas gerais da educação superior do Brasil em 2014.

O Gráfico 1 apresenta de forma longitudinal a evolução das IES no país entre os anos de 2000 e 2014. Nota-se que o volume de crescimento do ensino superior ocorreu fortemente entre 2000 e 2006, praticamente duplicando a quantidade de IES privadas e aumentando em 41% o número de IES públicas. Entre 2007 e 2014, enquanto o número de IES privadas praticamente estagnou, as públicas aumentaram em 20%.

Gráfico 1 -
Análise longitudinal da evolução das Instituições de Ensino Superior no país entre os anos 2000-2014.

Ressalte-se que, entre o total de matrículas no ensino superior, 75% referem-se à matrículas em IES privadas, representando que três quartos dos alunos então matriculados nesse nível estudam no ensino privado e suportam o pagamento de mensalidades. Apenas 25% de matrículas dos estudantes são realizadas em IES públicas e sem ônus financeiro.

Em relação ao número de IES, a característica do modelo brasileiro de apresentar um ensino superior predominantemente privado (87,4%) permite a clara evidenciação da pequena proporção de IES públicas (12,6%). Por consequência, estabelece-se a proposição de ensino superior voltado para o “mercado”, em que a maioria das instituições tem como objetivo o lucro, tendo como contraponto a capacidade do governo atual como órgão regulador de um sistema que tende a ser extremamente dinâmico e focado em resultados (quantidade de matrículas).

Considerando a relação total entre docentes e matrículas no ensino superior apresentada na Tabela 2, o resultado demonstra a associação média de um professor para cada 20,4 ingressantes, independentemente do tipo de ensino. Destaca-se na esfera pública que a mesma relação é representada por 1 professor para 12 ingressantes, enquanto nas privadas sobe para 1 professor para 26,6 ingressantes. Evidencia-se a melhor relação professor-aluno ocorrendo no ensino superior público, podendo ser refletida em melhores condições de ensino e, consequentemente, em egressos mais preparados.

Tabela 2 -
Estatísticas docentes da educação superior do Brasil em 2014.

Ao considerar o total de cursos em relação ao total de IES, identificou-se que, em média, cada IES no país oferece 14 cursos superiores. Entre os tipos de IES no ensino superior brasileiro, 8,2% são universidades, públicas ou privadas. Destaca-se que estas detêm, juntas, 53,2% das matrículas do ensino superior no país, significando que a maioria das matrículas nesse nível de ensino no país é realizada em universidades.

Quanto aos docentes do ensino superior, identificou-se que em 2014 existiam 383.386 docentes em exercício de funções. Destes, 43% atuam em IES públicas e 57% nas instituições privadas (Tabela 2).

Na titulação, 61,2% são doutores, 27,2% são mestres e 11,7% são especialistas (Gráfico 2). A proporção de professores doutores e mestres no ensino superior brasileiro representa 88,4% do total.

Gráfico 2 -
Titulação docente na educação superior do Brasil em 2014.

Em 2014, a titulação docente atuante no ensino superior público7 7 . Considerando a atuação nas esferas federal, estadual e municipal. é representada majoritariamente por doutores (55,8%), seguida por 28,8% de mestres e 15,4% de especialistas. O ensino superior privado é composto prioritariamente por mestres (47%), em seguida por especialistas (33,2%) e, em menor número, por doutores (19,8%).

A Tabela 3 apresenta a evolução da titulação docente entre 2003 e 2014. Nota-se o aumento significativo de 41% do percentual de doutores no país e a respectiva diminuição do percentual de especialistas em 40%, enquanto o percentual de mestres no país permaneceu sem variação significativa, entre 28% em 2003 e 27% em 2014.

Tabela 3 -
Evolução da titulação docente entre 2003 e 2014.

Após apresentado o panorama com dados atuais do ensino superior brasileiro, a próxima seção exibe o modelo de avaliação em vigor no país.

METODOLOGIA

Tendo como pano de fundo os principais modelos europeus e americanos de avaliação em uso pelas agências de acreditação, o entendimento das diferentes políticas educacionais aplicadas ao ensino superior e as diferentes formas de medir a qualidade nos cursos superiores, este estudo propõe explicar, considerando o contexto brasileiro, a atuação e a contribuição da agência de avaliação do ensino superior em dois momentos distintos: o primeiro, com uma análise longitudinal dos resultados das avaliações do ensino superior entre 2004 e 2014, e o segundo momento com a reforma dos indicadores de desempenho iniciada em 2016.

As indagações de partida deste trabalho aderem a esse cenário e vão permitir o desenvolvimento das questões relativas à acreditação, avaliação e qualidade do ensino superior no Brasil:

  • Quais os resultados dos processos de avaliação externa do ensino superior entre 2004 e 2014?

  • Como a reforma do modelo de avaliação do ensino superior brasileiro, a modificação dos indicadores de qualidade e a formalização dos processos de seleção dos avaliadores podem influenciar ou determinar melhorias no desempenho das IES e dos cursos de graduação?

Para atingir os objetivos aqui propostos, decidiu-se utilizar como metodologia de investigação a estratégia de triangulação. Por fornecer múltiplas visões e métodos de obtenção de informações, sua utilização pode amenizar problemas de credibilidade em pesquisa (Fielding e Schreier, 2001FIELDING, N.; SCHREIER, M. Introduction: on the compatibility between qualitative and quantitative research methods. Forum Qualitative Social Research, Köln, Germany, v. 2, n. 1, p. 1-14, 2001.; Hussein, 2009HUSSEIN, A. The use of triangulation in social sciences research: can qualitative and quantitative methods be combined. Journal of Comparative Social Work, Norway, v. 1, n. 8, p. 1-12, 2009.; Yauch e Steudel, 2003YAUCH, C. A.; STEUDEL, H. J. Complementary use of qualitative and quantitative cultural assessment methods. Organizational Research Methods, [S.l.], v. 6, n. 4, p. 465-481, 2003. https://doi.org/10.1177/1094428103257362
https://doi.org/https://doi.org/10.1177/...
; Tashakkori e Teddlie, 1998TASHAKKORI, A.; TEDDLIE, C. Mixed methodology: combining qualitative and quantitative approaches. Thousand Oaks: Sage Publications, 1998. v. 46.) pela combinação de métodos e fontes de dados em aspectos qualitativos e quantitativos.

O desafio de combinar dados quantitativos e qualitativos com diferentes métodos e técnicas estatísticas permite fornecer resultados mais precisos e justificar as correlações inferidas pelas múltiplas perspectivas. Existe ainda uma tendência clássica na literatura em relação aos métodos de investigação na área de ciências sociais pela utilização de múltiplos métodos (Hussein, 2009HUSSEIN, A. The use of triangulation in social sciences research: can qualitative and quantitative methods be combined. Journal of Comparative Social Work, Norway, v. 1, n. 8, p. 1-12, 2009.; Webb et al., 1966WEBB, E. J.; CAMPBELL, D. T.; SCHWARTZ, R. D.; SECHREST, L. Unobtrusive measures: nonreactive research in the social sciences. Illinois: Rand McNally, 1966. v. 11.).

Ao utilizar a estratégia de triangulação, pode-se enriquecer a análise favorecendo a visualização das múltiplas perspectivas possíveis e facilitar a compreensão e a percepção dos fenômenos. Na pesquisa, foram utilizados dados secundários, incluindo relatórios e estatísticas oficiais fornecidos pelas agências e órgãos de avaliação e acreditação do ensino superior brasileiro: microdados do Censo da Educação Superior Brasileira de 2014 (INEP, 2014bINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do Censo da Educação Superior 2014. Brasília, DF: MEC; INEP , 2014b. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 2 jan. 2019.
http://inep.gov.br/microdados...
), os dados do INEP relativos a 2014 (INEP, 2015INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Censo da Educação Superior 2015. Brasília, DF: MEC; INEP , 2015.) e os microdados do ENADE de 2014 (INEP, 2014bINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do Censo da Educação Superior 2014. Brasília, DF: MEC; INEP , 2014b. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 2 jan. 2019.
http://inep.gov.br/microdados...
).

Para entender o funcionamento do modelo de avaliação no contexto brasileiro, exibiremos primeiramente uma visão panorâmica do ensino superior e os resultados longitudinais (2004-2014) das ações de avaliação, para em seguida apresentar a composição estrutural da agência de avaliação/acreditação e, por último, as reformas do modelo a partir do ano de 2016.

O MAPEAMENTO DO MODELO DE AVALIAÇÃO DO ENSINO SUPERIOR PELO SINAES

A lei n. 10.861 (Brasil, 2004BRASIL. Lei n. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior (SINAES) e dá outras providências. Diário Oficial da União: seção I, Brasília, DF, edição 72, p. 3-4, 15 abr. 2004. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm . Acesso em: 19 jan. 2019.
http://www.planalto.gov.br/ccivil_03/_at...
) do Ministério da Educação (MEC) do Brasil instituiu o SINAES. O SINAES tem o propósito de realizar uma avaliação diagnóstica, formativa e regulatória das IES. É composto por três componentes: a avaliação das IES, dos cursos e do desempenho dos estudantes. Em suma, o SINAES avalia todos os aspectos em torno dos três eixos educacionais: o ensino, a pesquisa, a extensão. Considera para isso a responsabilidade social, o desempenho dos alunos, a gestão da IES, o corpo docente, as instalações, além de outros aspectos (INEP, 2010aINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. A trajetória do INEP. Brasília, DF: INEP, 2010a. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 3 jan. 2019.
http://inep.gov.br/microdados...
, 2010cINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. SINAES. Brasília, DF: INEP , 2010c. Disponível em: Disponível em: http://www.inep.gov.br/superior/sinaes . Acesso em: 3 jan. 2019.
http://www.inep.gov.br/superior/sinaes...
).

O MEC tem em sua estrutura funcional o INEP como autarquia federal vinculada (INEP, 2010aINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. A trajetória do INEP. Brasília, DF: INEP, 2010a. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 3 jan. 2019.
http://inep.gov.br/microdados...
, p. 1-3) que é responsável por organizar e manter o sistema de informações e estatísticas educacionais, pelo desenvolvimento e coordenação dos sistemas e projetos de avaliação educacional, em todos os níveis e modalidades de ensino superior no país.

Os resultados das avaliações coordenadas pelo SINAES possibilitam um panorama da qualidade dos cursos e das IES no país. Os processos avaliativos são coordenados e supervisionados pela Comissão Nacional de Avaliação da Educação Superior (CONAES). Segundo Polidori, Marinho-Araujo e Barreyro (2006POLIDORI, M. M.; MARINHO-ARAUJO, C. M.; BARREYRO, G. B. SINAES: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 14, n. 53, p. 425-436, 2006. https://doi.org/10.1590/S0104-40362006000400002
https://doi.org/https://doi.org/10.1590/...
), a CONAES tem como função estabelecer os parâmetros gerais e as diretrizes para a operacionalização do sistema de avaliação, ficando a operacionalização na responsabilidade do INEP.

Na Figura 1, o mapeamento conceitual elaborado por Pereira, Machado e Araújo (2015PEREIRA, C. A.; MACHADO, M. L.; ARAÚJO, J. F. F. E. Acreditação do ensino superior na Europa e Brasil: mecanismos de garantia da qualidade. Revista de Políticas Públicas, São Luís, v. 19, n. 1, p. 61-75, 2015. http://dx.doi.org/10.18764/2178-2865.v19n1p61-75
https://doi.org/http://dx.doi.org/10.187...
) permite o entendimento sistêmico do processo de avaliação da qualidade do ensino superior no Brasil, foi elaborado considerando a legislação do SINAES e complementado com as contribuições de Pedrosa, Amaral e Knobel (2012PEDROSA, R. H. L.; AMARAL, E.; KNOBEL, M. Assessing higher education learning out-comes in Brazil. Higher Education Management and Policy, United States , v. 24, n. 2, p. 55-71, 2012. http://dx.doi.org/10.1787/hemp-24-5k3w5pdwk6br
https://doi.org/http://dx.doi.org/10.178...
) e Verhine, Dantas e Soares (2006VERHINE, R.; DANTAS, L. M. V.; SOARES J. F.. From “Provão” to Enade: a comparative analysis of national exams used in Brazilian higher education. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 14, n. 52, p. 291-310, 2006. https://doi.org/10.1590/S0104-40362006000300002
https://doi.org/https://doi.org/10.1590/...
).

Figura 1 -
Mapeamento conceitual do modelo de avaliação do ensino superior brasileiro.

Em um sistema massificado e complexo como no caso do Brasil, a utilização de um mapa conceitual permite facilitar o entendimento sistêmico de forma simplificada, como em uma análise descritiva.

Destaque-se que os três eixos educacionais8 8 . Entenda-se como o ensino, a pesquisa e a extensão. do modelo de avaliação brasileiro, presentes na Figura 1, são geridos pelo SINAES mediante os pilares avaliativos: avaliação institucional; avaliação de cursos; e avaliação de desempenho dos estudantes.

Em seguida será contextualizada a avaliação institucional interna e externa, apresentadas as novas medidas instituídas pela reforma do modelo, como a Comissão Técnica de Acompanhamento da Avaliação (CTAA) e os novos indicadores e os resultados das ações de avaliação institucional.

OS DESTAQUES DO NOVO MODELO DE AVALIAÇÃO DO ENSINO SUPERIOR PELO SINAES (PÓS-REFORMA)

MUDANÇAS NA AVALIAÇÃO EXTERNA

A avaliação externa é realizada por membros externos, nomeados pelo INEP. Sua comissão é constituída por membros da comunidade acadêmica e científica, reconhecidos pela capacidade em sua área e portadores de ampla compreensão das IES. Na avaliação externa são exigidos os padrões mínimos de qualidade para o ensino superior (INEP, 2010dINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Orientações gerais para o roteiro da autoavaliação. Brasília, DF: INEP , 2010d.; Ristoff e Giolo, 2006RISTOFF, D.; GIOLO, J. O SINAES como sistema. Revista Brasileira de Pós-Graduação, Brasília, v. 3, n. 6, p. 193-213, 2006. https://doi.org/10.21713/2358-2332.2006.v3.106
https://doi.org/https://doi.org/10.21713...
) expressos nos instrumentos de avaliação específicos e nos relatórios das autoavaliações institucionais.

A CTAA é o novo órgão colegiado responsável pelo acompanhamento dos processos periódicos de avaliação institucional externa e de avaliação dos cursos de graduação das IES (Brasil, 2016bBRASIL. Portaria n. 386, de 10 de maio de 2016. Aprova, em extrato, os novos indicadores do Instrumento de Avaliação de Cursos de Graduação nos graus de tecnologia, de licenciatura e de bacharelado para as modalidades presencial e a distância, do Sistema Nacional de Avaliação da Educação Superior - SINAES. Diário Oficial da União: seção I, Brasília, DF, edição 89, p. 37-38, 11 maio 2016b. Disponível em: Disponível em: https://www.semesp.org.br/legislacao/portaria-mec-n-386-de-10-de-maio-de-2016/ . Acesso em: 11 ago. 2016.
https://www.semesp.org.br/legislacao/por...
, 2006aBRASIL. Portaria n. 1.027, de 15 de maio de 2006. Dispõe sobre banco de avaliadores do Sistema Nacional de Avaliação da Educação Superior - SINAES, a Comissão Técnica de Acompanhamento da Avaliação - CTAA e dá outras providências. Diário Oficial da União: seção I, Brasília, DF, edição 92, p. 16-67, 2006a. Disponível em: Disponível em: http://portal.mec.gov.br/arquivos/pdf/portaria1027.pdf . Acesso em: 11 nov. 2018.
http://portal.mec.gov.br/arquivos/pdf/po...
) (Figura 2).

Figura 2 -
Avaliação externa no modelo de avaliação do ensino superior brasileiro.

Destaca-se a existência de um banco de avaliadores do SINAES (BASis), regulamentado pela portaria n. 1.027, em seu artigo 2º (Brasil, 2006aBRASIL. Portaria n. 1.027, de 15 de maio de 2006. Dispõe sobre banco de avaliadores do Sistema Nacional de Avaliação da Educação Superior - SINAES, a Comissão Técnica de Acompanhamento da Avaliação - CTAA e dá outras providências. Diário Oficial da União: seção I, Brasília, DF, edição 92, p. 16-67, 2006a. Disponível em: Disponível em: http://portal.mec.gov.br/arquivos/pdf/portaria1027.pdf . Acesso em: 11 nov. 2018.
http://portal.mec.gov.br/arquivos/pdf/po...
), que é um cadastro nacional e único de avaliadores do INEP para a constituição de Comissão de Avaliação in loco. O cadastro do BASis era composto por uma relação nominal de 4.495 avaliadores institucionais e 8.992 avaliadores de cursos distribuídos pelo país (Brasil, 2006bBRASIL. Portaria n. 1.751, de 27 de outubro de 2006. Divulga, na forma dos Anexos I e II a esta Portaria, a relação nominal dos avaliadores de instituições de educação superior e de cursos de graduação, selecionados pela Comissão Técnica de Acompanhamento da Avaliação - CTAA, que passam a integrar o Banco de Avaliadores do Sistema Nacional de Avaliação da Educação Superior - BASis. Diário Oficial da União: seção I, Brasília, DF, edição 208, p. 16-67, 30 out. 2006b. Disponível em: https://www.semesp.org.br/legislacao/migrado2041/. Acesso em: 12 fev. 2020., p. 17-67).

Em maio de 2016, a portaria n. 208 (Brasil, 2016cBRASIL. Portaria n. 208, de 4 de maio de 2016. Institui o Índice de Seleção dos Avaliadores de Curso (ISACURSO) e o Índice de Seleção dos Avaliadores de Institucionais (ISAIES) do SINAES. Boletim de Serviço, Brasília, DF, INEP, v. 20, n. 5, edição extra, 4 maio 2016c. Disponível em: Disponível em: http://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/content/id/22798713/do1-2016-05-09-portaria-n-208-de-6-de-maio-de-2016-22798689 . Acesso em: 10 jan. 2019.
http://www.in.gov.br/materia/-/asset_pub...
) estabeleceu um procedimento padronizado para seleção dos avaliadores do SINAES. Foram criados dois índices específicos: o Índice de Seleção dos Avaliadores de Curso (ISACURSO) e o Índice de Seleção dos Avaliadores Institucionais (ISAIES).

As duas variáveis que representam maior peso para a seleção dos avaliadores de curso são relativas à experiência na gestão de cursos (25%) e na participação no Núcleo Docente Estruturante (NDE) (25%). Esse critério ressalta a expectativa de seleção de profissionais com know-how acadêmico relevante para o desempenho dessas atividades (Quadro 1).

Quadro 1 -
Variáveis que compõem os Índices de Seleção dos Avaliadores: ISACURSO e ISAIES.

O mesmo critério foi adotado para a seleção dos avaliadores institucionais, no entanto a experiência mais pontuada (30%) tem relação com gestão institucional como cargos de direção ou pró-reitoria. As outras duas maiores pontuações consideradas para essa seleção (20% cada) tem a ver com experiência em Comissão Própria de Avaliação (CPA) e NDE (Quadro 1).

Consideradas as variáveis e seus critérios, os modelos estatísticos para cálculo dos índices ISACURSO e ISAIES são apresentados nas Equações 1 e 2:

Equação 1 I S A c u r s o = E x p A C ( 10 % ) + E x p N D E ( 25 % ) + E x p D O C ( 20 % ) + E x p G C ( 25 % ) + P u b ( 10 % ) + C C ( 10 % )

Equação 2 I S A i e s = E x p A I ( 10 % ) + E x p N D E ( 2 % ) + E x p C P A ( 20 % ) + E x p G A ( 30 % ) + P u b ( 10 % ) + C I ( 10 % )

Será estabelecido um ranking com as distâncias entre os candidatos, e os classificados serão capacitados e elegíveis para designação nas comissões de avaliação externa (Brasil, 2016cBRASIL. Portaria n. 208, de 4 de maio de 2016. Institui o Índice de Seleção dos Avaliadores de Curso (ISACURSO) e o Índice de Seleção dos Avaliadores de Institucionais (ISAIES) do SINAES. Boletim de Serviço, Brasília, DF, INEP, v. 20, n. 5, edição extra, 4 maio 2016c. Disponível em: Disponível em: http://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/content/id/22798713/do1-2016-05-09-portaria-n-208-de-6-de-maio-de-2016-22798689 . Acesso em: 10 jan. 2019.
http://www.in.gov.br/materia/-/asset_pub...
, p. 5-8).

Evidencia-se na composição dos modelos a priorização de competências de gestão para a avaliação. Em ambos os modelos, o peso é superior à metade do peso total de cada índice. Por exemplo, no ISA CURSO , verifica-se que o peso para ExpNDE é de 25% somado à ExpGC, com peso de 25%, e ExpAC, peso de 10%, o que eleva a necessidade de competências de gestão para 60% do índice. No ISAIES, a proporção de competências de gestão chega a 80% do indicador quando somamos o peso individual de cada índice (ExpAI (10%) + ExpNDE (20%) + ExpCPA (20%) + ExpGA (30%) = 80%).

Em março de 2018, foi publicado no Diário Oficial da União edital com ofertas de novas vagas para avaliadores, o edital número 13, de 6 de março de 2018, com uma chamada pública para a seleção de 11.973 docentes do ensino superior para ampliação do BASis. Os novos avaliadores começaram a ser homologados por meio de portarias publicadas no Diário Oficial da União entre agosto e setembro de 2018. A partir de então, no Brasil, o BASis é composto por 25.460 avaliadores.

OS EIXOS AVALIATIVOS E SEUS INDICADORES

O instrumento de avaliação institucional externa é público e deve subsidiar os atos de credenciamento, recredenciamento e transformação da organização acadêmica.9 9 . O instrumento, em sua versão atualizada (2015), encontra-se disponível no sítio do INEP em: http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2015/instrumento_institucional_072015.pdf. Nesse instrumento estão organizados os cinco eixos que contemplam as dez dimensões avaliadas pelo SINAES.

Para cada dimensão avaliada existem, em média, dez indicadores específicos que são pontuados em escala Likert, de 1 a 5. Ao término do processo avaliativo, os avaliadores apresentam o parecer final, com os indicadores de cada dimensão totalizados automaticamente pelo sistema e com seus pesos específicos.

Em síntese, o conceito final da avaliação externa quanto ao credenciamento/recredenciamento da IES é calculado com base em 51 indicadores avaliados entre os cinco eixos e apresenta uma nota conclusiva que deve ser a substância principal para o parecer final da comissão (Quadro 2).

Quadro 2 -
Pesos para credenciamento e recredenciamento de Instituições de Ensino Superior.

Nota-se no Quadro 2 que cada eixo apresenta pesos diferentes para atos distintos: credenciamento ou recredenciamento. Por exemplo, verifica-se que a infraestrutura física detém o maior peso (30) quando do credenciamento de uma IES, enquanto no ato de recredenciamento institucional o peso maior (30) incide na adequação das políticas acadêmicas. Ressalte-se que entre os eixos que apresentam o maior peso (Eixos 3 e 5), são ainda os que registram a maior quantidade de indicadores, 13 e 16 respectivamente, entre os 51 no total.

Os cinco eixos avaliativos, demonstrados no Quadro 2, contêm e são inter-relacionados com as dez principais dimensões do SINAES para a avaliação institucional. Deve-se entender que o Eixo 1, além de atender à dimensão de planejamento de avaliação, inclui ainda o relato institucional. O Eixo 2 atende às dimensões de Missão Institucional e Plano de Desenvolvimento Institucional (PDI) e Responsabilidade Social das IES. O Eixo 3 atende às dimensões de Políticas para o Ensino, Pesquisa, Pós-Graduação e Extensão, Comunicação com a Sociedade e Políticas de Atendimento ao Estudante. O Eixo 4 atende às dimensões de Políticas Técnicas-Administrativas e Docentes, Organização e Gestão da IES e Sustentabilidade Financeira. O Eixo 5 atende à dimensão de Infraestrutura Física.

OS NOVOS INDICADORES DE DESEMPENHO BASEADOS NOS RESULTADOS DOS ESTUDANTES

Nesse último pilar, o momento é de reforma. A partir da publicação da portaria normativa n. 8 (Brasil, 2016dBRASIL. Portaria normativa n. 8, de 28 de abril de 2016. Cria indicadores de qualidade para a Educação Superior e institui Grupo de Trabalho para elaboração e definição de metodologia para sua implementação. Diário Oficial da União: seção 1, Brasília, DF, edição 81, p. 11-12, 29 abr. 2016d. Disponível em: Disponível em: http://www.in.gov.br/web/dou/-/portaria-normativa-n-8-de-28-de-abril-de-2016-21512174 . Acesso em: 6 jan. 2019.
http://www.in.gov.br/web/dou/-/portaria-...
), em 28 de abril, o MEC criou novos indicadores de qualidade para a educação superior no país. Para esse desafio foi instituído um grupo de trabalho para elaboração da metodologia para sua implementação: o Grupo de Trabalho de Avaliação do Desempenho da Educação Superior (GTAES). O GTAES10 10 . A característica de ampla discussão foi garantida na criação do GTAES por meio da escolha de seus componentes representantes das principais entidades da área: INEP; Secretaria de Regulação e Supervisão da Educação Superior (SERES); CAPES; Secretaria de Educação Superior (SESu); Secretaria de Educação Profissional e Tecnológica (SETEC); Conselho Nacional de Educação (CNE); CONAES; Fórum das Entidades Representativas da Educação Superior (FÓRUM); Associação Nacional dos Dirigentes das Instituições Federais de Educação Superior (ANDIFES); Conselho Nacional das Instituições da Rede Federal de Educação Profissional, Científica e Tecnológica (CONIF); Fórum Nacional de Pró-Reitores de Graduação (ForGRAD); Fórum Nacional de Extensão e Ação Comunitária das Universidades e IES Comunitárias (ForExt); Fórum Nacional de Pró-Reitores de Pesquisa e Pós-Graduação (FORPROP); Associação Brasileira das Universidades Comunitárias (ABRUC); e Associação Brasileira dos Reitores das Universidades Estaduais e Municipais (ABRUEM). tem como função trabalhar na elaboração, definição de metodologia dos indicadores de qualidade da educação superior e sua implementação. Foram criados oito novos indicadores (Quadro 3).

Quadro 3 -
Novos indicadores utilizados na avaliação dos estudantes a partir de 2016.

O Quadro 3 demonstra se os indicadores apresentados são novos ou modificações dos que já existiam. Apresenta ainda uma explicação dos insumos a serem utilizados para a sua elaboração.

Finalizando esta seção, apresenta-se o mapeamento conceitual dos novos indicadores de qualidade a serem aplicados na educação superior (Figura 3) como uma prospecção gráfica do novo cenário de avaliação do ensino superior. No diagrama poderá ser visualmente facilitado o entendimento das inúmeras interações entre os novos indicadores com a procedência dos dados que irão compor sua análise.

Figura 3 -
Novos indicadores de qualidade da educação superior brasileira.

Conhecidas as dimensões da avaliação realizada pelo SINAES no ensino superior brasileiro e as mudanças em curso, a próxima seção irá apresentar os resultados das ações avaliativas realizadas de forma longitudinal no país.

ANÁLISE DOS RESULTADOS DAS AVALIAÇÕES DO ENSINO SUPERIOR NO PAÍS

Para esta análise, foram utilizados os dados das avaliações realizadas pelo INEP relativos às avaliações institucionais e de curso realizadas em in loco fornecidas pela Coordenação Geral de Avaliação de Cursos de Graduação e de Instituições de Educação Superior (CGACGIES) da Diretoria de Avaliação da Educação Superior (DAES) do INEP.

Buscando uma visão comparada, foram acrescidos os microdados do ENADE (INEP, 2004cINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2004. Brasília, DF: MEC; INEP , 2004c. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 2 jan. 2018.
http://inep.gov.br/microdados...
, 2005INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2005. Brasília, DF: MEC; INEP , 2005. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
, 2006INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2006. Brasília, DF: MEC; INEP , 2006. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
, 2007INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2007. Brasília, DF: MEC; INEP , 2007. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
, 2008INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2008. Brasília, DF: MEC; INEP , 2008. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
, 2009INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2009. Brasília, DF: MEC; INEP , 2009. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
, 2010bINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2010. Brasília, DF: MEC; INEP , 2010b. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
, 2011INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2011. Brasília, DF: MEC; INEP , 2011. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
, 2012INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2012. Brasília, DF: MEC; INEP , 2012. Disponível em: http://inep.gov.br/microdados. Acesso em: 12 dez. 2018.
https://doi.org/http://inep.gov.br/micro...
, 2013INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2013. Brasília, DF: MEC; INEP , 2013. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
, 2014aINEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2014. Brasília, DF: MEC; INEP , 2014a. Disponível em: Disponível em: http://inep.gov.br/microdados . Acesso em: 12 dez. 2018.
http://inep.gov.br/microdados...
). As informações foram filtradas e, em seguida, sintetizadas e ordenadas. São apresentadas na Tabela 4 de forma longitudinal, relativas ao período compreendido entre os anos de 2004 a 2014.

Tabela 4 -
Estatísticas gerais da avaliação do ensino superior do Brasil entre 2004 e 2014.

Considere-se, por exemplo, os dados relativos ao ano de 2010. Enquanto o ENADE avaliou os estudantes de 4.281 cursos, foram avaliados in loco pelo INEP o total de 4.100 ações, sendo 3.169 cursos de graduação e 931 IES. Apenas com essas informações não é possível inferir o conteúdo dessas avaliações, sendo necessário o detalhamento das ações avaliativas. Para isto, recorre-se a Tabela 5, que apresenta, por tipo de ação, como foram distribuídas as ações in loco dentro do processo de avaliação institucional e de cursos.

Tabela 5 -
Confrontação de ações de avaliação de cursos realizadas pelo INEP em 2010.

Verifica-se, a partir da análise da Tabela 5, que o maior volume de ações de avaliação realizada pelo INEP foi concentrado nos cursos que obtiveram conceitos 3 (1.197 ações) e 4 (1.410 ações). Quanto às principais ações relacionadas aos cursos, verifica-se que, predominantemente naquele ano, ocorreram avaliações in loco para primeiros reconhecimentos de cursos (1.638), 937 autorizações de funcionamento de novos cursos e 563 renovações de reconhecimento de cursos.

Quanto às ações de avaliação institucional apresentadas na Tabela 6, nota-se a predominâncias de ações de recredenciamento de 719 IES, seguidas por 134 avaliações para novos credenciamentos de IES.

Tabela 6 -
Confrontação de ações de avaliação institucional realizadas pelo INEP em 2010.

O Gráfico 3 ilustra longitudinalmente a evolução das avaliações realizadas pelo INEP. Permite também uma visão sistêmica de suas variações entre avaliações in loco x avaliações censitárias do ENADE. Na representação gráfica, consegue-se perceber que a política adotada pelo INEP, de dispensar de avaliação in loco os cursos que obtiveram conceitos 3 a 5 no ENADE, diminuiu o volume de avaliações e favoreceu, de forma qualitativa, o desempenho das ações avaliativas.

Gráfico 3 -
Análise longitudinal da evolução das avaliações in loco relativas a cursos superiores e de Instituições de Ensino Superior no país entre os anos 2000-2014.

Importante ressaltar que em um sistema massificado, como no caso do Brasil, com um universo de 32.878 cursos superiores em 2014, a política de avaliações in loco, entre 2004 e 2014, permitiu serem avaliados uma média anual de 3.089 cursos e 409 IES.

Com essa realidade, justificou-se a criação do banco de avaliadores BASis e sua composição. A impressão inicial de que o volume de avaliadores de curso e institucionais anteriormente mencionada no país pudesse ser exagerado passa a ser refutada ao considerar uma base anual média de 3.500 avaliações in loco na realidade brasileira.

Ressalte-se ainda que as comissões de avaliação são formadas por uma equipe de três a oito integrantes, conforme explicado no mapeamento de avaliação constante na Figura 2. Dessa maneira, o BASis almeja garantir que a base de avaliadores selecionados esteja disponível e preparada para as visitas de auditoria, apresentando resultados que podem impactar diretamente na qualidade do ensino superior no país.

Quanto às avaliações censitárias do ENADE, a política de ciclos avaliativos estabelecida define que, a cada ano, é avaliado um agrupamento de cursos distintos. Assim, longitudinalmente puderam ser avaliados, por ano, uma média de 5.890 cursos por meio da prova do ENADE aplicada aos estudantes concluintes (Gráfico 4).

Gráfico 4 -
Total de avaliações realizadas entre 2004 e 2014 no país.

Em suma, o Gráfico 4 demonstra que, na história das avaliações realizadas pelo INEP, 63% das avaliações dos cursos de graduação foram realizadas pela prova do ENADE, sem obrigatoriedade de avaliação pelas comissões in loco; 33% dos cursos foram avaliados in loco, para ações de autorização de novos cursos, reconhecimento ou renovação de reconhecimento e, em alguns casos, para reavaliação de cursos; e 4% das avaliações referem-se à avaliações institucionais, para credenciamento ou recredenciamento de IES.

CONSIDERAÇÕES FINAIS

O estudo apresentou o cenário universitário brasileiro, prioritariamente dominado pelas IES privadas como resposta ao crescimento desenfreado que é uma característica do ensino superior na América Latina (Lamarra e Centeno, 2016LAMARRA, N. F.; CENTENO, C. G. P. La educación superior latinoamericana en el inicio del nuevo siglo. Situación, principales problemas y perspectivas futuras. Revista Española de Educación Comparada, Madrid, n. 27, p. 123-148, 2016. http://dx.doi.org/10.5944/reec.27.2016.15044
https://doi.org/http://dx.doi.org/10.594...
, p. 137; Lamarra e Cóppola, 2007LAMARRA, N. F.; CÓPPOLA, N. Educación superior y calidad en América Latina y Argentina: los procesos de evaluación y acreditación. Buenos Aires: EDUNTREF, 2007., p. 18). O sistema implantado pelo governo, por intermédio do SINAES, apresenta derivações do modelo de supervisão estatal (Neave e Van Vught, 1994NEAVE, G.; VAN VUGHT, F. A. Government and higher education relationships across three continents: the winds of change. United Kingdom: Pergamon Press, Elsevier Science, 1994. (Higher Education Series, 2).). A política educacional de transformar o governo em um órgão regulador tem como desafio-chave adaptar mecanismos de controle de qualidade e eficiência a um ensino superior dinâmico e com características mercenárias como massificação, complexidade e constante mutação.

As ações discutidas durante o texto têm mostrado a capacidade de resposta desse modelo às provocações contemporâneas, e a escolha do INEP para a gestão RANA/Arcu-Sul demonstrou o reconhecimento de “suas virtudes” transfronteiriças.

Foi apresentada a organização do SINAES, com seu mapeamento conceitual de funções e responsabilidades. Foram apresentados os três principais componentes ou pilares da política de avaliação brasileira, mas o foco deste estudo foram as políticas de avaliação externa: institucional e de cursos, e as recentes mudanças na avaliação do desempenho dos estudantes. A discussão das mudanças serviu como um marco para comparação do volume de ações avaliativas institucionais.

Ressalta-se que a política inovadora de seleção de avaliadores institucionais e de curso mediante índices (ISAIES e ISACURSO) e sua normalização e operacionalização utilizando o BASis apresenta-se como alternativa viável e fomentadora de garantia de qualidade em um modelo de ensino superior massificado como o brasileiro, no qual ocorrem, em média, 3.500 ações avaliativas externas por ano. A nova política de seleção de avaliadores demonstra um forte accountability no processo de gestão do ensino superior e pode reforçar a reputação dos avaliadores e do modelo como um todo.

De forma pontual, foram apresentados e discutidos como ocorrem, ou deveriam ocorrer, os procedimentos de avaliação in loco, tanto para a avaliação de cursos como para as avaliações institucionais. Foram também conhecidos seus principais indicadores e respectivos pesos na avaliação global de cada unidade avaliada.

Foi apresentado um mapeamento conceitual consolidado que tem a função de explicitar a inter-relação entre as dimensões avaliativas do SINAES, com os indicadores utilizados na avaliação institucional externa.

A avaliação de desempenho dos estudantes pelo ENADE, a partir de maio de 2016, inicia um processo de reforma em que “aposenta” indicadores anteriores “por tempo de serviço prestado” e avança para atender às necessidades de um sistema avaliativo dinâmico e massificado. Os novos indicadores estão sendo trabalhados pelo GTAES e foram mapeados conceitualmente para permitir uma visão do momento de transição.

A combinação dos dados quantitativos, representados pelos microdados da educação superior e do Censo do Ensino Superior, associada à regulamentação qualitativa e descritiva-documental das mudanças propostas no ensino superior brasileiro, permitiu a apresentação de uma visão panorâmica dos resultados do modelo de avaliação brasileiro. Afinal, tratou-se de um sistema composto por 2.368 instituições de ensino, 32.878 cursos superiores, 383.386 docentes em exercício de funções, o que comportou 8 milhões de estudantes no ano de 2014.

Finalmente, após destacar as características principais da atuação do SINAES, confrontou-se com uma análise longitudinal de onze anos, cruzando os dados das avaliações in loco com microdados das avaliações do ENADE. Assim, foi possível validar as políticas de dispensa e/ou obrigação de avaliação in loco e entender como o modelo avaliativo no país tem lidado com a complexidade do ensino superior ao avaliar in loco uma média anual de 3.089 cursos superiores e 409 instituições de ensino.

Portanto, a pergunta no título do artigo, “Remendo novo em roupa velha?”, mostrou que o efeito das reformas do SINAES pode gerar substanciais melhorias na seleção e qualificação mínima de avaliadores. Essa dinâmica pode imputar maior agilidade nas ações de avaliações externas, em conjunto com uma expertise que aumenta o valor moral do processo avaliativo. Os novos indicadores ainda não puderam ser testados e confrontados com os que foram aposentados, mas isso é apenas questão de tempo. Enfim, há sinais de que “os remendos novos” não devem comprometer a “estrutura do tecido da roupa velha”, estando passíveis de expressar sinais de maturidade e de experiência do modelo de avaliação do ensino superior brasileiro.

Como limitações deste estudo, não puderam ser abordadas em sua íntegra as questões relativas ao momento de reforma no terceiro pilar de avaliação de desempenho dos estudantes pelo ENADE. Sabe-se que, a partir de maio de 2016, iniciou-se um processo de reestruturação que aposentou, “por tempo de serviço prestado”, alguns indicadores anteriormente utilizados, modificou alguns indicadores e idealizou novos. Características que almejam promover avanços para atender às necessidades de um sistema avaliativo dinâmico e massificado.

Os novos indicadores estão sendo trabalhados pelo GTAES com base na publicação pelo MEC da portaria normativa n. 8 (Brasil, 2016d), em 28 de abril, mas que, até o momento da finalização da escrita deste artigo, não foram homologados ou publicados.

Como perspectiva para novos estudos, sugere-se a abordagem detalhada dos destaques das mudanças na avaliação dos cursos do ensino superior que neste estudo não puderam ser apresentados por limitações de espaço. Na reforma, foram delineados oitenta indicadores adotados nas dimensões avaliativas dos cursos: Organização didático-pedagógica, Corpo docente e tutorial e Infraestrutura.

REFERÊNCIAS

  • AMARAL, A.; MAGALHÃES, A. On markets, autonomy and regulation the Janus Head revisited. Higher Education Policy, Netherlands, v. 14, n. 1, p. 7-20, 2001. https://doi.org/10.1016/S0952-8733(00)00028-3
    » https://doi.org/https://doi.org/10.1016/S0952-8733(00)00028-3
  • ARGENTINA. Decisão do Conselho de Mercado Comum - CMC n. 17, de 30 de junho de 2008. Acordo sobre a criação e a implementação de um sistema de credenciamento de cursos de graduação para o reconhecimento regional da qualidade acadêmica dos respectivos diplomas no Mercosul e Estados associados. San Miguel de Tucumán: Argentina. Disponível em: Disponível em: http://portal.mec.gov.br/dmdocuments/dec_017_conae.pdf Acesso em: 7 dez. 2018.
    » http://portal.mec.gov.br/dmdocuments/dec_017_conae.pdf
  • ASKLING, B.; HENKEL, M. Higher education institutions. In: KOGAN, M.; BAUER, M.; BLEIKLIE, I.; HENKEL, M. (org.). Transforming higher education. A comparative study. Netherlnds: Springer, 1988. p. 85-100.
  • BARZELAY, M. Instituições centrais de auditoria e auditoria de desempenho: uma análise comparativa das estratégias organizacionais na OCDE. Revista do Serviço Público, Brasília, v. 53, n. 2, p. 5-35, 2014. https://doi.org/10.21874/rsp.v53i2.283
    » https://doi.org/https://doi.org/10.21874/rsp.v53i2.283
  • BLEIKLIE, I. Justifying the evaluative state: new public management ideals in higher education. European Journal of Education, United States, v. 33, n. 3, p. 299-316, 1998.
  • BLOMQVIST, C.; DONOHOE, T.; KELO, M.; LINDE, K. J.; LLAVORI, R.; MAGUIRE, B.; SANCHEZ, T. Quality assurance and qualifications frameworks: exchanging good practice. ENQA Workshop Report 21. Dublin: European Association for Quality Assurance in Higher Education, 2012. Disponível em: Disponível em: https://eric.ed.gov/?id=ED541665 Acesso em: 10 jan. 2019.
    » https://eric.ed.gov/?id=ED541665
  • BRASIL. Lei n. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior (SINAES) e dá outras providências. Diário Oficial da União: seção I, Brasília, DF, edição 72, p. 3-4, 15 abr. 2004. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm Acesso em: 19 jan. 2019.
    » http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm
  • BRASIL. Portaria n. 1.027, de 15 de maio de 2006. Dispõe sobre banco de avaliadores do Sistema Nacional de Avaliação da Educação Superior - SINAES, a Comissão Técnica de Acompanhamento da Avaliação - CTAA e dá outras providências. Diário Oficial da União: seção I, Brasília, DF, edição 92, p. 16-67, 2006a. Disponível em: Disponível em: http://portal.mec.gov.br/arquivos/pdf/portaria1027.pdf Acesso em: 11 nov. 2018.
    » http://portal.mec.gov.br/arquivos/pdf/portaria1027.pdf
  • BRASIL. Portaria n. 1.751, de 27 de outubro de 2006. Divulga, na forma dos Anexos I e II a esta Portaria, a relação nominal dos avaliadores de instituições de educação superior e de cursos de graduação, selecionados pela Comissão Técnica de Acompanhamento da Avaliação - CTAA, que passam a integrar o Banco de Avaliadores do Sistema Nacional de Avaliação da Educação Superior - BASis. Diário Oficial da União: seção I, Brasília, DF, edição 208, p. 16-67, 30 out. 2006b. Disponível em: https://www.semesp.org.br/legislacao/migrado2041/. Acesso em: 12 fev. 2020.
  • BRASIL. Portaria n. 388, de 10 de maio de 2016. Aprova o Regimento interno da Comissão Técnica de Acompanhamento da Avaliação - CTAA. Diário Oficial da União, Brasília, seção I, edição 89, p. 38, 11 maio 2016a. Disponível em: Disponível em: http://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/content/id/21519877 Acesso em: 12 fev. 2020.
    » http://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/content/id/21519877
  • BRASIL. Portaria n. 386, de 10 de maio de 2016. Aprova, em extrato, os novos indicadores do Instrumento de Avaliação de Cursos de Graduação nos graus de tecnologia, de licenciatura e de bacharelado para as modalidades presencial e a distância, do Sistema Nacional de Avaliação da Educação Superior - SINAES. Diário Oficial da União: seção I, Brasília, DF, edição 89, p. 37-38, 11 maio 2016b. Disponível em: Disponível em: https://www.semesp.org.br/legislacao/portaria-mec-n-386-de-10-de-maio-de-2016/ Acesso em: 11 ago. 2016.
    » https://www.semesp.org.br/legislacao/portaria-mec-n-386-de-10-de-maio-de-2016/
  • BRASIL. Portaria n. 208, de 4 de maio de 2016. Institui o Índice de Seleção dos Avaliadores de Curso (ISACURSO) e o Índice de Seleção dos Avaliadores de Institucionais (ISAIES) do SINAES. Boletim de Serviço, Brasília, DF, INEP, v. 20, n. 5, edição extra, 4 maio 2016c. Disponível em: Disponível em: http://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/content/id/22798713/do1-2016-05-09-portaria-n-208-de-6-de-maio-de-2016-22798689 Acesso em: 10 jan. 2019.
    » http://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/content/id/22798713/do1-2016-05-09-portaria-n-208-de-6-de-maio-de-2016-22798689
  • BRASIL. Portaria normativa n. 8, de 28 de abril de 2016. Cria indicadores de qualidade para a Educação Superior e institui Grupo de Trabalho para elaboração e definição de metodologia para sua implementação. Diário Oficial da União: seção 1, Brasília, DF, edição 81, p. 11-12, 29 abr. 2016d. Disponível em: Disponível em: http://www.in.gov.br/web/dou/-/portaria-normativa-n-8-de-28-de-abril-de-2016-21512174 Acesso em: 6 jan. 2019.
    » http://www.in.gov.br/web/dou/-/portaria-normativa-n-8-de-28-de-abril-de-2016-21512174
  • CRET, B. Accreditations as local management tools. Higher Education, Netherlands, v. 61, n. 4, p. 415-429, 2011. http://dx.doi.org/10.1007/s10734-010-9338-2
    » https://doi.org/http://dx.doi.org/10.1007/s10734-010-9338-2
  • DEEM, R. “New managerialism” and higher education: the management of performances and cultures in universities in the United Kingdom. International Studies in Sociology of Education, United Kingdom, v. 8, n. 1, p. 47-70, 1998. http://dx.doi.org/10.1080/0962021980020014
    » https://doi.org/http://dx.doi.org/10.1080/0962021980020014
  • DURHAM, E. R. Autonomia, controle e avaliação. In: MORHY, L. (org.). Universidade em questão. Brasília: Universidade de Brasília, 2003. v. 1, p. 275-304.
  • EATON, J. S. Accreditation in the United States. New directions for Higher Education, Netherlands, v. 2009, n. 145, p. 79-86, 2009. http://dx.doi.org/10.1002/he.337
    » https://doi.org/http://dx.doi.org/10.1002/he.337
  • EATON, J. S. An overview of US accreditation-revised. Council for Higher Education Accreditation. Washington, DC: CHEA, 2012.
  • ENQA - European Association for Quality Assurance in Higher Education. Standards and guidelines for quality assurance in the European higher education area. Helsinki: ENQA, 2005.
  • ENQA - European Association for Quality Assurance in Higher Education. Report on standards and guidelines for quality assurance in the European higher education area. Helsinki: ENQA , 2007.
  • ENQA - European Association for Quality Assurance in Higher Education. Current trends in European Quality Assurance. Workshop report 8. Helsinki: ENQA , 2009.
  • FELIX, G. T. Reconfiguração dos modelos de universidade pelos formatos de avaliação: efeitos no Brasil e Portugal. 2008. 228 f. Tese (Doutorado em Educação) - Faculdade de Educação, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2008.
  • FIELDING, N.; SCHREIER, M. Introduction: on the compatibility between qualitative and quantitative research methods. Forum Qualitative Social Research, Köln, Germany, v. 2, n. 1, p. 1-14, 2001.
  • HANUSHEK, E. A.; LINK, S.; WOESSMANN, L. Does school autonomy make sense everywhere? Panel estimates from PISA. Journal of Development Economics, Netherlands, v. 104, n. 1, p. 212-232, 2013. http://dx.doi.org/10.1016/j.jdeveco.2012.08.002
    » https://doi.org/http://dx.doi.org/10.1016/j.jdeveco.2012.08.002
  • HARVEY, L. Beyond TQM. Quality in Higher Education, United Kingdom, v. 1, n. 2, p. 123-146, 1995. http://dx.doi.org/10.1080/1353832950010204
    » https://doi.org/http://dx.doi.org/10.1080/1353832950010204
  • HARVEY, L. Evaluation for What? Teaching in Higher Education, United Kingdom, v. 7, n. 3, p. 245-263, 2002. http://dx.doi.org/10.1080/13562510220144761
    » https://doi.org/http://dx.doi.org/10.1080/13562510220144761
  • HARVEY, L. Deconstructing quality culture. Presentation given in a European Association for Institutional Research (EAIR) . Annual Conference in Vilnius. Vilnius, Lituânia: EAIR, 2009.
  • HARVEY, L.; ASKLING, B. Quality in higher education. In: BEGG, R. The dialogue between higher education research and practice. Netherlands: Springer; Kluwer Academic Publishers, 2003. p. 69-83.
  • HOOD, C. Public administration and public policy: intellectual challenges for the 1990s. Australian Journal of Public Administration, United States, v. 48, n. 1, p. 346-358, 1989. http://dx.doi.org/10.1111/j.1467-8500.1989.tb02235.x
    » https://doi.org/http://dx.doi.org/10.1111/j.1467-8500.1989.tb02235.x
  • HUSSEIN, A. The use of triangulation in social sciences research: can qualitative and quantitative methods be combined. Journal of Comparative Social Work, Norway, v. 1, n. 8, p. 1-12, 2009.
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Censo da Educação Superior 2004. Brasília, DF: MEC; INEP, 2004a. Disponível em: Disponível em: http://portal.inep.gov.br/informacao-da-publicacao/-/asset_publisher/6JYIsGMAMkW1/document/id/489202 Acesso em: 4 mar. 2020.
    » http://portal.inep.gov.br/informacao-da-publicacao/-/asset_publisher/6JYIsGMAMkW1/document/id/489202
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do Censo da Educação Superior 2003. Brasília, DF: MEC; INEP , 2004b. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 2 ago. 2016.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2004. Brasília, DF: MEC; INEP , 2004c. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 2 jan. 2018.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2005. Brasília, DF: MEC; INEP , 2005. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 12 dez. 2018.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2006. Brasília, DF: MEC; INEP , 2006. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 12 dez. 2018.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2007. Brasília, DF: MEC; INEP , 2007. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 12 dez. 2018.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2008. Brasília, DF: MEC; INEP , 2008. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 12 dez. 2018.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2009. Brasília, DF: MEC; INEP , 2009. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 12 dez. 2018.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. A trajetória do INEP. Brasília, DF: INEP, 2010a. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 3 jan. 2019.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2010. Brasília, DF: MEC; INEP , 2010b. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 12 dez. 2018.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. SINAES. Brasília, DF: INEP , 2010c. Disponível em: Disponível em: http://www.inep.gov.br/superior/sinaes Acesso em: 3 jan. 2019.
    » http://www.inep.gov.br/superior/sinaes
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Orientações gerais para o roteiro da autoavaliação. Brasília, DF: INEP , 2010d.
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2011. Brasília, DF: MEC; INEP , 2011. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 12 dez. 2018.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2012. Brasília, DF: MEC; INEP , 2012. Disponível em: http://inep.gov.br/microdados. Acesso em: 12 dez. 2018.
    » https://doi.org/http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2013. Brasília, DF: MEC; INEP , 2013. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 12 dez. 2018.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do ENADE 2014. Brasília, DF: MEC; INEP , 2014a. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 12 dez. 2018.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Informações Estatísticas: microdados do Censo da Educação Superior 2014. Brasília, DF: MEC; INEP , 2014b. Disponível em: Disponível em: http://inep.gov.br/microdados Acesso em: 2 jan. 2019.
    » http://inep.gov.br/microdados
  • INEP - Instituto Nacional de Estudos e Pesquisas Educacionais “Anísio Teixeira”. Censo da Educação Superior 2015. Brasília, DF: MEC; INEP , 2015.
  • LAMARRA, F. N. La evaluación y la acreditación de la calidad: situación, tendencias y perspectivas. Informe sobre la educación superior en América Latina y el Caribe. In: UNESCO. La metamorfosis de la educación superior. Caracas: UNESCO, 2006. p. 31-42.
  • LAMARRA, N. F. La universidad en America Latina y Argentina: problemas y desafios políticos y de gestión. Revista Gestão Universitária na América Latina - GUAL, Florianópolis, v. 1, n. 1, p. 40-64, 2007. https://doi.org/10.5007/%25x
    » https://doi.org/https://doi.org/10.5007/%25x
  • LAMARRA, N. F.; CENTENO, C. G. P. La educación superior latinoamericana en el inicio del nuevo siglo. Situación, principales problemas y perspectivas futuras. Revista Española de Educación Comparada, Madrid, n. 27, p. 123-148, 2016. http://dx.doi.org/10.5944/reec.27.2016.15044
    » https://doi.org/http://dx.doi.org/10.5944/reec.27.2016.15044
  • LAMARRA, N. F.; CÓPPOLA, N. Educación superior y calidad en América Latina y Argentina: los procesos de evaluación y acreditación. Buenos Aires: EDUNTREF, 2007.
  • LANARES, J. Developing a quality culture to become a world-class university. In: FROMENT, E.; KOHLER, J.; PURSER, L.; WISON, L. (org.). Paths to a world-class university. Brussels: Sense Publishers, 2008. p. 263-274.
  • LENKEIT, J.; CARO, D. H. Performance status and change: measuring education system effectiveness with data from PISA 2000-2009. Educational Research and Evaluation, United Kingdom, v. 20, n. 2, p. 146-174, 2014. http://dx.doi.org/10.1080/13803611.2014.891462
    » https://doi.org/http://dx.doi.org/10.1080/13803611.2014.891462
  • MACCARI, E. A.; ALMEIDA, M. I. R.; RICCIO, E. L.; ALEJANDRO, T. B. Proposta de um modelo de gestão de programas de pós-graduação na área de Administração a partir dos sistemas de avaliação do Brasil (CAPES) e dos Estados Unidos (AACSB). Revista de Administração (São Paulo), São Paulo, v. 49, n. 2, p. 369-383, 2014. https://doi.org/10.5700/rausp1152
    » https://doi.org/https://doi.org/10.5700/rausp1152
  • MASSY, W. F. Academic audit for accountability and improvement. Achieving accountability in higher education: balancing public, academic and market demands. San Francisco: Jossey-Bass, 2005.
  • MEC - Ministério da Educação. Instrumento de Avaliação Institucional Externa - subsidia os atos de credenciamento, recredenciamento e transformação da organização acadêmica (presencial). Brasília, DF: MEC. Disponível em: Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2015/instrumento_institucional_072015.pdf Acesso em: 2 mar. 2020.
    » http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2015/instrumento_institucional_072015.pdf
  • MORGAN, C.; SHAHJAHAN, R. A. The legitimation of OECD’s global educational governance: examining PISA and AHELO test production. Comparative Education, United Kingdom, v. 50, n. 2, p. 192-205, 2014. http://dx.doi.org/10.1080/03050068.2013.834559
    » https://doi.org/http://dx.doi.org/10.1080/03050068.2013.834559
  • NAIDOO, R. Higher education as a global commodity: the perils and promises for developing countries. The Observatory on Borderless Higher Education. London: TOBHE, 2007.
  • NEAVE, G. On the cultivation of quality, efficiency and enterprise: an overview of recent trends in higher education in Western Europe, 1986-1988. European Journal of Education, United States, v. 23, n. 1/2, p. 7-23, 1988. http://dx.doi.org/10.2307/1502961
    » https://doi.org/http://dx.doi.org/10.2307/1502961
  • NEAVE, G. The evaluative state reconsidered. European Journal of Education, United States, v. 33, n. 3, p. 265-284, 1998. Disponível em: Disponível em: http://www.jstor.org/stable/1503583 Acesso em: 15 jan. 2019.
    » http://www.jstor.org/stable/1503583
  • NEAVE, G.; VAN VUGHT, F. A. Government and higher education relationships across three continents: the winds of change. United Kingdom: Pergamon Press, Elsevier Science, 1994. (Higher Education Series, 2).
  • OECD - Organisation for Economic Co-Operation and Development. Quality and Internationalization in Higher Education. Programme on Institutional Management in Higher Education. Paris: IMHE, 1999. http://dx.doi.org/10.1787/9789264173361-en
    » https://doi.org/http://dx.doi.org/10.1787/9789264173361-en
  • PEDROSA, R. H. L.; AMARAL, E.; KNOBEL, M. Assessing higher education learning out-comes in Brazil. Higher Education Management and Policy, United States , v. 24, n. 2, p. 55-71, 2012. http://dx.doi.org/10.1787/hemp-24-5k3w5pdwk6br
    » https://doi.org/http://dx.doi.org/10.1787/hemp-24-5k3w5pdwk6br
  • PEREIRA, C. A.; MACHADO, M. L.; ARAÚJO, J. F. F. E. Acreditação do ensino superior na Europa e Brasil: mecanismos de garantia da qualidade. Revista de Políticas Públicas, São Luís, v. 19, n. 1, p. 61-75, 2015. http://dx.doi.org/10.18764/2178-2865.v19n1p61-75
    » https://doi.org/http://dx.doi.org/10.18764/2178-2865.v19n1p61-75
  • PEREIRA, C. A.; ARAUJO, J. F. F. E.; MACHADO-TAYLOR, M. L. The Brazilian higher education evaluation model: “SINAES” sui generis? International Journal of Educational Development, Netherlands, v. 61, p. 5-15, 2018. http://doi.org/10.1016/j.ijedudev.2017.11.007
    » https://doi.org/http://doi.org/10.1016/j.ijedudev.2017.11.007
  • POLIDORI, M. M. Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e... outros índices. Avaliação: Revista da Avaliação da Educação Superior, Sorocaba, v. 14, n. 2, p. 439-452, 2009. https://doi.org/10.1590/S1414-40772009000200009
    » https://doi.org/https://doi.org/10.1590/S1414-40772009000200009
  • POLIDORI, M. M.; MARINHO-ARAUJO, C. M.; BARREYRO, G. B. SINAES: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 14, n. 53, p. 425-436, 2006. https://doi.org/10.1590/S0104-40362006000400002
    » https://doi.org/https://doi.org/10.1590/S0104-40362006000400002
  • POLLITT, C. Managerialism and the public services. The Anglo-American Experiences. Oxford: Basil Blackwell, 1993.
  • RICHARDSON, S.; COATES, H. Essential foundations for establishing equivalence in cross-national higher education assessment. Higher Education, Netherlands, v. 68, n. 6, p. 825-836, 2014. http://dx.doi.org/10.1007/s10734-014-9746-9
    » https://doi.org/http://dx.doi.org/10.1007/s10734-014-9746-9
  • RISTOFF, D.; GIOLO, J. O SINAES como sistema. Revista Brasileira de Pós-Graduação, Brasília, v. 3, n. 6, p. 193-213, 2006. https://doi.org/10.21713/2358-2332.2006.v3.106
    » https://doi.org/https://doi.org/10.21713/2358-2332.2006.v3.106
  • ROSA, M. J.; CARDOSO, S.; DIAS, D.; AMARAL, A. The EUA Institutional Evaluation Programme: an account of institutional best practices. Quality in Higher Education, United Kingdom, v. 17, n. 3, p. 369-386, 2011. http://dx.doi.org/10.1080/13538322.2011.625207
    » https://doi.org/http://dx.doi.org/10.1080/13538322.2011.625207
  • SANTOS, S. M. Análise comparativa dos processos europeus para a avaliação e certificação de sistemas internos de garantia da qualidade. Lisboa: Agência de Avaliação e Acreditação do Ensino Superior (A3ES), 2011.
  • SCHWARTZMAN, S.; CLARK, B. R.; NEAVE, G. The encyclopedia of higher education. Oxford: Pergamon Press, 1992.
  • SHAHJAHAN, R. A. Coloniality and a global testing regime in higher education: unpacking the OECD’s AHELO initiative. Journal of Education Policy, United Kingdom, v. 28, n. 5, p. 676-694, 2013. http://dx.doi.org/10.1080/02680939.2012.758831
    » https://doi.org/http://dx.doi.org/10.1080/02680939.2012.758831
  • SHAHJAHAN, R. A.; TORRES, L. E. A “Global Eye” for Teaching and Learning in Higher Education: a critical policy analysis of the OECD’s AHELO study. Policy Futures in Education, [S.l], v. 11, n. 5, p. 606-620, 2013. http://dx.doi. org/10.2304/pfie.2013.11.5.606
    » https://doi.org/http://dx.doi. org/10.2304/pfie.2013.11.5.606
  • SOH, K. Finland and Singapore in PISA 2009: similarities and differences in achievements and school management. Compare: A Journal of Comparative and International Education, United Kingdom, v. 44, n. 3, p. 455-471, 2014. http://dx.doi.org/10.1080/03057925.2013.787286
    » https://doi.org/http://dx.doi.org/10.1080/03057925.2013.787286
  • STENSAKER, B.; LANGFELDT, L.; HARVEY, L.; HUISMAN, J.; WESTERHEIJDEN, D. An in-depth study on the impact of external quality assurance. Assessment & Evaluation in Higher Education, United Kingdom, v. 36, n. 4, p. 465-478, 2011. http://dx.doi.org/10.1080/02602930903432074
    » https://doi.org/http://dx.doi.org/10.1080/02602930903432074
  • TASHAKKORI, A.; TEDDLIE, C. Mixed methodology: combining qualitative and quantitative approaches. Thousand Oaks: Sage Publications, 1998. v. 46.
  • VERHINE, R.; DANTAS, L. M. V.; SOARES J. F.. From “Provão” to Enade: a comparative analysis of national exams used in Brazilian higher education. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 14, n. 52, p. 291-310, 2006. https://doi.org/10.1590/S0104-40362006000300002
    » https://doi.org/https://doi.org/10.1590/S0104-40362006000300002
  • YAUCH, C. A.; STEUDEL, H. J. Complementary use of qualitative and quantitative cultural assessment methods. Organizational Research Methods, [S.l], v. 6, n. 4, p. 465-481, 2003. https://doi.org/10.1177/1094428103257362
    » https://doi.org/https://doi.org/10.1177/1094428103257362
  • WEBB, E. J.; CAMPBELL, D. T.; SCHWARTZ, R. D.; SECHREST, L. Unobtrusive measures: nonreactive research in the social sciences. Illinois: Rand McNally, 1966. v. 11.
  • *
    Utilizou-se a palavra “SINAES”, uma abreviatura que representa o Sistema Nacional de Avaliação do Ensino Superior por ser uma palavra homônoma homófona à palavra “SINAIS”, a escolha foi intencional com o objetivo de relacionar os aspectos da reforma do “SINAES” com os “sinais” de maturidade ou saturação do modelo.
  • 1
    . No caso brasileiro, as instituições não universitárias são representadas pelos institutos federais.
  • 2
    . No Brasil, as universidades possuem autonomia para criar, alterar e extinguir cursos de ensino superior, entre outras atribuições. Durham (2003DURHAM, E. R. Autonomia, controle e avaliação. In: MORHY, L. (org.). Universidade em questão. Brasília: Universidade de Brasília, 2003. v. 1, p. 275-304., p. 276-277) afirma que a universidade goza de autonomia para executar essas atividades que lhes são próprias e não são realizadas para seu interesse exclusivo, mas constituem um serviço que presta à sociedade. Como consequência, o reconhecimento da autonomia não exime as instâncias públicas mais amplas da verificação da prestação efetiva desses serviços. Essa prerrogativa de autonomia não é facilmente encontrada em outros cenários, cite-se, por exemplo, o caso da The Encyclopedia of Higher Education (Schwartzman, Clark e Neave, 1992SCHWARTZMAN, S.; CLARK, B. R.; NEAVE, G. The encyclopedia of higher education. Oxford: Pergamon Press, 1992.), que não apresenta nenhum capítulo discutindo a autonomia das universidades.
  • 3
    . Mercosul é um bloco sub-regional composto pelos países aderentes: Argentina, Brasil, Paraguai, Uruguai e Venezuela. Países associados: Chile, Bolívia, Peru, Colômbia e Equador e países observadores: Nova Zelândia e México.
  • 4
    . Conforme portaria n. 388, de 2016, artigo 1º, a gestão ocorrerá sob a responsabilidade da Comissão Técnica de Acompanhamento da Avaliação (CTAA).
  • 5
    . Decisão do Conselho de Mercado Comum n. 17 (Argentina, 2008ARGENTINA. Decisão do Conselho de Mercado Comum - CMC n. 17, de 30 de junho de 2008. Acordo sobre a criação e a implementação de um sistema de credenciamento de cursos de graduação para o reconhecimento regional da qualidade acadêmica dos respectivos diplomas no Mercosul e Estados associados. San Miguel de Tucumán: Argentina. Disponível em: Disponível em: http://portal.mec.gov.br/dmdocuments/dec_017_conae.pdf . Acesso em: 7 dez. 2018.
    http://portal.mec.gov.br/dmdocuments/dec...
    ).
  • 6
    . As 2.368 IES mencionadas são responsáveis, em conjunto, pela oferta de 32.878 cursos de ensino superior no país.
  • 7
    . Considerando a atuação nas esferas federal, estadual e municipal.
  • 8
    . Entenda-se como o ensino, a pesquisa e a extensão.
  • 9
    . O instrumento, em sua versão atualizada (2015), encontra-se disponível no sítio do INEP em: http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2015/instrumento_institucional_072015.pdf.
  • 10
    . A característica de ampla discussão foi garantida na criação do GTAES por meio da escolha de seus componentes representantes das principais entidades da área: INEP; Secretaria de Regulação e Supervisão da Educação Superior (SERES); CAPES; Secretaria de Educação Superior (SESu); Secretaria de Educação Profissional e Tecnológica (SETEC); Conselho Nacional de Educação (CNE); CONAES; Fórum das Entidades Representativas da Educação Superior (FÓRUM); Associação Nacional dos Dirigentes das Instituições Federais de Educação Superior (ANDIFES); Conselho Nacional das Instituições da Rede Federal de Educação Profissional, Científica e Tecnológica (CONIF); Fórum Nacional de Pró-Reitores de Graduação (ForGRAD); Fórum Nacional de Extensão e Ação Comunitária das Universidades e IES Comunitárias (ForExt); Fórum Nacional de Pró-Reitores de Pesquisa e Pós-Graduação (FORPROP); Associação Brasileira das Universidades Comunitárias (ABRUC); e Associação Brasileira dos Reitores das Universidades Estaduais e Municipais (ABRUEM).
  • Este estudo foi realizado no Centro de Investigação em Ciência Política (UIDB/CPO/00758/2020), Universidade do Minho/Universidade de Évora, e foi apoiado pela Fundação para a Ciência e Tecnologia e o Ministério da Educação e Ciência português por meio de fundos nacionais. O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior do Brasil (CAPES), código de financiamento 001.

Datas de Publicação

  • Publicação nesta coleção
    11 Maio 2020
  • Data do Fascículo
    2020

Histórico

  • Recebido
    23 Mar 2019
  • Aceito
    25 Nov 2019
ANPEd - Associação Nacional de Pós-Graduação e Pesquisa em Educação Rua Visconde de Santa Isabel, 20 - Conjunto 206-208 Vila Isabel - 20560-120, Rio de Janeiro RJ - Brasil, Tel.: (21) 2576 1447, (21) 2265 5521, Fax: (21) 3879 5511 - Rio de Janeiro - RJ - Brazil
E-mail: rbe@anped.org.br