Qualidade na educação superior: uma visão operacional do conceito

Quality in higher education: an operational concept vision

Resumos

O objetivo desse artigo é analisar o conceito de qualidade, a partir da sua definição, tratamento e utilização nos processos em prol da melhoria da educação superior. Para tanto, discute o conceito no âmbito da produção de bens e serviços e suas inserções no campo educacional, articulando tais discussões às experiências avaliativas do Sistema Nacional de Avaliação da Educação Superior (Sinaes) e da Avaliação da Pós-Graduação, bem como as ações regulatórias delas decorrentes. Como resultado, sinaliza limites e relações teórico-práticas entre qualidade, avaliação e regulação como conceitos entrelaçados, mas que exercem funções diferenciadas na apropriação do que é bom ou adequado para o nível educacional em foco. Conclui destacando indicadores e parâmetros de referência como conceitos-chave para discutir qualidade em processos avaliativos e o seu significado.

Palavras-chave:
Sinaes; Avaliação da Capes; Qualidade; Educação Superior

Abstract: This paper analyzes the concept of quality, its definition, treatment and use in processes to improve higher education. It discusses the concept within the production of goods and services and their insertions in the context of higher education, articulating this discussion with the evaluative experiences of the National Higher Education Evaluation System (Sinaes) and Graduate Assessment, including regulatory actions arising therefrom. As a result, signals limits and relationship between quality, assessment and regulation as intertwined concepts, but perform different functions in the appropriation of what is good or appropriate for the educational level into focus. It concludes pointing indicators and benchmarks as key concepts to discuss quality in process of evaluating and its meaning.

Key words:
Sinaes; Capes Evaluation; Quality; Higher Education

Introdução

A questão da qualidade da educação superior costuma se confundir com as experiências avaliativas e de regulação desse nível educacional, sem que os limites entre elas sejam adequadamente esclarecidos. Aparentemente, tais experiências terminam por representar a própria discussão sobre o tema, encobrindo análises específicas sobre qualidade como conceito teórico. A observação das publicações acadêmicas na área - revisadas para a construção deste artigo - indicou que poucas discutiram qualidade como um constructo dotado de identidade própria e distinta dos processos que se apropriam do seu significado.

Essa tendência também pareceu ser verdadeira em âmbito internacional. Ao historiar os 15 anos de vida de um respeitado periódico inglês, especializado na área de qualidade da educação superior , Harvey e Williams (2010) identificaram que, majoritariamente, os artigos da área tratavam de processos avaliativos em universidades ou da regulação exercida por sistemas nacionais dos principais países dos cinco continentes. Com menor incidência, os autores identificaram produções que discutiram mais especificamente indicadores e parâmetros de qualidade ou abordaram o conceito em foco, evidenciando dimensões que lhe dessem sentido.

Considerando esse quadro, buscou-se neste artigo observar as relações que se estabelecem entre qualidade, regulação e avaliação da educação superior. A ideia que guiou a análise aqui realizada foi a de favorecer a identificação do significado real de qualidade, quando de sua apropriação por processos de avaliação e de regulação da educação superior. O caminho seguido nesse processo reflexivo considerou as discussões teóricas realizadas no âmbito da produção de bens e serviços e suas inserções no contexto da educação superior, buscando articulá-las com as experiências do Sistema Nacional de Avaliação da Educação Superior (SINAES) e da Avaliação da Pós-Graduação, realizada pela Coordenação de Aperfeiçoamento de Nível Superior (CAPES).

Cabe destacar que a opção de desenvolver esta análise a partir da transição do conceito de qualidade do campo da produção para o da educação, considerou o fato de o termo ser fartamente discutido nos manuais voltados à gestão de organizações empresariais, sendo razoável considerar que tais discussões terminem por influenciam a sua apropriação no campo educacional. Conforme destacou Silva (2009), o social está imbricado com o econômico e ambos se configuram como partes de um todo, inseridos em espaços e tempos históricos determinados.

Assim, nas seções que seguem, adotou-se um olhar amplo sobre a definição, o tratamento e a utilização do conceito de qualidade, articulando-se discussões teóricas do campo da produção e experiências concretas do campo da educação, mas assumindo-se que o processo ensino-aprendizagem não pode ser classificado como uma mercadoria nem o aluno como um consumidor. Como resultado, estabeleceu-se a diferença ente qualidade, avaliação e regulação, sinalizando-se para indicadores e parâmetros de desempenhos como aspectos centrais no entendimento do que é bom ou adequado para cursos e instituições de educação superior (IES).

Aproximações ao conceito de qualidade

Em rápida síntese teórico-histórica sobre a evolução das discussões sobre qualidade no campo da produção, destacaram-se as contribuições de W. Edwards Deming que, na década de 1940, associou o termo a aspectos de uniformidade e confiabilidade de um produto às suas especificações técnicas, definidas previamente por engenheiros e gerentes responsáveis pela sua criação e fabricação. Na década seguinte, Joseph Juran ampliou essa definição de qualidade, deslocando-a da perspectiva meramente técnica (estática) para abranger também a adequação do produto à sua utilização pelo consumidor (dinâmica). Com isso, Juran incorporou ao conceito de qualidade a dinamicidade da sociedade trazida pelo consumidor, abrindo uma importante fronteira para o estudo da qualidade. Finalmente, na década de 1980, David Garvin propôs como inovação ao léxico da qualidade a perspectiva de dimensões ou faces, evidenciando o caráter polissêmico do conceito (GOMES, 2004).

Dessa síntese histórica, cabe detalhar que a perspectiva de dinamicidade, considerada por Juran (1999) como inerente ao conceito em análise, trouxe embutida a necessidade de racionalização do processo por meio do qual se procura atender as demandas do consumidor por adequações dos produtos e serviço. Como tais demandas não se esgotam enquanto o contexto econômico-social evolui, elas terminam por promover um permanente processo de mudança naquilo que se entende por qualidade de determinado objeto. Nesse sentido, o autor detalhou o processo de gestão da qualidade por meio da trilogia planejamento-controle-melhoria. Planejamento, estabelecendo objetivos, metas da qualidade e os caminhos para alcançá-los. Controle, comparando a realidade com os objetivos definidos, permitindo corrigir as diferenças. Melhoria, evoluindo os objetivos da qualidade e garantindo uma constante revisão do planejamento para fechar o ciclo da renovação periódica e racionalizada daquilo que foi definido inicialmente como qualidade. No seu conjunto, o ciclo de gestão da qualidade termina por sugerir uma permanente alteração do significado vinculado ao conceito.

Tais mudanças em torno do significado de qualidade também puderam ser visualizada, na perspectiva de Garvin (1987), por meio dos possíveis (re)arranjos das partes e do todo, seguindo a perspectiva de dimensões ou faces da qualidade. Esse autor apresentou oito dimensões para a qualidade no campo da produção, alertando que tais dimensões além de não esgotarem as possibilidades de visualização do conceito, poderiam ser tomadas como independentes, constituindo no todo ou parcialmente o significado de qualidade para a oferta de um produto. Nessa lógica, a definição de qualidade terminaria por envolver uma infinidade de possíveis combinações entre as faces daquilo que pode ser considerado bom ou adequado.

A partir desse entendimento multifacetado do conceito de qualidade trazido por Garvin (1987) e tomando-se como referência as contribuições de Juran (1999), sintetizou-se inicialmente o conceito em foco no campo da produção por meio de duas dimensões básicas, a saber: técnica, definindo-se a qualidade de produtos e serviços a partir de especificações objetivas como rentabilidade, características de funcionamento, tempos diversos, número de defeitos, etc.; e prática ou social, definindo-se qualidade a partir da satisfação das necessidades e expectativas dos indivíduos.

Vale destacar, no entanto que, apesar de as dimensões técnica e social parecerem opostas, elas se encaixaram de forma complementar: pode-se até fazer a opção por uma em detrimento da outra, mas não foram encontrados argumentos que indicassem que tais dimensões não pudessem estar presentes em uma mesma realidade. Reforçou esse entendimento a contribuição de Werkema (1995), que definiu qualidade associando-a às características dos produtos ou serviços capazes de promover satisfação pela ausência de defeitos (técnica) e pela presença de elementos que agradem ao usuário (social).

A perspectiva de vários significados para o termo qualidade se mostrou bastante difundida nas análises e estudos sobre o termo no campo da produção. Para Gomes (2004, p. 7), “a qualidade é considerada universalmente como algo que afeta a vida das organizações e a vida de cada um de nós de forma positiva [...] No entanto, nem sempre partimos de uma definição clara do que é a qualidade”. Do ponto de vista dos consumidores, podem existir diversas concepções sobre o que faz um produto ou serviço possuir qualidade, ou, ainda, tais concepções podem ser difusas e não declaradas. No entanto, em um contexto de competição capitalista, empresas e governos necessitam demonstrar transparência nas regras que sustentam a comparação de bens e serviços. Com isso passou a ser cada vez mais comum a exigência de definições expressas sobre qual é, entre várias configurações para os produtos comercializados, aquela que contempla características identificadas como técnica e socialmente adequadas.

Na área produtiva, existem diversas possibilidades de padrões de qualidade, como aqueles de certificação em nível internacional, como o International Organization for Standardization (ISO) e o International Eletrotechnical Comission (IEC); regionais, como a Comissão Panamericana de Normas Técnicas (COPANT) e a Associação Mercosul de Normalização (AMN); ou nacionais, como a Associação Brasileira de Normas Técnicas (ABNT) e o Instituto Nacional de Metrologia, Qualidade e Tecnologia (Inmetro). Cada uma dessas certificações de qualidade adota indicadores de mensuração e parâmetros de julgamentos diferenciados, aos quais as empresas se associam, ou não, conforme imposição legal ou adequação às suas estratégias e interesses corporativos.

Tendo como referência esse entendimento, pôde-se fazer a distinção entre o termo “qualidade” daquilo que se denominou “critério de qualidade”. A qualidade, nesse caso, foi associada a um sentido genérico e inespecífico, envolvido por uma áurea etérea, difusa, aparentemente compartilhada por todos sobre o que é adequado, mas que pode levar a caminhos e objetivos diferentes. Em contrapartida, os critérios foram apropriados como aquilo que especifica e referencia um objeto a determinado parâmetro, dando significado real à qualidade (operacionalizando o conceito).

No campo da educação, admitindo a diversidade e mutabilidade da definição de qualidade, Sousa (2009) chamou a atenção para o fator transformação como essencial à compreensão contextualizada e crítica do percurso histórico e social da construção do conceito. Embora o autor tenha reconhecido que, etimologicamente, qualidade pode ser definida como um atributo capaz de distinguir, marcar, determinar a natureza de dado objeto, considerou que não se pode atribuir um valor absoluto à qualidade no campo educacional, tampouco à mera adequação de ideias, processos e práticas a padrões e normas estabelecidas previamente, tendo em vista o contexto histórico, econômico e social em que se desenvolve.

Reforçando essa perspectiva polissêmica e, aparentemente, inspirando-se nas dimensões de qualidade proposta por Garvin (1987), Harvey e Green (1993) apontaram cinco possibilidades ou faces para a definição do conceito na educação superior, a saber:

1. Qualidade como fenômeno excepcional: associada às noções de exclusividade e elitismo; à noção de excelência, superando os padrões estabelecidos; e à satisfação ou conformidade a um conjunto de requisitos periodicamente apurados.

2. Qualidade como perfeição ou coerência: associada à perspectiva que as especificações devem ser exatamente cumpridas, contrapondo-se à abordagem de qualidade como fenômeno excepcional.

3. Qualidade como ajuste a um propósito: associada à noção de conformidade com o propósito ou finalidade para o qual o objeto foi criado.

4. Qualidade como relação custo-benefício: associada à perspectiva de prestação de contas dos recursos públicos investidos ao público diretamente interessado no resultado apresentado.

5. Qualidade como transformação: associada à noção de transformação e mudança para melhor, seja do aluno, seja do professor, seja do curso, seja da instituição.

A visão da qualidade por meio de dimensões também foi utilizada por Morosini (2001), que associou o conceito na educação superior às noções de isomorfismo, diversidade e equidade. Nessa abordagem, isomorfismo refere-se à adequação da educação superior a um dado nível de desempenho padronizado; diversidade, à perspectiva de respeito às diferenças regionais, culturais e econômicas das IES e seus cursos; e equidade, à incorporação de indicadores qualitativos e quantitativos referenciados na realidade institucional. Para a autora, tais aspectos se configuram como aproximações a uma noção de qualidade, alertando que, na prática, existe uma combinação entre eles. Adicionalmente, revisitando essas dimensões, Morosini (2009) reconheceu que o contexto sócio-histórico vem provocando uma minimização das suas fronteiras, sugerindo a possibilidade de tomar essas dimensões como um todo concreto.

Assumindo outras categorias para discutir o conceito de qualidade na educação superior, Dias Sobrinho (2008a) visualizou esse conceito com base em duas dimensões polarizadas. A primeira, da qualidade sob o ponto de vista social, que valoriza aspectos que permitem a formação ética e o desenvolvimento intelectual dos indivíduos, entendendo a educação como um bem público. A segunda, da qualidade associada ao mercado, considerando a educação como mercadoria pela valorização de aspectos que permitem o desenvolvimento de competências para o trabalho, credenciando os indivíduos ao emprego, e pela comparação ou ranqueamento em torno daquilo que foi aprendido particularmente. Apesar de essas dimensões terem sido colocadas de forma contrapostas, Dias Sobrinho (2008a) não negou que a separação ou purismo desses sentidos do termo qualidade seja apenas conceitual, deixando entrever a possibilidade de outros tipos de relação dialética entre as faces da qualidade na educação superior discutidas por ele.

No entendimento de Dourado e Oliveira (2009, p. 203), “qualidade é um conceito histórico, que se altera no tempo e no espaço, ou seja, o alcance do referido conceito vincula-se às demandas e exigências sociais de um dado processo histórico”. Essa assertiva reforçou o entendimento apresentado por Sousa (2009) de adaptação do significado de qualidade na educação superior às condições empíricas nas quais está inserido. Na mesma linha, Rios (2010, p. 64) afirmou que na educação [...]

[...] o conceito de qualidade é totalizante, abrangente, multidimensional. É social e historicamente determinado porque emerge de uma realidade específica e de um contexto concreto. Portanto, uma análise crítica da qualidade deverá considerar todos esses aspectos, articulando aqueles de ordem técnica e pedagógica aos de caráter político-ideológico.

Assim, considerando a perspectiva contextualizada da qualidade, há um quase consenso no campo educacional sobre a polissemia do termo, decorrente tanto da subjetividade na apropriação de critérios ou aspectos que o define (marcadamente condicionados a contextos históricos, econômicos, sociais e políticos específicos) quanto da infinidade de situações distintas nas quais ele pode ser aplicado, entre outros, a curso, instituição, docentes, processo ensino-aprendizagem, etc. (BERTOLIN, 2007; BURLAMAQUI, 2008; DIAS SOBRINHO, 2008b; DOURADO; OLIVEIRA, 2009; FONSECA, 2009; HORTALE; MOREIRA; KOIFMAN, 2004; MOROSINI, 2001; RIOS, 2010; SILVA, 2009; SOUSA, 2009).

Com isso, o conceito de qualidade na educação superior vem assumindo diversas conotações a cada contexto, seguindo tendência também pontuada por Juran (1999) no campo da produção de bens e serviços. No que se referiu especificamente às possibilidades ou caminhos para se chegar à oferta de um curso da educação superior com qualidade, considerou-se adicionalmente que a sua modificação ao longo do tempo dependeria dos embates dos grupos de interesse que colaboram em torno da definição de seus critérios, dando forma e sentido ao seu significado. Em síntese, diante das várias possibilidades para a definição da qualidade, entendeu-se que sua significação emergiria dos interesses daqueles diretamente afetados por ela, alterando-se ao longo do tempo, conforme a reconfiguração desses mesmos interesses.

Assumindo-se esse entendimento, o conceito de qualidade no campo da educação superior brasileira pode ser considerado como amorfo e não necessariamente polissêmico, uma vez que, em virtude da dimensão técnica do conceito, não são todos os seus possíveis significados que são esperados como válidos, simultaneamente, em um dado contexto, mas apenas um deles. A revisão até aqui empreendida, quando associada ao contexto do Sistema Nacional de Ensino Superior, levou à proposição de que o conteúdo concreto do que é qualidade pode alterar-se em várias direções, mas termina por assumir uma de suas faces, conforme a força política de seus defensores. Dessa forma, depreendeu-se que o conceito de qualidade parece refletir melhor a realidade quando considerado amorfo (que assume formas ou significados diferentes a cada contexto), do que polissêmico, que remete à validade de todos os significados ao mesmo tempo.

Ilustrando esse entendimento, na década de 1990, a qualidade dos cursos de graduação no Brasil esteve associada à dimensão do desempenho de alunos egressos, aferido por meio de exames nacionais, de acordo com cada área de formação. Na década de 2000, ampliou-se essa concepção, incluindo-se dimensões como infraestrutura, corpo docente e organização didático-pedagógica. Já no caso da avaliação dos programas de pós-graduação, o conteúdo de um curso de qualidade migrou, ao longo do tempo, de uma perspectiva focada na titulação docente e no tempo médio de titulação dos alunos, passando por uma visão centrada na produção acadêmica dos cursos, até pautar-se, mais recentemente, na inserção internacional da produção e das ações dos cursos de mestrado e doutorado. Nesses exemplos, observou-se que, aparentemente, determinado conjunto de dimensões ou faces do conceito de qualidade da educação superior brasileira imprimiu-lhe significados diferentes ao longo tempo e não ao mesmo tempo. Além disso, observou-se que as mudanças ocorridas nesses significados tenderam a estar ligadas às próprias mudanças das forças políticas responsáveis pela condução da educação nacional.

A ideia de que o significado do que se entende por qualidade na educação superior é construído politicamente foi assumida por Harvey e Williams (2010). Na mesma linha de argumentação, Bertolin (2007) asseverou que concepções de qualidade estão relacionadas a uma perspectiva subjetiva de quem as emite, dando sentido ao conceito a partir de um ponto de vista. Também Burlamaqui (2008) pontuou que diferentes grupos de interesses promovem percepções distintas sobre a qualidade nesse campo. Esse último autor destacou, ainda, a multifuncionalidade e a complexidade do conceito, que pode contemplar na educação superior as atividades de ensino, pesquisa, extensão, estruturas físicas, ambiente acadêmico, etc., bem como dicotomias entre qualitativo/quantitativo, produtos/processos e eficácia/eficiência. Tendo como referência o conjunto dessas ideias, entendeu-se que preferências, crenças, valores e até mesmo afinidades e interesses pessoais ou coletivos parecem permear a definição de qualidade na educação superior.

Adicionalmente, encontrou-se em Fonseca (2009) a discussão de que os embates oriundos dos movimentos sociais e as ações dos diversos governos federais brasileiros, que se sucederam desde o início do período militar até o final dos anos 2000, produziram diferentes significados para a qualidade em educação no Brasil. Na perspectiva da autora, tais significados oscilaram entre parâmetros que privilegiaram a emancipação dos sujeitos e a formação do cidadão, e aqueles voltados à preparação dos indivíduos para a produção e o consumo.

Reforçando a dimensão política do conceito de qualidade, bem como a sua relação direta com os aspectos técnicos que a estrutura, Cabrito (2009) entendeu que as discussões em torno da qualidade da educação têm levado em conta um padrão de referência definido sob a perspectiva do Estado neoliberal, fomentando a concorrência, a rivalidade e a discriminação, em claro processo de reprodução das exclusões e das desigualdades sociais. Nesse sentido, assumindo que tal padrão no campo educativo é subjetivo, o autor terminou por desconsiderar a validade dos critérios de qualidade escolhidos sob a perspectiva neoliberal/capitalista. Desconsiderou também os processos avaliativos decorrentes desses critérios, uma vez que permitiam comparar instituições entre si, reproduzindo “as diferenças e as assimetrias entre governantes e governados, entre ricos e pobres, entre burgueses e operários, de forma intencional” (CABRITO, 2009, p. 197).

Por outro lado, Cabrito (2009) resgatou a validade da discussão sobre qualidade em educação, desde que fossem observados dois aspectos: a) indicadores de natureza quantitativa e qualitativa, que mesmo não sendo padronizados, representem necessariamente toda a realidade que se pretende avaliar; b) indicadores que resultem na impossibilidade de comparação entre as instituições, evitando que se promova a competição. Interessante também notar que, para o autor, a seleção de determinados critérios (voltados aos interesses capitalistas) tornaria a própria discussão de qualidade como não aceitável. Em contrapartida, se os critérios selecionados fossem outros (aqueles sugeridos pelo autor e fundados em uma postura mais socializante), então a discussão da qualidade na educação superior seria válida. Corroborando a perspectiva de embates em torno da definição de qualidade, aparentemente, na opinião de Cabrito (2009), o norte que faz o ponteiro de sua bússola girar entre um polo e outro da validade da discussão sobre qualidade na educação superior estaria na seleção dos critérios usados para medir tal qualidade: se favoráveis a interesses burgueses ou proletários, conforme explicitado por ele.

Essa discussão sobre qualidade na educação superior permitiu evidenciar, então, uma terceira dimensão do conceito de qualidade: a política, que complementou as duas primeiras já destacadas (dimensões técnica e social). As contribuições até aqui revisadas em torno dessa terceira dimensão sugeriram que ela legitima e promove a adesão ou filiação em torno do que é considerado bom ou adequado técnica e socialmente. Além disso, a face política do conceito de qualidade reforçou o entendimento de que o significado do termo só deixa de ser genérico quando apropriado por meio de uma especificação clara do que representa.

Em termos operacionais, o conteúdo específico que dá forma/identidade ou significado ao conceito de qualidade passou a ser entendido nesta análise como critérios de qualidade. Esses critérios foram visualizados como produto de disputas permanentes entre diversos grupos de interesses afetados pelo significado e consequentes usos da qualidade na educação superior. Considerou-se, ainda, que tal significado de qualidade não se esgotaria em si mesmo, uma vez que, como produto de disputa, seria passível de alteração sempre que perdesse legitimidade (entendida como a força de uma ideia em relação a outras e não a partir de um consenso em torno dela).

Por outro lado, mesmo assumindo a centralidade dos critérios para o significado daquilo que se entende por qualidade na educação superior, reconheceu-se que outros elementos, notadamente aqueles que envolvem os conceitos de avaliação e regulação, aparecerem na literatura como imbricados nesse significado. Dessa forma, buscou-se, na seção que segue, adentrar ainda mais nessa discussão, analisando de que forma os elementos citados organizam o conceito em foco no contexto da educação superior.

Critérios como aspecto central na definição de qualidade

Para entender melhor como avaliação, regulação, indicadores e parâmetros de qualidade se relacionam ao conceito de qualidade, em si, no contexto da educação superior brasileira, assumiu-se a experiência da avaliação da pós-graduação como ponto de partida, uma vez que ela se configurou como o mais consolidado processo de garantia da qualidade do nível educacional em estudo, oferecendo alguns subsídios empíricos para a discussão teórica dos conceitos discutidos nesta análise.

A prática da Avaliação da Capes destacou um instrumento avaliativo isomórfico - similar ao utilizado pelo Sinaes para as avaliações de cursos in loco - denominado Ficha de Avaliação. Esse instrumento é composto por itens avaliativos parametrizados em torno de uma escala de valores que vão de um a cinco (associados, respectivamente, aos conceitos fraco, deficiente, regular, bom, muito bom) . Porém, diferentemente do que vem ocorrendo no Sinaes, o instrumento avaliativo da pós-graduação não é único, apesar de guardar uma estrutura semelhante em termos dos quesitos/dimensões avaliados. Ele é capaz de hierarquizar programas de pós-graduação de determinada natureza e área de conhecimento. As fichas seguem itens específicos conforme as características dos programas, a saber: a) natureza - acadêmica ou profissional; b) áreas de conhecimento; c) pertencimento, ou não, ao Sistema Nacional de Pós-Graduação (SNPG) - proposta de curso ou curso em funcionamento; e d) tempo de permanência no SNPG - curso novo ou curso consolidado. Consequentemente, o processo de preenchimento das fichas avaliativas segue critérios de qualidade individualizados, conforme enquadramento do programa. Assim, mesmo possuindo uma função padronizadora da qualidade dos cursos de mestrado e doutorado no país, os critérios de qualidade utilizados nesse processo avaliativo tendem a respeitar diferenças nos propósitos dos cursos de pós-graduação, sua maturidade, bem como as especificidades das áreas de conhecimento às quais pertencem. Tais critérios vêm sendo documentados e divulgados pelas diversas áreas de avaliação , e, apesar de mais recentemente os parâmetros de preenchimento das fichas avaliativas não estarem fazendo parte de forma explícita do documento, têm sido capazes de fornecer um significado do que se entende como bom e adequado para um programa de pós-graduação acadêmico e profissional, quando novo e quando consolidado em determinada área de conhecimento, operacionalizando uma concepção de qualidade. No entanto, os padrões de qualidade estabelecidos pela Capes não são assumidos acriticamente pelos atores envolvidos. Tais padrões costumam ser questionados no decurso e no final do processo avaliativo, transformando-se em elemento de disputa entre grupos e estando em permanente processo de adaptação.

Os interesses em torno do padrão de qualidade da pós-graduação costumam movimentar-se em função de ocorrências regulatórias viabilizadas pelos resultados avaliativos, a saber: i) ações de exclusão ou inclusão de cursos de mestrado ou doutorado no sistema; ii) processos de fomento aos programas por meio de ações construídas para atender às suas necessidades, conforme perfil identificado no processo avaliativo; iii) ações locais que confrontam interesses intrauniversidade, ao seguir orientações contidas nas Fichas de Avaliação; iv) sinalizações de inovações consideradas necessárias ao sistema, tanto em nível central quanto local; e v) demandas locais por ajustes nos próprios critérios avaliativos.

Com isso, entendeu-se que, nesse contexto, o processo avaliativo emergiu como responsável por descrever e valorar a realidade da pós-graduação, com base em critérios documentados, fornecendo subsídios ao processo regulatório. Nesse sentido, pôde-se vislumbrar uma relação de complementaridade entre avaliação e regulação, justamente por meio dos desdobramentos viabilizados pelo uso de critérios de qualidade. Para fundamentar a construção desse entendimento, apoiou-se inicialmente em Bertolin (2007), que definiu a avaliação como [...]

[...] um processo sistemático que envolve coleta de dados, análise de informações e juízo de valor e mérito acerca da qualidade do sistema de educação superior. Dessa forma, tal processo deve contemplar etapas de definição de sistemas de indicadores, a valoração e monitoração dos indicadores, a análise e estudo dos resultados e a emissão de juízo de valor e mérito (BERTOLIN, 2007, p. 258).

Nessa abordagem, os critérios puderam ser entendidos como parte do processo avaliativo, definindo e parametrizando indicadores. Esse autor esclareceu, ainda, que são os indicadores, ao traduzir a realidade de uma forma mensurável, que permitem aferi-la e julgá-la. Nesse sentido, os critérios de qualidade foram apropriados nesta análise como o conjunto de indicadores e parâmetros que instrumentalizam o processo de identificação e valoração da realidade, em termos de sua qualidade.

Ainda do ponto de vista da relação entre critérios de qualidade e avaliação, encontrou-se em Neder (1996, p. 75) o entendimento de que “a avaliação, como prática educativa, deve ser compreendida sempre como uma atividade política, cuja principal função é a de propiciar subsídios para tomadas de decisões quanto ao direcionamento das ações em determinado contexto educacional”. Dessa definição de avaliação emergiram dois aspectos intimamente imbricados com a definição de qualidade que vem sendo delineada neste trabalho: o político e o de ação/decisão. Do ponto de vista político, depreendeu-se que o processo avaliativo contemplaria a mediação de interesses, dos valores e da visão de mundo daqueles afetados por seus resultados, sintetizando embates em torno da definição dos critérios de qualidade que lhes dão sustentação. No que se referiu ao binômio ação/decisão, considerou-se que os resultados avaliativos aferidos por meio dos critérios de qualidade ofereceriam os subsídios necessários à tomada de decisão e ao direcionamento de ações sobre a realidade avaliada.

Sem adentrar na questão política, Dutra (1984) corroborou a perspectiva de ação/decisão em torno do conceito de avaliação discutido por Neder (1996), ao ponderar que embora a determinação de um valor seja a conotação mais aceita para o referido conceito, a avaliação também se relaciona às atividades de conhecer, decidir e agir. Com isso, reforçou-se o entendimento de que o processo avaliativo não se limitaria apenas a um julgamento sobre a realidade com base em critérios de qualidade politicamente legitimados. Esse julgamento também precisaria estar vinculado a algum propósito de intervenção na realidade.

Para sistematizar tal proposição, analisou-se o conceito de avaliação a partir das três dimensões delineadas pelas contribuições dos autores até aqui consultados: diagnóstico, julgamento e subsídio à ação. Com base neles, entendeu-se que na dimensão informação são medidos os atributos do objeto avaliado. No julgamento, emite-se um juízo de valor comparando-se a extensão do atributo medido ao padrão determinado politicamente entre aqueles interessados no seu resultado. Já na ação prepara-se o caminho tanto para corrigir como ratificar os aspectos medidos em relação ao padrão definido de julgamento, cabendo, inclusive, alterações ou ratificações dos próprios padrões (meta-avaliação).

No entanto, o subsídio à ação, associada ao conceito de avaliação, não pareceu confundir-se com a ação propriamente dita. O raciocínio desenvolvido nesta análise levou à compreensão de que a função da avaliação está vinculada ao suporte a decisões, e não diretamente a sua execução. Inclusive, no contexto da educação superior brasileira, os atores envolvidos no processo avaliativo não têm sido os mesmos responsáveis pelas ações/decisões apontadas por seus resultados. Adicionalmente, a avaliação e a regulação têm seguido uma tendência de tempos não conectados, a ponto de ser possível não existir qualquer ação como consequência de resultados avaliativos. Exemplos dessa separação entre a avaliação e a ação que ela pode subsidiar puderam ser encontrados nos seguintes fatos concretos: i) os procedimentos de inclusão/exclusão/manutenção de cursos de mestrado ou doutorado no SNPG, bem como a distribuição de recursos de fomento a eles, são realizados após o encerramento do processo avaliativo e ficam sob a responsabilidade de atores diferentes dos que se responsabilizam pela realização da avaliação; ii) não foram encontrados registro de cursos fechados em função de resultados insatisfatórios, aferidos pela experiência do Exame Nacional de Cursos; e iii) o Sinaes separa a avaliação da ação tomada com base nela por meio do que o Decreto n.º 5.773, de 9 de maio de 2006, denomina de regulação (BRASIL, 2006).

Além disso, as fronteiras estabelecidas pelo Sinaes entre a avaliação e a regulação foram permeadas pela polarização entre duas visões do processo avaliativo: a que emancipa (avaliação) e a que controla (regulação). Porém, tal polarização não explicou adequadamente a relação entre esses dois conceitos. As construções teórico-empíricas aqui consideradas apontaram para a perspectiva de que avaliação e regulação se configuram como processos diferentes, e não dois polos distintos de um mesmo processo. Por outro lado, mesmo que fossem considerados como polos ou funções do processo avaliativo, considerou-se que esses dois conceitos funcionariam melhor juntos do que separados, seguindo movimento similar ao entendimento dos conceitos de avaliação somativa e formativa, apresentados por Scriven (1967).

Na avaliação somativa, emite-se um juízo de valor terminal sobre as informações que representam a realidade de um dado momento. Metaforicamente, pode ser visualizada como uma fotografia que permite comparações e ranqueamento entre instituições com base em indicadores que retratam uma realidade estática. Com isso, parece favorecer o controle, seja punindo pelo não alcance de determinada meta de qualidade (como redução de verbas ou perda de alunos), seja premiando (com a oferta de bônus e benefícios) se a meta for alcançada.

Quando se tem uma perspectiva de melhoria e adequação do sistema, ganha relevância a avaliação formativa, que tem por base a ideia de construção de uma nova realidade. Sob sua égide, seria possível ampliar as possibilidades e transformar “o ruim” em oportunidade de crescimento, e “o bom” em melhoria, ampliação e evolução. O foco aqui se deslocaria, então, de uma função terminal da avaliação, por meio de uma nota ou conceito, para o diagnóstico proporcionado pelo processo avaliativo, subsidiando a transformação da qualidade então apurada.

Apresentada dessa forma, a avaliação somativa ficou mais diretamente associada ao que Barretto (2001) e Meneghel, Robl e Silva (2006) chamaram de dimensão reguladora da avaliação, enquanto a avaliação formativa pôde ser mais prontamente relacionada à dimensão emancipatória, também discutida pelas autoras citadas. Considerando essa associação, entendeu-se que tanto a perspectiva formativa quanto a somativa poderiam ser necessárias ao Sistema Federal de Ensino Superior. Esse entendimento foi elaborado a partir da reciprocidade dialética, procedimento operatório previsto no hiperempirismo dialético (GURVITCH, 1987), que permitiu apropriar a avaliação formativa como articulada à somativa (e vice-versa) - e não separadas. Nessa perspectiva, entendeu-se que ambas partilham de utilidade igualmente importante, necessária e desejável ao processo de avaliação, inclusive no subsídio à punição/premiação tão criticada na literatura especializada.

O contraponto que se lançou nesse raciocínio foi o das motivações humanas para mudança. Ou, numa perspectiva institucional, sobre os motivos que justificariam a busca por alterar sua realidade, considerando as forças de inércia e resistência inerentes a qualquer processo de modificação da realidade, conforme discutido por Strebel (1993). Seguindo esse raciocínio, o resultado somativo poderia servir como força impulsionadora de transformações necessárias, contrabalançando as resistências naturais a elas. A partir dessa visão, uma perspectiva de qualidade formativa necessitaria de um componente somativo para ser deslanchada; ou, na direção contrária, uma face somativa de qualidade pouco repercutiria na evolução do sistema se abandonasse o componente formativo na sua ação.

Adicionalmente, entendeu-se que processos avaliativos não precisariam ser visualizados apenas como formativos, tampouco os processos regulatórios deveriam ser visto apenas como somativos ou voltados ao controle. Alinhando-se à perspectiva de que os critérios de qualidade instrumentalizam a avaliação e, por consequência a regulação, esses dois processos poderiam assumir naturezas igualmente somativas e formativas, conforme sentido viabilizado pelos critérios.

Para justificar esse entendimento, recorreu-se a Barroso (2005, 2006), para quem o conceito regulação envolve mais do que a simples tentativa de reprodução de regras impostas. O autor ressaltou que regulação não se confunde com a perspectiva de regulamentação. Apesar de outros autores, como Dias Sobrinho (2003), associarem regulação ao controle exercido externamente pelo Estado sobre as IES, Barroso (2005, 2006) defendeu que é a regulamentação, e não a regulação, que parte de processos previamente definidos, tendo como parâmetro uma forma prevista/engessada de se fazer as coisas, independentemente da possibilidade de alcançar resultados melhores por meio de processos alternativos. Por outro lado, o autor reconheceu a existência de uma diversidade de possíveis entendimentos sobre o que significa regulação, quais sejam:

1. Regulação por meio de regras - que se aproxima da definição de regulamentação, na qual se estabelecem regras a partir das quais se operacionalizariam objetivos. Nessa perspectiva, são as regras que devem ser seguidas, assumindo-se que ao cumpri-las os objetivos também seriam alcançados;

2. Regulação como controle de elementos autônomos - identificada como interferência de instâncias estatais, orientando e coordenando a ação dos diversos agentes;

3. Regulação conservadora - com função de assegurar o equilíbrio e o partilhamento igualitário do sistema;

4. Regulação transformadora - com a tripla função de compreender: como um sistema dá lugar a novas formas de organização; como um processo de regulação dá origem ao seu sucessor; e que interdependência se estabelece entre diferentes modos de regulação;

5. Regulação institucional, normativa e de controle - entendida como o conjunto de ações decididas e executadas por uma instância central para orientar os demais atores e suas interações;

6. Regulação situacional, ativa e autônoma - definição de regras que orientam o funcionamento do sistema, como também o seu (re)ajustamento provocado pela diversidade de estratégias e ações dos vários atores; e

7. Regulação conjunta - referindo-se à interação entre a regulação de controle e autônoma para ordenamento do sistema social.

A partir dessas concepções e adotando uma abordagem interpretativa - compartilhada nesta análise - Barroso (2005, 2006) entendeu que regulação é um processo inerente a qualquer sistema, tendo como função assegurar-lhe equilíbrio, coerência e transformação, por meio de regras e adequação dos seus elementos nos níveis micro, meso e macro. Com isso, do ponto de vista da educação superior, associou-se à microrregulação as ações desenvolvidas no âmbito local (IES, município, escola, etc.). Tais ações resultariam da interação dos diversos atores locais (gestores, professores, alunos, comunidade, etc.), podendo ocorrer numa perspectiva vertical (hierarquizada) ou horizontal (participativa). Já o nível meso pode ser vinculado à regulação nacional, configurada pelas ações exercidas por autoridades de âmbito nacional ou regional para coordenar, controlar e influenciar o sistema educativo de acordo com suas orientações. No que concerniu à regulação em nível macro, esta foi visualizada na perspectiva transnacional por meio de ideias contidas em discursos, documentos e orientações voltadas à educação que circulam entre as comunidades epistêmicas e organismos multilaterais. Tais ideias influenciariam direta ou inversamente as ações dos gestores e atores nacionais e locais, conforme afiliação deles a elas, seja no sentido de baixo para cima (regulação local), seja de cima para baixo (regulação nacional).

A partir desse raciocínio, a regulação do sistema educativo não se apresentaria, então, de forma linear, mas, sim, em vários sentidos entre os diversos atores. Com isso, terminaria por se configurar mais em uma espécie de regulação da regulação, do que na aplicação de regras do regulador em relação ao regulado. Nesse processo, conforme explicitou Barroso (2005, 2006), o termo multirregulação seria mais adequado, sendo importante entender e valorizar o papel dos indivíduos, estruturas formais, movimentos sociais, etc. na mediação e materialização dos fluxos reguladores. Isso posto, não caberia entender regulação como uma simples associação a regras fixas, imutáveis e emanadas do Estado de forma direcional no sentido topo-base. A regulação, conforme entendida, terminaria por associar não só o ajuste do sistema a regras, mas também a sua evolução e adaptação ao contexto histórico-social no qual está inserido, o que termina por inverter o fluxo regulatório para o sentido base-topo.

Adicionalmente, com base na definição de Barroso (2005, 2006), pode-se assumir que, ao contrário do que a literatura polarizada do campo da avaliação da educação superior tende a sugerir, a regulação tanto pode implementar ações de cunho controlador (de cima para baixo), quando emancipador (de baixo para cima), numa espécie de regulação em duplo sentido, tanto do topo para a base quanto o inverso. Contextualizado essa perspectiva teórica no Sistema Nacional de Ensino Superior, foi possível associar o movimento topo base à regulação nacional, cuja face somativa deslanchada pela ação do Governo Federal faz o sistema se mover, desenvolvendo-o e estabilizando-o, numa dinâmica permanente, cuja velocidade e direção seriam controladas pelas disputas entre os diversos públicos de interesse. Em sentido estrito, tal ação de nível meso se materializa nos processos de autorização, reconhecimento e renovação de reconhecimento de cursos, além daqueles relativos ao credenciamento/recredenciamento de instituições, baseados em processos avaliativos e justificados por critérios de qualidade que dão significado à qualidade esperada para o sistema.

Já o movimento base-topo pôde ser vinculado às ações em nível micro (microrregulação), ocorridas no âmbito das IES. Essas ações repercutiriam os resultados da regulação nacional, modificando a realidade institucional na direção sugerida pelo nível macro, mas também questionando o próprio significado de qualidade estabelecido nacionalmente. Nessa perspectiva, a microrregulação foi considerada como um processo crítico-construtivo e não meramente passivo, em função do seu potencial de influenciar a modificação dos critérios utilizados pelos processos avaliativos e, por consequência, os resultados por eles aferidos.

No caso concreto da pós-graduação, o processo (meso) regulatório vem gerando impacto direto na realidade dos cursos de mestrado e doutorado, ao mesmo tempo que tem permitido, no sentido inverso, o ajuste da regulação nacional por meio de alterações nos critérios de qualidade que subsidiam o processo avaliativo. A despeito das críticas à Avaliação da Capes, há que se reconhecer que os resultados avaliativos contribuem para a reflexão dos programas de pós-graduação sobre sua organização didático-pedagógica e científica . Adicionalmente, puderam ser observadas contribuições dos programas, organizados pelas áreas de avaliação, para o ajuste desses próprios critérios, a saber: a) emergência da dimensão qualitativa no indicador de produção bibliográfica (Qualis); b) relativização da importância dos indicadores de titulação do corpo docente e de tempo de conclusão dos discentes; c) inovação da própria concepção de qualidade de mestrados e doutorados, refletido nos mestrados profissionais, nos programas em associação e, até mesmo, em rede (apesar das forças de resistências e embates intra e entre áreas); e d) ascensão de indicadores de inserção internacional, inserção social e articulação com as atividades de graduação. Além disso, mesmo considerando que os resultados dos processos avaliativos vêm subsidiando a divisão elitizada dos recursos destinados à pesquisa e ao ensino de pós-graduação - como é o caso do Programa de Excelência Acadêmica (Proex) -, por outro lado, têm servido também para contemplar cursos e instituições localizados em regiões menos privilegiadas do País ou que precisam de apoio para se (re)estruturarem . Mesmo reconhecendo que poderia haver mais propostas ou mais recursos para reduzir tais desigualdades, as iniciativas ilustraram as possibilidades oferecidas pelos processos regulatórios, quando tomados de forma complementar aos processos avaliativos.

Contudo, reconhece-se que no contexto dos cursos de graduação, a regulação tem se manifestado notadamente por meio do seu nível meso, destinando-se prioritariamente ao gerenciamento burocrático da entrada, permanência e saída de cursos de graduação e de IES do Sistema Nacional de Ensino Superior. Sobre a desejável repercussão desses resultados nas decisões locais de gerenciamento da qualidade dos cursos ofertados, IES e dos próprios critérios de qualidade que dão base aos processos avaliativos e regulatórios, experiências como as relatadas por Rodrigues e Peixoto (2009) e Oliveira et al. (2013) sinalizaram o não uso de resultados gerados no âmbito do Sinaes. Também não foram observados movimentos sistematizados para ajustes nos critérios de qualidade que instrumentalizaram os processos avaliativos. As alterações de critérios observadas - como, por exemplo, a redução da importância dos docentes doutores e o aumento da importância dos docentes mestres implementada no cálculo do Conceito Preliminar de Cursos a partir de 2011 (INEP, 2012) - pareceram refletir mudança topo-base, impulsionadas mais por movimento esporádico de grupos de interesse, do que fruto de um processo de influência base-topo decorrente de um processo microrregulatório conforme aqui entendido.

Sobre semelhanças e diferenças observadas na pós-graduação e na graduação em relação aos processos regulatórios, pôde-se pontuar que a dinâmica de indicação direta dos Coordenadores de Áreas de Avaliação pelos programas de pós-graduação e, consequentemente, de assentos no Conselho Técnico-Científico da Educação Superior (CTC-ES) e no Conselho Superior (CS) do órgão gestor do sistema nacional de pós-graduação - Capes - pareceu contribuir para a legitimação política dos critérios de qualidade, bem como dos resultados aferidos com base neles. Com isso, essa legitimação política (que por sua própria natureza não é isenta de críticas) pareceu se configurar como diferencial nas repercussões micro e meso regulatórias dos resultados avaliativos da pós-graduação, na forma do duplo sentido assinalado por Barroso (2005, 2006). Já no caso da graduação, a despeito de a proposta do Sinaes subsidiar processos regulatórios nos níveis meso e micro, o Decreto n.º 5.773/2006 estabeleceu que a regulação se expressasse por meio de atos autorizativos do funcionamento de instituições de educação superior e de cursos, atrelando-a a atividades meramente burocráticas (BRASIL, 2006), sem garantia da necessária repercussão ou uso dos resultados avaliativos na efetiva gestão da qualidade do sistema .

Apesar desse quadro, o conceito de regulação foi assumido nessa discussão teórica como um processo capaz de gerenciar a qualidade da educação superior, por meio de decisões tomadas de forma a interferir na realidade dos níveis nacional e local, tanto no sentido ascendente quanto descendente. Considerou-se ainda que o processo regulatório está permeado por influências advindas das orientações e discussões capitaneadas por comunidades epistêmicas (nível macrorregulatório), materializando ações que podem ocorrer em níveis micro ou meso, conforme a capacidade de os sistemas avaliativos oferecerem subsídios aos processos decisórios. No centro, direcionando a regulação (de baixo para cima e de cima para baixo), estariam os critérios de qualidade que instrumentalizariam os processos avaliativos, gerando os resultados necessários para os fluxos regulatórios. Dessa forma, tomando-se Barroso (2005, 2006) como referência, propôs-se ressignificar a perspectiva presente em Meneghel, Robl e Silva (2006) - de que a regulação ocorreria apenas em nível meso.

Na Figura 1, procurou-se esclarecer a relação entre avaliação, regulação e critérios de qualidade, bem como sistematizar o próprio conceito de qualidade construído nesta análise. Nessa figura, a qualidade na educação superior foi representada como um todo formado por três elementos distintos (critérios de qualidade, avaliação e regulação), tendo-se nos critérios de qualidade a síntese daquilo que é considerado como tecnicamente bom, socialmente adequado e politicamente legitimado para a formação de alunos, a oferta de cursos e programas e/ou a organização das instituições em determinado contexto, permitindo a avaliação da realidade e a sua regulação.

Figura 1
Representação gráfica do conceito de qualidade na educação superior.

A partir dessa definição, procura-se evidenciar a importância basilar dos critérios, para que a qualidade, como conceito, se esquive de permitir muitos sentidos e passe a oferecer uma base de significação passível de ser cientificamente criticada, ampliada e corrigida na realidade concreta. Adicionalmente, permite integrar os critérios de qualidade aos processos avaliativos e regulatórios da educação superior. Ao diagnosticar e valorar o desempenho de cursos, instituições e programas, os processos avaliativos permitem a geração de informações úteis para a definição dos próprios critérios de qualidade. Já a regulação utiliza os resultados avaliativos, amparados em critérios de qualidade, para garantir que estes últimos reverberem, de fato, na educação superior, articulando princípios e práticas em uma mesma totalidade.

De uma forma geral, a avaliação foi apropriada nesse conceito como um elemento de ligação entre critérios de qualidade e regulação, cujos resultados podem se reverter em instrumentos de emancipação, controle, algo entre eles ou diferente deles, conforme os resultados aferidos com base nos critérios e aplicados por meio de processos regulatórios. Além disso, a noção de qualidade aqui assumida trouxe embutida uma perspectiva de mudança tanto da realidade quanto do conteúdo do seu próprio significado, em função da dinâmica técnico-político-social que o contextualiza.

Assim, ante a centralidade dos critérios para a definição de qualidade na educação superior, procurou-se, na próxima seção, discuti-los a partir da experiência específica do Sinaes. Para tanto, adentrou-se nas discussões sobre indicadores e parâmetros que vêm permeando o significado de qualidade na educação superior, tomando-se como contexto de análise os cursos de graduação.

Bases para identificação de critérios de qualidade

A discussão teórica até aqui desenvolvida permitiu entender os critérios de qualidade como um conjunto de indicadores e parâmetros de desempenho que sintetizam aquilo que legitimou como bom e adequado na educação superior, tomando-se contextos específicos. Para aprofundar esse entendimento, optou-se por analisar mais detidamente os critérios de qualidade dos cursos de graduação no Brasil.

Nos termos do art. 4.º da lei que criou o Sinaes (BRASIL, 2004), “a avaliação dos cursos de graduação tem por objetivo identificar as condições de ensino oferecidas aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica”. Para cumprir esse propósito, o Sinaes mantém dois procedimentos paralelos - CPC e avaliações in loco - sem explicitar, no entanto, a interação e o alcance da qualidade medida por eles. Observou-se que o CPC foi definido como indicador de qualidade utilizado pelo Sinaes para fazer uma espécie de triagem dos cursos em processo de renovação de reconhecimento, os quais se submetem ao segundo procedimento avaliativo. Nos termos da Portaria Normativa n.º 4, de 5 de agosto de 2008, se o curso obtiver nota menor que três no CPC, recebe a avaliação in loco; no caso de a nota ser igual ou superior a três, o curso tem confirmado o CPC como resultado do processo avaliativo, sem necessidade de receber a visita avaliativa (BRASIL, 2008). Ocorre que essas medidas de qualidade podem gerar conceitos diferentes para um mesmo curso, sem que se tenham esclarecidos limites, divergências, convergências ou características que justifiquem objetivamente a substituição de uma nota pela outra.

No que se referiu especificamente ao instrumento utilizado pelo Sinaes para realizar as avaliações in loco, não se encontrou clareza sobre os parâmetros aplicados pelos avaliadores para aferir a qualidade do curso, notadamente na sua dimensão de organização didático-pedagógica. Além disso, os indicadores qualitativos utilizados pelo sistema avaliativo para as visitas suscitaram indagações sobre a validade e confiabilidade dos dados por eles gerados, tendo em vista lacunas teóricas do próprio conceito de indicador e de como ele se apresentou no sistema avaliativo em foco.

A análise das contribuições de Jannuzzi (2004, 2005), Rua (2004) e Soligo (2012) sobre o conceito de indicador no campo das políticas públicas, permitiu observar certo consenso em considerá-lo como uma medida que representa a realidade de forma aproximada, traduzindo, em geral, conceitos abstratos por meio de números. Corroborando essa conceituação, Bonnefoy e Armijo (2005) apresentaram, ainda, a ideia que medidas simples, que não relacionam dois ou mais dados quantitativos e que, portanto, não trazem embutida uma dimensão valorativa da realidade, poderiam ser identificadas como variáveis, mas não como indicadores.

Ilustrando sua afirmação, Bonnefoy e Armijo (2005) exemplificaram que medidas como as que identificam o número de desempregados se transformariam em indicadores apenas quando relacionadas à quantidade de membros de uma população específica (quando passariam a indicar a sua taxa de desempregados), uma vez que sintetizariam uma expectativa de valor (positivo/negativo; bom/ruim) em torno da medida apurada. Porém, não esclareceram como tal juízo de valor se estabeleceria em torno de taxas e índices, nem como indicadores conseguiriam formar referenciais de qualidade compartilhados por todos, sem que valores e experiências pessoais trouxessem sentidos diferentes para uma mesma medida apurada.

Sem destacar elementos novos que esclarecessem essa discussão, Rua (2004) também afirmou ser preferível a utilização de taxas e índices como indicadores. Já Soligo (2012) e Jannuzzi (2004, 2005) não diferenciaram a relevância ou pertinência dos indicadores em função do tipo de medida apresentada por sua escala, mas nos exemplos apresentados por eles não foram encontrados indicadores medidos por categorias ou mesmo por números absolutos. Além disso, para Jannuzzi (2005), a questão da escala quantitativa na apuração dos indicadores pode ser entendida do ponto de vista da dicotomia entre o objetivo e o subjetivo. Segundo o autor, [...]

[...] indicadores objetivos referem-se a ocorrências concretas ou a entes empíricos da realidade social, construídos a partir das estatísticas públicas disponíveis, como o percentual de domicílios com acesso à rede de água, a taxa de desemprego, a taxa de evasão escolar ou o risco de acidentes de trabalho. Os indicadores subjetivos, por outro lado, correspondem a medidas construídas a partir da avaliação dos indivíduos ou especialistas com relação a diferentes aspectos da realidade, levantados em pesquisas de opinião pública ou grupos de discussão, como a avaliação da qualidade de vida, o nível de confiança nas instituições, a percepção da corrupção, a performance dos governantes (JANNUZZI, 2005, p. 143).

Em síntese, o autor apresentou o entendimento de que para serem objetivos - explícitos ou tangíveis - os indicadores devem: (a) representar ocorrências concretas; e (b) ser definido a partir de estatísticas. Contudo, os indicadores trazidos pelo Sinaes impuseram a necessidade de considerar alternativas a esse entendimento. A realidade observada no âmbito da qualidade da educação superior evidenciou que muitas ocorrências concretas são mais bem representadas por meio de categorias do que números, sem invalidar a sua objetividade.

Assim, a partir da priorização do concreto no processo de análise de indicadores como constructo de pesquisa, foi possível questionar a sua definição até aqui revisada, sobretudo aquelas que polarizam os indicadores em torno do quantitativo/qualitativo ou do subjetivo/objetivo. As contribuições de Minayo (2009) corroboraram esses questionamentos ao permitirem depreender que, ao contrário do que o senso comum costuma indicar, os números estão presentes não só na escala de medida de indicadores quantitativos - geralmente associados a aspectos tangíveis, computáveis, ou diretamente observáveis da realidade -, como também nos indicadores qualitativos - geralmente associados à representação de aspectos intangíveis, não computáveis ou observáveis por meio da subjetividade humana.

Conforme esclareceu a autora, desde a década de 1920, muitas escalas têm sido desenvolvidas para utilizar a métrica quantitativa para objetivar aspectos da realidade inerentes aos sujeitos, tais como aqueles relacionados a opiniões, relações, vivências intersubjetivas e outros ligados à percepção dos indivíduos. Tais escalas se apresentaram, então, como uma possibilidade metodologicamente válida para explicitar a subjetividade por meio de números. Sendo assim, as escalas psicométricas puderam ser visualizadas como um contraponto em torno da separação dos indicadores entre qualitativos e quantitativos (MINAYO, 2009).

Em certa medida, a psicometria quebrou a lógica dicotômica entre o quantitativo (visto até então como ocorrências tangíveis, explicitadas pelos números) e o qualitativo (ocorrências intangíveis, subjetivamente representadas) ao introduzirem um terceiro elemento que misturou os elementos dessa polarização (ocorrências intangíveis, mas explicitadas pelos números). Porém, mesmo apresentando elementos novos à relação entre indicadores qualitativos e quantitativos, as escalas psicométricas não invalidaram a perspectiva assumida por Jannuzzi (2005), que dicotomizou os indicadores entre aqueles que representam ocorrências tangíveis, medidas por uma escala numérica (chamados de indicadores objetivos), e aqueles (chamados de indicadores subjetivos), que representam ocorrências intangíveis, sejam elas medidas por escalas numéricas ou não. Porém, no caso específico dos cursos graduação, a dicotomia oferecida por esse quadro conceitual não conseguiu explicar aqueles indicadores que, apesar de representarem ocorrências concretas da realidade, não se adequavam a uma escala numérica.

Nesse contexto, encontrou-se em Minayo (2009) o alerta de que os números podem não ser a única saída para a representação objetiva da realidade. Para a autora, a fundamentação hermenêutica permite traduzir fatos concretos, possibilitando que indicadores não numéricos afiram tanto ocorrências intangíveis da realidade (ideias, percepções, etc. - algumas vezes objetivadas por escalas psicométricas), quanto ocorrências tangíveis (em geral, associadas à representação por números).

Seguindo essa perspectiva, foi possível considerar, a partir do caso concreto dos indicadores utilizados pelo Sinaes para avaliar cursos de graduação, que quando não se podem gerar estatísticas para representar um aspecto tangível da realidade, ainda assim ele pode ser objetivamente representado por meio de conceitos. Demonstrando essa possibilidade, encontrou-se o exemplo das atividades práticas desenvolvidas ao longo de um curso de graduação, como por exemplo o de pedagogia, que podem ser representadas por meio das características inerentes a esse constructo, tais como: utilização de laboratórios pedagógicos, de brinquedotecas e/ou execução de projetos sistematizados de interação teoria-prática que poderiam representar, entre outros aspectos, o quanto o curso proporciona aos alunos oportunidades de desenvolver as abordagens teóricas trabalhadas no curso de forma contextualizada, independentemente dos estágios. Há que se destacar, ainda, que as oportunidades de articulação entre teoria e prática desenvolvidas ao longo de um determinado curso constituem-se em ocorrências concretas, sendo aparentemente simplório tratá-las como produto da subjetividade humana em função de uma possível dificuldade em ser medida por meio de uma escala numérica. Assim, construir indicadores objetivos exclusivamente a partir de uma medida estatística, conforme sugeriu Jannuzzi (2005), pode levar ao entendimento de que, fora da base numérica, as ocorrências, ainda que passíveis de observação direta, são medidas apenas por meio de indicadores subjetivos (percepções referenciadas pela visão de mundo e experiências individuais).

Para demonstrar o incômodo gerado por essa perspectiva conceitual, destacou-se, no Quadro 1, o indicador 1.6: conteúdos curriculares. Esse indicador está presente no instrumento do Sinaes para avaliar cursos de graduação em geral e de pedagogia em particular e serve como exemplo para essa análise.

O indicador em questão, para o qual não se dispõe de estatísticas públicas, vem sendo apurado pelo Sinaes por meio da avaliação de especialistas e assumiu a forma subjetiva, conforme a teorização de Jannuzzi (2005), ao medir o quanto os conteúdos curriculares possibilitam o desenvolvimento do perfil profissional do egresso, a partir de aspectos como atualização, adequação das cargas horárias e das bibliografias. Porém, esse, entre outros casos concretos, permitiu questionar a validade e confiabilidade da medida gerada, tendo em vista que os aspectos citados são tangíveis, presentes na realidade do curso, mas que não foram objetivados pelo indicador.

Quadro 1
Indicador 1.6: conteúdos curriculares.

Indicador	Conceito	Critério de Análise
1.6. Conteúdos curriculares	1	Quando os conteúdos curriculares previstos/implantados não possibilitam o desenvolvimento do perfil profissional do egresso, considerando, em uma análise sistêmica e global, os aspectos: atualização, adequação das cargas horárias (em horas) e adequação da bibliografia.
	2	Quando os conteúdos curriculares previstos/implantados possibilitam, de maneira insuficiente, o desenvolvimento do perfil profissional do egresso, considerando, em uma análise sistêmica e global, os aspectos: atualização, adequação das cargas horárias (em horas) e adequação da bibliografia.
	3	Quando os conteúdos curriculares previstos/implantados possibilitam, de maneira suficiente, o desenvolvimento do perfil profissional do egresso, considerando, em uma análise sistêmica e global, os aspectos: atualização, adequação das cargas horárias (em horas) e adequação da bibliografia.
	4	Quando os conteúdos curriculares previstos/implantados possibilitam, muito bem, o desenvolvimento do perfil profissional do egresso, considerando, em uma análise sistêmica e global, os aspectos: atualização, adequação das cargas horárias (em horas) e adequação da bibliografia.
	5	Quando os conteúdos curriculares previstos/implantados possibilitam, de maneira excelente, o desenvolvimento do perfil profissional do egresso, considerando, em uma análise sistêmica e global, os aspectos: atualização, adequação das cargas horárias (em horas) e adequação da bibliografia.

• Fonte: INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Instrumento de avaliação de cursos de graduação presencial e a distância. Brasília, fev. 2012a. Disponível em: <http://www.inep.gov.br>. Acesso em: 20 maio.2012.

Em consequência, o indicador no exemplo em análise não foi capaz de representar, mesmo que de forma aproximada, a qualidade dos conteúdos curriculares trazidos por um curso, suscitando dúvidas sobre o que são conteúdos atualizados e como eles podem ser identificados na realidade de um curso de pedagogia. Outras dúvidas também emergiram: o que configura a adequação de cargas horárias e como diferenciá-la entre os componentes curriculares? Quais são os aspectos que indicam a adequação de uma bibliografia? Como a diversidade no tratamento dos diversos conjuntos de conteúdos disciplinares foi medida em relação à atualização, à carga horária e/ou à bibliografia de forma a representar uma unidade? Como os aspectos atualização, carga horária e bibliografia devem ser considerados para atender, ou não, a um determinado perfil profissional do egresso?

Essas perguntas ilustraram a possibilidade de várias ocorrências concretas e tangíveis da realidade que poderiam ser objetivadas a partir de categorias. Sem essas respostas, entre outras que poderiam ser destacadas, dificilmente uma mesma realidade de curso seria medida de forma confiável: é muito provável que especialistas diferentes avaliassem de forma diferente um mesmo curso sem que as bases dessas diferenças ficassem explicitadas. A partir desse entendimento, foi possível considerar que a ausência de estatísticas em uma dada realidade não parece implicar, necessariamente, que tal realidade deva ser medida à revelia de categorias conceituais sistematizadas, explícitas, e porque não dizer, objetivas. Assim, vislumbrou-se que, se por um lado, as escalas psicométricas quebraram a lógica entre o quantitativo (numérico) e o qualitativo (não numérico) na classificação dos indicadores, por outro, a fundamentação hermenêutica permite questionar a discussão entre indicadores subjetivos e objetivos nesta análise.

Adicionalmente, no exemplo trazido anteriormente, observou-se que a utilização dos chamados indicadores subjetivos favoreceu certa mistura entre a função descritiva e valorativa do indicador. Por exemplo, não foi possível estabelecer a diferença entre os conteúdos curriculares que atendem de forma “muito bem” em relação àqueles que atendem de forma “excelente” ou “suficiente” o desenvolvimento do perfil profissional do egresso, uma vez que a descrição da realidade foi estabelecida por meio do próprio juízo de valor, sem que os parâmetros envolvidos nessa avaliação tivessem sido explicitados. Nesse sentido, o exemplo serviu ainda para questionar as contribuições de Bonnefoy e Armijo (2005) em torno da perspectiva do indicador ter de trazer de forma inerente uma dimensão de valor. Tal concepção dos autores, quando aplicada no exemplo analisado, terminou por fragilizar o próprio indicador. A descrição da realidade cedeu lugar ao seu julgamento, sem que, no entanto, a base desse julgamento, advindo da própria medida apurada pelo indicador estivesse presente. Em consequência, o julgamento realizado pareceu pouco capaz de expressar um significado concreto.

Nessa perspectiva, o conjunto teórico e empírico analisado sobre o conceito de indicadores permitiu observar que, independentemente de se referirem a aspectos internos ou externos ao indivíduo, os indicadores se beneficiam de metodologias explícitas, que permitam maior confiabilidade na sua replicação, seja por meio de estatísticas públicas, escalas psicométricas ou fundamentação hermenêutica. No exemplo citado, a construção de indicadores, sem que a metodologia envolvida na sua apuração fosse explicitada por meio de uma escala objetiva de medida (numérica ou não numérica), repercutiu em dúvidas sobre a confiabilidade dos resultados e sobre a possibilidade de pouca confiabilidade do retrato apresentado da realidade. Nesse sentido, pôde-se considerar que: (i) a objetividade na mensuração de aspectos tangíveis da realidade não precisa configurar-se em arena exclusiva da métrica quantitativa; e (ii) a representação de aspectos não computáveis ou intangíveis da realidade por meio de indicadores não deve dispensar a objetividade das escalas de medida, sob pena de representar coisa nenhuma.

Além disso, considerando o contexto deste trabalho, reforçou-se o entendimento de que, conceitualmente, um indicador não se confunde com o processo avaliativo. O indicador especifica características de uma dada realidade, representando-a de forma aproximada por meio de uma escala de medidas. Por sua vez, tais características podem ser utilizadas para parametrizar sentidos de qualidades úteis ao desenvolvimento de processos avaliativos. Em termos conceituais, tal posição permitiu considerar o indicador como um constructo em separado dos parâmetros de desempenho, definidos com base na sua escala, para avaliar a realidade medida. Mesmo partilhando da mesma escala, enquanto o indicador a utiliza para apurar uma realidade, o parâmetro classifica as diversas possibilidades de medidas previstas na escala em termos de valor ou adequação. Nesse sentido, o indicador e o parâmetro de julgamento não se confundem. Como consequência, os parâmetros servem ao papel de valoração do indicador, podendo ser agregado a ele, ou não. Tal separação entre a escala de medida do indicador e o parâmetro de valorização da realidade apresentou-se como necessária para especificar de forma clara o significado de qualidade que ele representa.

A realidade considerada neste trabalho apontou, ainda, para a necessidade de a escala de medida de um indicador ser construída a partir da possibilidade de ocorrências concretas e observáveis, seja por meio de números ou não. Em termos das possibilidades para a construção dessas escalas, Babbie (1995) discutiu quatro tipos: (i) nominal (categorizando a realidade a partir de nomes, ideias ou conceitos); (ii) ordinal (hierarquizando categorias dentro de um contínuo); (iii) intervalar (estabelecendo faixas, nas quais a realidade observada de forma quantitativa pode ser encaixada); ou (iv) de razão (estatísticas ou dados quantitativos).

Adicionalmente, dentro dessa perspectiva de se definir critério de qualidade por meio do conceito de indicador, considerou-se que nem mesmo o indicador medido por uma escala de razão pode ser tomado, por si só, como objetivo. Entendeu-se que, como todas as construções humanas, o processo de elaboração de indicadores é condicionado por algum tipo de interesse que é capaz de definir sua subjetividade, independentemente da escala utilizada. Porém, num movimento dialético, assumiu-se igualmente que o indicador tende a ser objetivo na mesma proporção em que explicita a base da escolha de sua construção, em detrimento de outras possíveis. Decorrente dessa ideia, propôs-se o entendimento de que todo indicador é subjetivo e que se aproxima da objetividade não pela tradução da realidade em estatísticas, mas, sim, pela sua capacidade de permitir, de forma clara, possíveis revisões na sua definição e forma de apuração, sempre que se necessitar.

Sintetizando essa discussão em torno de indicadores como base para a construção de critérios de qualidade e, portanto, da operacionalização do conceito de qualidade, destacaram-se os seguintes pontos: (i) compartilhou-se do entendimento de Bertolin (2007) de que um indicador é um elemento representativo da realidade, o qual serve como base para elaboração de um juízo de valor sobre aquilo que ele representa; (ii) dessa forma, estabeleceu-se a diferenciação entre indicadores, parâmetros e critérios de qualidade: enquanto um indicador permite aproximações a uma determinada ocorrência, caracterizando-a por meio de números ou de categorias, o parâmetro estabelece as regras para valorização ou avaliação da qualidade daquilo que foi apurado; (iii) juntos, indicadores e parâmetros, formam um critério de qualidade que se altera conforme o contexto histórico em que está inserido; (iv) quando se aplica um critério de qualidade a uma realidade concreta, entra em curso um processo avaliativo, cujo resultado pode subsidiar processos regulatórios.

Considerações finais

As análises aqui desenvolvidas sugerem que, no campo da educação superior, pode-se promover a distinção do termo qualidade daquilo que aqui se denominou critério de qualidade. A qualidade, nesse caso, pode ser associada a uma estrutura oca e flexível, que se adapta aos diversos entendimentos sobre o que se espera de cursos e instituições, mas que sozinha não é capaz de refletir um significado consistente do que efetivamente representa. Já os critérios representam aquilo que preenchem o conceito de qualidade com forma e significado, conforme cada momento histórico.

Em termos estruturantes, qualidade como conceito amorfo parece se estabelecer a partir da interação das dimensões social, técnica e política. Social, definindo-se diretrizes gerais de qualidade a partir das necessidades e expectativas coletivas. Técnica, especificando características objetivas de terminado objeto ou realidade por meio de indicadores e parâmetros de desempenho. Política, legitimando e promovendo a adesão em torno do que é considerado bom e adequado técnica e socialmente.

Essa concepção assume, ainda, que o significado de qualidade não é perene, modificando-se ao longo do tempo em função das disputas de interesses daqueles diretamente afetados por sua configuração. Como produto das disputas entre diversos grupos de interesses afetados pelo seu significado e consequentes usos na educação superior, os critérios tornam-se passíveis de alteração sempre que perdem legitimidade (entendida como a força de uma ideia em relação a outras e não do um consenso em torno dela).

Em síntese, esta análise sugere observar nos critérios, operacionalmente definidos por meio de indicadores e parâmetros, como a essência do significado de qualidade na educação superior. Tal perspectiva se torna ainda mais relevante quando se tem expectativa de uso concreto do significado de qualidade, notadamente no âmbito de processos avaliativos e regulatórios. Entende-se que os critérios condicionam o processo avaliativo, responsável pela aferição de qualidade da educação superior e, na sequência, os processos regulatórios, por meio dos quais as decisões/ações tomadas com base nos resultados exarados pela avaliação. Além disso, é com base nos resultados apresentados pelo processo avaliativos, e por consequência, pelos próprios critérios de qualidade, que as ações regulatórias costumam ser empreendidas, visando garantir que a ideia inicial do que foi legitimado como bom e adequado se estabeleça como realidade.

Referências

• BABBIE, Earl. Métodos de pesquisas. Minas Gerais: UFMG, 1995.
• BARRETTO, Elba Siqueira de Sá. Avaliação na educação básica entre dois modelos. Educação & Sociedade, Campinas, ano XXII, n. 75, p. 48-66, ago. 2001.
• BARROSO, João. O Estado, a educação e a regulação das políticas públicas. Educação & Sociedade, Campinas, v. 26, n. 92, p. 725-751, out. 2005.
• BARROSO, João. O Estado e a educação: a regulação transnacional, a regulação nacional e a regulação local. In: BARROSO, João (Org.). A regulação das políticas públicas de educação: espaço, dinâmicas e actores. Coimbra: Educa; UI&DCE, 2006. p. 41-70.
• BERTOLIN, Julio César Godoy. Avaliação da qualidade do sistema de educação superior brasileiro em tempos de mercantilização - Período 1994-2003. 2007. 282 f. Tese (Doutorado em Educação) - Universidade do Rio Grande do Sul, Porto Alegre, 2007.
• BONNEFOY, Juan Cristóbal; ARMIJO, Marianela. Indicadores de desempeño en el sector público. Chile: Instituto Latinoamericano y del Caribe de Planificación Económica y Social - ILPES. Serie Manuales 45. 2005.
• BRASIL. Lei n° 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - Sinaes e dá outras providências. Diário Oficial [da] República Federativa do Brasil, Brasília, DF, 15 abr. 2004.
• BRASIL. Decreto nº 5.773, de 9 de maio de 2006. Dispõe sobre o exercício das funções de regulação, supervisão e avaliação de instituições de educação superior e cursos superiores de graduação e sequenciais no sistema federal de ensino. Diário Oficial [da] República Federativa do Brasil, Brasília, DF , 10 maio. 2006. Disponível em: <Disponível em: http://www.planalto.gov.br >. Acesso em: 16 jun. 2012.
  » http://www.planalto.gov.br
• BRASIL Ministério da Educação . . Portaria Normativa nº 4, de 5 de agosto de 2008. Regulamenta a aplicação do conceito preliminar de cursos superiores - CPC, para fins dos processos de renovação de reconhecimento respectivos, no âmbito do ciclo avaliativo do Sinaes instaurado pela Portaria Normativa nº 40, de 2007. Diário Oficial [da] República Federativa do Brasil, Brasília, DF , 06 ago. 2008. Disponível em: <Disponível em: http:// meclegis.mec.gov.br >. Acesso em: 20 maio 2012.
  » http:// meclegis.mec.gov.br
• BURLAMAQUI, Marco Guilherme Bravo. Avaliação e qualidade na educação superior: tendências na literatura e algumas implicações para o sistema de avaliação brasileiro. Estudos em Avaliação Educacional, São Paulo, v. 19, n. 39, jan./abr. 2008.
• CABRITO, Belmiro Gil. Avaliar a qualidade em educação: avaliar o quê? Avaliar como? Avaliar para quê? Cadernos Cedes, Campinas, v. 29, n. 78, p. 178-200, maio/ago. 2009.
• DIAS SOBRINHO, José. Avaliação da educação superior: avaliação regulação e emancipação. Avaliação (Campinas), Sorocaba, v. 8, n. 2, p. 31-47, mar. 2003.
• DIAS SOBRINHO, José. Acreditação da educação superior. In: SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR, 1. 2008. Brasília. Anais eletrônicos... Brasília: MEC, 2008a. Disponível em: <Disponível em: http://portal.mec.gov.br/index.php?option =com_content&view=article&id=15305:seminario-internacional-de-avaliacao-da-educacao-superior-2008&catid=323:orgaos-vinculados&Itemid=1075 >. Acesso em: 24 maio 2012.
  » http://portal.mec.gov.br/index.php?option =com_content&view=article&id=15305:seminario-internacional-de-avaliacao-da-educacao-superior-2008&catid=323:orgaos-vinculados&Itemid=1075
• DIAS SOBRINHO, J. Qualidade, avaliação: do Sinaes a índices. Avaliação, Campinas, Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008b.
• DOURADO, Luiz Fernandes; OLIVEIRA, João Ferreira deA qualidade da educação: perspectivas e desafios. Cadernos Cedes, Campinas v. 29, n. 78, p. 201-215, maio/ago. 2009.
• DUTRA, Marina Laura. Avaliação de treinamento. Tecnologia Educacional, Rio de Janeiro, v. 13, n. 57, p. 14-26, mar./abr. 1984.
• FONSECA, Marília. Políticas públicas para a qualidade da educação brasileira: entre o utilitarismo econômico e a responsabilidade social. Cadernos Cedes, Campinas, v. 29, n. 78, p. 153-177, maio/ago. 2009.
• GARVIN, David. Competing on the eight dimensions of quality. Harvard Business Review, Boston, v. 65, n. 6, nov./dec. 1987.
• GOMES, Paulo. A evolução do conceito de qualidade: dos bens manufacturados aos serviços de informação. Cadernos BAD, Lisboa, n. 2, p. 6-18, 2004.
• GURVITCH, Georges. Dialética e sociologia. São Paulo: Vértice, 1987.
• HARVEY, Lee; GREEN, Diana. Defining quality. Assessment & Evaluation in Higher Education, London, v. 18, issue 1, p. 9-26, apr. 1993.
• HARVEY, Lee; WILLIAMS, James: Fifteen years of quality in higher education. Quality in Higher Education, London, v. 16, n. 1, p. 3-36, apr. 2010.
• HORTALE, Virginia Alonso; MOREIRA, Carlos Otávio F.; KOIFMAN, Lilian. Avaliação da qualidade da formação: contribuição à discussão na área da saúde coletiva. Ciência & Saúde Coletiva, Rio de Janeiro, v. 9, n. 4, p. 997-1002, 2004.
• INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Instrumento de avaliação de cursos de graduação presencial e a distância. Brasília, fevereiro de 2012a. Disponível em: <Disponível em: http://www.inep.gov.br >. Acesso em: 20 maio 2012.
  » http://www.inep.gov.br
• INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Nota Técnica n.º 029, de 15 de outubro de 2012b. Disponível em: <Disponível em: http://www.inep.gov.br >. Acesso em: 12 dez. 2012.
  » http://www.inep.gov.br
• JANNUZZI, Paulo. Indicadores sociais no Brasil: conceitos, medidas e aplicações. 3 ed. Campinas: Alínea; Campinas: PUC, 2004.
• JANNUZZI, Paulo. Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. Revista do Serviço Público, Brasília, abr./jun. 2005.
• JURAN, Joseph. How to think about quality. In: JURAN, Joseph; GODFREY, A. Blanton. Jurans quality handbook. 5. ed. New York: McGraw-Hill, 1999.
• MENEGHEL, Stela; ROBL, Fabiane; SILVA, Tatiana. A relação entre avaliação e regulação na Educação Superior: elementos para o debate. Educar, Curitiba, n. 28, p. 89-106, 2006.
• MINAYO, Maria Cecília de Souza. Construção de indicadores qualitativos para avaliação de mudanças. Revista Brasileira de Educação Médica, Rio de Janeiro, v. 33, n.1, Suplemento 1, p. 83-91, 2009.
• MOROSINI, Marília Costa. Qualidade da educação universitária: isomorfismo, diversidade e equidade. Interface, Botucatu, v. 5, n. 9, p. 89-102, 2001.
• MOROSINI, Marília Costa. Qualidade na educação superior: tendências do século. Est. Aval. Educ., São Paulo, v. 20, n. 43, p. 165-186, mai/ago 2009.
• NEDER, Maria Lucia. Avaliação na educação a distância: significações para definição de percursos. In: PRETI, Oreste (Org.). Educação a distância: inícios e indícios de um percurso. Cuiabá: UFMT/NEAD/IE, 1996. p. 75-91.
• OLIVEIRA, Ana Paula Matos et al. Políticas de avaliação e regulação da educação superior brasileira: percepções de coordenadores de licenciaturas no Distrito Federal. Avaliação, Campinas; Sorocaba, v. 18, n. 3, p. 629-655, nov. 2013.
• RIOS, Terezinha. Compreender e ensinar: por uma docência da melhor qualidade. 8. ed. São Paulo: Cortez, 2010.
• RODRIGUES, Viviane Aparecida; PEIXOTO, Maria do Carmo de Lacerda. ENADE: considerações sobre o primeiro ciclo de avaliação dos estudantes de graduação em uma universidade federal. In: REUNIÃO ANUAL DA ANPED, 32. 2009. Anais eletrônicos... Disponível em: < http://www.anped.org.br/app/webroot/reunioes/32ra/>. Acesso em: 23 maio 2012.
  » http://www.anped.org.br/app/webroot/reunioes/32ra/
• RUA, Maria das Graças. Desmistificando o problema: uma rápida introdução ao estudo dos indicadores. Brasília: Escola Nacional de Administração Pública, 2004.
• SCRIVEN, Michael. The methodology of evaluation. In: TYLER, Ralph; GAGNE, Robert; SCRIVEN, Michel. Perspectives of curriculum evaluation. Chicago: Rand McNally and Company, 1967.
• SILVA, Maria Abádia da. Qualidade social da educação pública: algumas aproximações. Cadernos Cedes, Campinas, v. 29, n. 78, p. 216-226, maio/ago. 2009. p. 39- 83
• SOLIGO, Valdecir. Indicadores: conceito e complexidade do mensurar em estudos de fenômenos sociais. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 52, p. 12-25, maio/ago. 2012.
• SOUSA, José Vieira de. Qualidade na educação superior: lugar e sentido na relação público-privado. Cadernos Cedes, Campinas, v. 29, n. 78, p. 242-256, maio/ago. 2009.
• STREBEL, Paul. Breakpoints: como as empresas exploram mudanças radicais nos negócios. São Paulo: Atlas, 1993.
• WERKEMA, Maria Cristina Catarino. As ferramentas da qualidade no gerenciamento de processos. Belo Horizonte: Fundação Christiano Ottoni; Escola de Engenharia da UFMG, 1995.

• 1
  Quality in Higher Education (London), classificado pela Comissão de Área de Educação no Sistema Qualis/Capes como A1.

• 2
  A escala de medidas vai de um a sete. Os níveis seis e sete são indicativos de inserção internacional do Programa.

• 3
  Unidade avaliativa utilizada pela Capes, podendo corresponder a um curso de mestrado profissional, mestrado acadêmico ou doutorado, bem como ao conjunto formado pelos cursos de mestrado acadêmico e doutorado que compartilhem a mesma organização pedagógica, corpo docente e infraestrutura.

• 4
  Unidade operacional utilizada pela Capes para agregar áreas de conhecimento afins, permitindo aplicar um conjunto de regras próprias aos programas de pós-graduação que tratam de temas próximos ou semelhantes. Assim, nem toda área de conhecimento se constitui em uma área de avaliação.

• 5
  A autorreflexão dos Programas se expressa no item “proposta de curso”, que faz parte do relatório anual preenchido e enviado à Capes, também conhecido como “Coleta Capes”. Mais recentemente tem sido utilizada a Plataforma Sucupira para esse registro.

• 6
  Programa Novas Fronteiras e Programa de Mestrado/Doutorado Interinstitucionais, ambos destinados à consolidação da pós-graduação em regiões carentes, estimulando a solidariedade entre cursos de pós-graduação.

• 7
  Apesar de o Sinaes ter incorporado no seu instrumento de avaliação de cursos de graduação presencial e a distância (fevereiro de 2012) as “ações decorrentes dos processos de avaliação do curso” (INEP, 2012a, p. 6), essa medida não pareceu ser capaz de oferecer caminhos para que a regulação topo-base se configurasse.

Datas de Publicação

• Publicação nesta coleção
  Jul-Nov 2017

Histórico

• Recebido
  21 Jun 2015
• Aceito
  18 Nov 2016