SciELO - Scientific Electronic Library Online

 
vol.29 issue78Public policies for the quality of brazilian education: between economic pragmatism and social responsibilityEducation quality: perspectives and challenges author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Cadernos CEDES

Print version ISSN 0101-3262

Cad. CEDES vol.29 no.78 Campinas May/Aug. 2009

http://dx.doi.org/10.1590/S0101-32622009000200003 

ARTIGOS

 

Avaliar a qualidade em educação: avaliar o quê? Avaliar como? Avaliar para quê?

 

Assessing quality in education: assessing what? How? Why?

 

 

Belmiro Gil Cabrito

Doutor em Ciências da Educação e professor da Faculdade de Psicologia e de Ciências da Educação da Universidade de Lisboa (Portugal). E-mail: b.cabrito@fpce.ul.pt

 

 


RESUMO

Falar de qualidade em educação é inscrever o discurso numa questão central nas políticas públicas de educação. Todavia, nem sempre lembramos que a avaliação da qualidade é um processo que migrou da esfera económica para a educativa e não tomamos as cautelas epistemológicas necessárias na avaliação da educação. Quando cedemos à tentação da medida esquecemos a especificidade do processo educativo, sempre único e original, dificilmente enquadrável num qualquer quadro de medição de objectivos. No artigo, após reflectir sobre os sentidos da avaliação, equaciono a ideia de que quando encetamos uma avaliação em educação, há que ponderar o processo utilizado para medi-la, bem como o destino a dar e as motivações que a justificam. Duvidar da bondade dos objectivos da avaliação da qualidade em educação é natural num processo raramente inocente que, tantas vezes, fundamenta a concorrência, a rivalidade e a discriminação, num claro processo de reprodução das exclusões e das desigualdades sociais.

Palavras-chave: Avaliação. Educação superior. Educação e qualidade.


ABSTRACT

Speaking of quality in education certainly centres our discourse on a central issue of public education policies. However, we should recall that assessing quality is an economic concept imported into education and take epistemological precautions when it comes to our matter. If we give in to the measurement temptation, we tend to forget the specificity of the educational processes and facts, which are always unique and original and hardly fit in any framework aimed at measuring objectives, even when those are partly financial. After reflecting on the meanings of assessment in the current context, this paper argues that initiating an assessment process in education entails thinking critically about both the measurement process and its underlying aims. In fact, one has reasons to doubt that any assessment is benevolent since this seldom an innocent process usually originates competition, rivalry and discrimination, thus reproducing social exclusion and inequality.

Key words: Assessment. Higher education. Education and quality.


 

 

Introdução

A ideia de que tudo pode e deve ser avaliado no sentido de melhorar a qualidade da "coisa" que se produz ou do "serviço" que se presta tem vindo a ganhar terreno no nosso quotidiano e a alargar-se mesmo a horizontes que têm estado fora da obsessão avaliativa.

De facto, a avaliação no sentido de melhorar a qualidade desenvolveu-se nos meandros da economia e da finança, e a ela não será estranho a necessidade de medir em termos económicos a rentabilidade do investimento aplicado. Naturalmente, e porque o investimento é algo que acontece em toda a actividade económica do produto material, a avaliação da qualidade tornou-se numa prática "rotineira" e obrigatória na actividade produtiva.

Os objectivos primeiros dessa avaliação prendiam-se com conceitos como a produtividade, a competitividade ou a satisfação do cliente. A produção foi objectivada em torno de parâmetros de qualidade, fossem eles medidos pela diminuição dos tempos de fabrico, pela diminuição dos recursos utilizados, pela produtividade marginal, pela conquista do mercado, pela internacionalização, pelo aumento do consumo ou pela satisfação do consumidor. Na prática, e no quadro de uma actividade económica virada para a satisfação das necessidades, reais ou virtuais, do consumidor, a avaliação da qualidade traduzia, em última instância, a (não) satisfação do consumidor e media-se pelo número de unidades produzidas/consumidas.

Durante largo período de tempo, a avaliação da qualidade dizia respeito, basicamente, à criação de produtos ou serviços materiais e concretos, que contribuíam para a resolução dos problemas reais e virtuais do consumidor. Tal dinâmica não acontecia, ou de tal não se sentia tanta necessidade, na produção de serviços de natureza colectiva, que satisfazem necessidades dessa natureza e que eram providas, basicamente, pelo Estado ou por entidades públicas e/ou privadas sem fins lucrativos, às quais o Estado "adjudicava" a produção. Exemplos deste tipo de serviços encontram-se na educação, na saúde, na segurança social, na justiça, na defesa ou na segurança territorial.

O "desinteresse" da acção avaliativa pela qualidade destes serviços assenta, fundamentalmente, em duas situações: por um lado, no facto desta produção de serviços ser trabalho intensivo, bastante onerosa e dificilmente "mutável" no sentido da produtividade, da competitividade etc., pelo facto de haver limitações físicas e materiais à própria utilização da matéria-prima subjacente a estas produções, a força de trabalho (Baumol & Balckman, 1989); por outro, pelo facto de, numa boa parte dos casos, o Estado chamar a si a produção destes serviços, porque colectivos ou públicos em situação de monopólio (Easton & Klees, 1992), não sendo necessárias alterações significativas no processo de fabrico para obter a garantia de consumo do serviço prestado. Assim, o produtor - o Estado - sabia que os serviços que prestava seriam utilizados e consumidos porque apenas estes existiam no mercado.

Obviamente, esta forma de olhar o problema teve efeitos avassaladores que explicam, por exemplo, a ideia generalizada de que os funcionários públicos são maus trabalhadores ou de que a produção pública tem fraca, ou mesmo má, qualidade, mesmo quando tal ideia se afasta em absoluto da realidade. Efectivamente, generalizou-se a ideia do mau funcionamento de produção estatal, que exemplificaria uma má forma de garantir a satisfação das necessidades de natureza social. Na última lei sobre a autonomia do ensino superior em Portugal, por exemplo, as mudanças propostas à lei anterior, que vão no sentido da profissionalização e do managerialismo da gestão contra a ainda existente gestão participada e democrática, o Governo justifica esta opção no sentido da empresarialização deste serviço público com o facto de os funcionários públicos serem maus trabalhadores.

Neste quadro, só recentemente a produção pública começou a ser contestada e condenada em nome da qualidade, ao mesmo tempo que se encetam processos de avaliação dessa qualidade e de privatização dessa produção. Esta a situação, por exemplo, da educação.

Nesta conjuntura, os serviços públicos, nomeadamente a oferta pública de educação, são escrutinados continuamente, comparados com a produção privada desse tipo de serviços por entidades cujo objectivo fundamental não é a satisfação universal das necessidades de natureza colectiva, mas que consiste, prioritariamente, na realização de um lucro para o que selecciona um público num verdadeiro processo de cream-skimming (Le Grand, 1990; Le Grand & Bartlett, 1993).

Ao mesmo tempo, a política económica que tem vindo a modificar a estrutura do emprego e da produção ou a natureza dos mercados, em Portugal, bem como na maior parte das economias ocidentais, aponta para a necessidade da diminuição do papel do Estado na satisfação das necessidades colectivas, como o factor indispensável à superação da actual crise económica e ao alcance de novos níveis de vida (Le Grand, 1996).

A morte das propostas de Keynes e o declínio do Estado providência, bem percebidos no slogan mais ouvido actualmente nestes tempos pós-modernos, "menos Estado, melhor Estado", têm sido acompanhados pela substituição do Estado intervencionista por um Estado ultraliberal de diferentes matizes, por vezes um Estado regulador, outras um Estado mediador, outras ainda um Estado parceiro. Na verdade, cada vez mais obtemos um Estado menos provisor, menos social, menos solidário e, acima de tudo, mais privado e privatizado (Cabrito, 2004).

Desse modo, a "sanha" avaliadora "escorregou" para a escola e demais serviços públicos, num processo que veio mesmo a descapitalizar o Estado providência, a arruinar o Estado educador e a endeusar o Estado avaliador/controlador.

 

Algumas reflexões acerca da ideia de qualidade em educação

São muitos os temas pouco pacíficos, ditos muito sensíveis, quando se reflecte e debate sobre a problemática da "educação". Um deles é, certamente, o da "qualidade em educação".

De facto, falar-se de "qualidade em" implica sabermos, perfeitamente, o que se entende por qualidade, pois o modo como entendemos esse conceito condiciona a forma de "medir" e, portanto, de "avaliar" a sua concretização no terreno.

Não faz sentido falar-se em "qualidade" se não possuirmos um conjunto de instrumentos que permita medi-la e, naturalmente, um referente. Quando se mede algo é, necessariamente, para enveredar num processo comparativo.

Quer isto dizer que falar em "qualidade em educação" exige que a meçamos em relação a uma qualidade padrão - que tem de ser perfeitamente compreendida e estabelecida -, situação que nos remete para um processo de avaliação.

Ora, curiosamente, e para tornar mais discutível esta ideia de qualidade, "avaliar" é também uma das operações intelectuais mais questionáveis e difíceis e em relação à qual opiniões e atitudes são diferentes, de tal modo que, por vezes, são mesmo contraditórias. De facto, se, para alguns, avaliar é condição indispensável para sabermos o estado das coisas e sobre ele procedermos em conformidade; para outros, avaliar é uma acção tão subjectiva, condicionada por questões de natureza ética e moral que questionam a própria legitimidade do acto de avaliar.

No entanto, penso que quase todos concordamos com a afirmação tão propalada: todos devemos ser avaliados; tudo deve ser avaliado. Obviamente, e a título de exemplo, saber como estamos de saúde para que a possamos melhorar é indispensável. Aliás, quando vamos ao médico fazer um exame geral, apesar de nos sentirmos bem, o que se encontra subjacente é fazer uma avaliação do nosso estado físico e, em consequência, avaliar a "qualidade da nossa saúde". Este exemplo parece-me ser esclarecedor do problema subjacente à avaliação da "qualidade em educação".

De facto, quando o médico nos manda fazer determinados exames é para observar o nosso estado de saúde, isto é, fazer uma avaliação, comentar a "qualidade" do nosso bem-estar físico. É assim que ele lê os resultados da análise ao sangue, o valor da hemoglobina ou da velocidade de sedimentação. E, face a esses valores, concretos, que correspondem de facto ao que existe em nós, o médico diagnostica a nossa condição, pela análise da qualidade da nossa saúde. No entanto, essa avaliação não é realizada em função de critérios aleatórios e subjectivos por ele utilizados e que poderiam ser questionados por outro colega. Não, ele mede a nossa saúde a partir de valores-padrão, valores médios estabelecidos cientificamente.

Neste acto de avaliar existirá subjectividade? Certamente, mas é reduzida ao mínimo, pois pode limitar-se ao facto de médicos diferentes olharem o mesmo valor que, apesar de se encontrar dentro do intervalo de saúde, pode ser perspectivado como mais próximo ou mais afastado dos valores médios e, em consequência, levá-los a propor um determinado comportamento. Afinal, sempre haverá indivíduos para quem um copo se encontra meio cheio e outros para quem o mesmo copo se encontra meio vazio.

Pode dizer-se que, nestas circunstâncias, existe alguma subjectividade. Médicos diferentes avaliam, de forma diferente, a qualidade da saúde. Contudo, e nisso reside a diferença fundamental relativamente a outras situações de avaliação da qualidade, os médicos têm valores padronizados de referência, em relação aos quais existe acordo na comunidade médica. Para além de que utilizam em simultâneo uma "bateria" de indicadores, todos eles aceites, padronizados.

Todavia, estaremos a falar da mesma coisa, quando se fala em avaliação da "qualidade em saúde" nos diversos serviços hospitalares, hospitais ou serviços nacionais de saúde, quando os critérios para essa avaliação assentam em custos e financiamentos, que devem diminuir; em tempos de consulta, que devem diminuir; em listas de espera, que devem diminuir; em tempos de internamento, que devem diminuir; tudo isto, na ausência de quaisquer critérios objectivos e em nome da eficiência, da eficácia, da produtividade, da competitividade ou da satisfação do cliente? Será que, pelo facto de a duração média dos tempos de internamento em determinado hospital diminuir, aumentou a "qualidade em saúde"? Não será, pelo contrário, a situação em que os médicos, pressionados por números que sugerem (ou impõem) uma política de redução dos tempos de internamento, ignoram a "qualidade da saúde" dos doentes em benefício de uma "qualidade em saúde" racional e conscientemente estabelecida por políticos?

Ora, problema semelhante ocorre quando se fala "em qualidade em educação" e, como tal, em produzir avaliações sobre os alunos, os professores, o ensino, a escola ou o sistema educativo, sem que existam valores-padrão em relação aos quais possamos proceder a comparações, exactamente pela natureza subjectiva do que é educar. Não há critérios claros, objectivos e aceites pela comunidade científica que nos permitam fazer tal medição. A verdade é que todos nós, sendo professores, já estivemos envolvidos em centenas de situações de avaliação. E estaremos contentes connosco próprios?

Pela minha parte, devo dizer que é, no quadro de ser professor, a tarefa mais difícil e incómoda de realizar e que, em cada final de semestre, fico sempre com a sensação de que cometi vários erros e injustiças. Mas, esta sensação que me invade não é traduzível objectivamente em algum aluno ou em alguma avaliação concreta. Só fico com aquele sintoma de incomodidade e de mal-estar, que não consigo identificar porque "os meus critérios de avaliação" são "os meus critérios de avaliação", dificilmente estandardizáveis.

Na verdade, o que é uma boa resposta? Tem de estar bem redigida, obviamente. Mas será que nós próprios somos mestres na arte de redigir? O aluno tem de responder à questão, evidentemente. Mas, salvo situações de ciências exactas, será possível inventariar todas as possibilidades de resposta a uma questão que sugere e exige interpretações pessoais de situações ou de factos?

Ora, o mesmo julgo que acontecerá com muitos dos meus colegas e, certamente, em todas as situações em que procedemos à avaliação da qualidade em e da educação.

Todos queremos melhorar a qualidade em educação. Mas, como fazê-lo? O que é qualidade em educação? Como medi-la para podermos avaliá-la e, observados os sintomas, diagnosticada a doença, propormos as receitas?

Medir/avaliar a qualidade em educação será observar as práticas dos professores, compará-las com outras ou com propostas do que é ser bom professor (outra situação que encerra ambiguidades e equívocos que enviesam qualquer análise assente nesta noção)? E o que vamos avaliar/comparar: a prática pedagógica? A capacidade comunicacional? Os materiais de apoio? A criatividade? A inovação? São muitos os segmentos que podemos avaliar. Contudo, a questão de sempre mantémse. Como vamos fazer essa avaliação?

Tomemos, apenas, a criatividade, de entre aqueles instrumentos e processos. Criatividade em quê? O professor é criativo porque encontrou uma estratégia para motivar os alunos que lhe correspondem participando nas aulas, através do questionamento, do debate, da procura de nova informação, da pesquisa? Nestas circunstâncias, parece ser possível afirmar que aquele professor é um bom professor, porque consegue, com a sua criatividade, atrair e motivar os alunos, levá-los a ter êxito.

Todavia, pelo menos um senão é possível colocar: com outra turma, inclusive da mesma escola, aquele professor conseguiria, utilizando a sua e mesma criatividade, motivar estes novos alunos? É possível que sim. Mas, também, é possível que não. Deixaria, por esse facto, de ser um bom professor?

A verdade é que o êxito do professor depende não só dele, das capacidades que consegue mobilizar (comunicação, criatividade, desafio, empatia etc.), mas também, e muito naturalmente, do contexto em que se insere. De facto, o desempenho do professor depende das características económicas, sociais e culturais dos alunos, das escolas e do meio envolvente. É por demais conhecida a influência na aprendizagem e/ou no sucesso do aluno, da sua herança social (Boudon & Lagneau, 1980), do capital cultural de que é portador (Bourdieu & Passeron, 1970; Bourdieu, 2001) da sua origem (Baudelot & Establet, 1977, 1989; Willis, 1977) ou da sua competência linguística (Bernstein, 1996). Afinal, um aluno aprende melhor ou pior consoante se identifica ou não com o professor, seja pela semelhança das linguagens utilizadas pelo professor e por ele e os seus pais, pela forma de se vestir, pelos interesses musicais ou outros manifestados por um e outros.

Também os meios disponíveis e utilizados, as condições físicas da escola ou a natureza do ambiente condicionam comportamentos, motivações, expectativas e aprendizagens.

Quer dizer, um professor pode ser bem sucedido numa turma e pode não repetir esse êxito numa outra, apesar de se dedicar às duas turmas com o mesmo empenho; apesar da sua criatividade e das restantes características pessoais.

Terminado o ano lectivo, a percentagem de reprovações é diferente nas duas turmas, como diferente é a nota média dos alunos. Quer isto dizer que o professor foi um bom professor numa situação e mau noutra? Onde e como se coloca a questão da qualidade em educação? Numa turma houve qualidade, medida pelo sucesso dos alunos, isto é, pela taxa de aprovações, e na outra não houve, medido pelo insucesso dos outros alunos, isto é, pela taxa de retenção?

Será esta uma conclusão aceitável, quando está em causa o mesmo professor que se empenhou nas duas turmas com o mesmo esforço e criatividade? Definitivamente, falar de qualidade em educação é complexo porque são muitos os factores que condicionam os processos sociais e individuais, como é o da aprendizagem. Esta complexidade é, ainda, agravada por conta daqueles factores serem de natureza subjectiva, difíceis, pois, de classificar.

Referirmos uma turma e um professor é, por analogia e por extensão, referir uma escola, uma região ou um país. A qualidade educativa de uma escola medir-se-á pela taxa de sucesso dos seus alunos? A qualidade em educação de um país medir-se-á pela comparação de indicadores de sucesso nesta ou naquela disciplina em provas de aferição "internacionais", como as que a OCDE costuma realizar?

Apenas a título de exemplo: poderemos comparar a potencial qualidade em educação no serviço prestado por duas faculdades similares, em função das notas de entrada dos alunos nessas instituições, quando, por vezes, os exames exigidos pelos diferentes estabelecimentos, para a mesma área de estudos, não contemplam os mesmos assuntos disciplinares? Concretizando: poder-se-á fazer essa comparação entre as faculdades públicas de Psicologia e de Ciências da Educação em Portugal (pertencentes às universidades de Lisboa, de Coimbra, do Porto e do Minho), quando numas aos alunos se exige apenas realização de um exame de entrada, que pode não ser a Matemática, e noutras se exige a realização de um ou dois exames, sendo que um desses é de Matemática? Perante esta diversidade, bem real no caso Português, mas certamente extensível a muitas outras situações (Whitty et al., 1998), poder-se-á comparar a qualidade em educação daquelas faculdades de acordo com as notas obtidas pelos estudantes nos exames de acesso a essas instituições de ensino superior?

Assim, poder-se-á medir aquela qualidade potencial dos estabelecimentos através da média de entrada dos alunos no estabelecimento ou, como tantos "avaliadores" hoje são tentados a fazê-lo, pela média de saída; ambas as médias concretizando o "sucesso dos alunos e dos estabelecimentos"? E, em última análise, esse sucesso mede-se em relação a quê?

 

Avaliar a qualidade em educação: ingenuidade ou perversão?

Com o exposto, não se pretende recusar a necessidade da avaliação. Acredito que só a partir da avaliação das situações é possível detectar problemas e encontrar soluções. Não "a solução", mas alternativas que permitam transformar o real, que não é, nem nunca foi, unidimensional (Bartoli, 1991), no sentido de o tornar mais justo e equitativo.

Honestamente, para mim, esse acto de avaliar, de compreender a qualidade em educação só faz sentido se tiver um objectivo formativo, se contribuir para encontrar problemas e sugerir possíveis respostas adequadas a cada situação particular (Canário, 2001; Finger, 2004). Ora, é desta pretensão que decorre o grande problema ou a grande ilusão que, segundo creio, sempre surge ligada à "qualidade em educação".

Por um lado, há que encontrar um acordo relativamente ao próprio conceito. Por outro, esse conceito, pelas diferenças e discriminações que pode originar, deve ser utilizado num sentido formativo.

Assim, dada a dificuldade em se encontrar um conceito consensual de qualidade em educação, por um lado; e, por outro, o facto de que a comparação implica colocar as coisas num antes e num depois; num bom e num mau; a procura de qualidade em educação deverá promover e implicar, apenas, a competição entre uma instituição e ela própria.

Quer isto dizer que a avaliação da qualidade em educação, qualquer que seja o conceito subjacente e o critério utilizado, pode e deve ser utilizada, mas por um professor, um estabelecimento ou um sistema educativo para comparar os seus desempenhos ao longo do tempo e, dessa comparação, retirar as razões que explicam um "andar para a frente" ou "um andar para trás", em termos de qualidade (Cabrito, 2002b). E este modo de colocar a questão permite, enfim, compreender processos.

A necessidade de avaliar e algumas cautelas a observar: os indicadores

Sendo a qualidade um conceito não consensual, muitos podem ser, e são, os indicadores de medida a utilizar. A taxa de sucesso dos alunos é um deles. Pode dizer-se que um estabelecimento "melhorou" se, de um ano para outro, em igualdade de condições, aquela taxa tiver aumentado. Poder-se-á mesmo? Vejamos: no último ano lectivo, a taxa de retenção dos alunos do ensino fundamental, em Portugal, atingiu, pela primeira vez, valores abaixo dos 10% (GEPL-ME, 2008). Mas este valor mostrará, realmente, a qualidade em educação no ensino fundamental português, quando na primeira série não são permitidas retenções ou quando, mesmo com estes resultados, há mais de 7.500 crianças com sete anos em situação de retenção na segunda série? Ainda tomando como exemplo os últimos desempenhos do sistema educativo português, poder-se-á afirmar que a sua qualidade melhorou nos últimos anos, como referiu a actual ministra da Educação ao jornal O Público, de 2 de março de 2008, partindo apenas do facto de ter aumentado o sucesso dos alunos do ensino médio (ensino médio, 12 séries), já que as reprovações caíram, de 2005-2006 para 2006-2007, dos valores de 30,4% para 24,6%. Isto é, poderemos afirmar aquela melhoria de qualidade sem mediar os valores apresentados pela medida de política educativa que aboliu, nestes últimos anos, os exames nacionais para os jovens matriculados dos cursos profissionais e tecnológicos, que sempre se caracterizaram por elevadas taxas de reprovação naqueles exames?

Por outro lado, partindo de iguais condições, outro indicador de comparação e avaliação da qualidade em educação poderá ser a média das avaliações relativas a determinado ano, turma ou disciplina. O mesmo se pode afirmar relativamente ao absentismo de professores, alunos ou pessoal não-docente.

Outra forma de medição será a confrontação entre os objectivos que a instituição se propunha atingir e a respectiva consecução. No âmbito da sala de aula, podemos medir a qualidade em educação daquele estabelecimento pelo número de utilizações do centro de recursos por parte dos alunos (e dos professores), pelo número de requisições feitas sobre material de apoio (livros, cassetes áudio ou vídeo), pela relação estabelecida entre os alunos e os professores de diferentes anos e turmas em torno do projecto educativo da escola etc.

De igual forma, podem utilizar-se indicadores como o número de alunos por turma, o número de alunos por professor, o número de alunos por funcionário não-docente ou a área útil de cada sala de aula por aluno.

Todavia, também podemos medir essa qualidade por indicadores de gestão: qual o número de assembleias de escola realizadas com quórum ao longo do ano; qual a participação de cada um dos corpos aí presentes (professores, alunos, encarregados de educação, pessoal não-docente, autarquias, forças vivas do local); qual a apetência dos encarregados de educação para "aparecer" na escola; qual o número de eventos que originaram conselhos e penas disciplinares?

Podemos, ainda, medir aquela qualidade em função do desempenho financeiro da instituição: como são construídas as propostas de orçamento a apresentar à tutela? Que iniciativas existem para gerar receitas próprias? Que utilizações são dadas a essas receitas? Quais os benefícios para a escola, medidos na aquisição de livros, material áudio e vídeo ou computadores e programas informáticos?

Mas, será aceitável comparar estabelecimentos e a respectiva qualidade, a partir da análise de algum ou alguns destes indicadores? Como podemos comparar dois estabelecimentos e a respectiva qualidade em função, por exemplo, do número de processos disciplinares, sem que se tenha em conta a "história" desses estabelecimentos, a história social dos alunos ou o contexto dos eventos que exigiram a convocação de um conselho disciplinar? Isto é, será despiciente a origem social e económica dos alunos (com reflexos objectivos na aprendizagem e nas expectativas individuais); ou a "mobilidade" dos professores, que se traduz num vai e vem incessante de professores que borboleteiam de escola em escola; as condições de acessibilidade das escolas; os recursos educativos existentes; a organização dos horários ou a localização geográfica, para a compreensão, análise e explicação dos resultados visíveis?

Será aceitável comparar a qualidade em educação evidenciada por dois estabelecimentos de ensino sem recorrer a indicadores contextuais (Meirieu & Guiraud, 1997)? Qual a admissibilidade científica e mesmo ética de comparar estabelecimentos e qualidade, quando se parte de realidades extraordinariamente diferentes? Será que tudo é mensurável, quantificável, transformável em número? Quem assim pensa é porque não sabe (ou não quer saber) o que são externalidades (Cornes & Sandler, 1987) e, como tal, ignora um conjunto alargado de factos e de situações que condicionam a qualidade da e em educação, qualquer que seja o conceito utilizado, bem como os critérios para proceder à sua medição.

Todavia, esta comparação linear e descontextualizada dos estabelecimentos tem vindo a ser utilizada. Com objectivos mais ou menos transparentes, mais ou menos discutíveis, a verdade é que a opinião pública tem vindo a ser confrontada com a questão da avaliação da qualidade em educação, em geral, a partir da comparação entre estabelecimentos (assente em taxas de (in)sucesso dos alunos; no volume das ausências de alunos e/ou professores; no conjunto de recursos educativos existentes; ou na empregabilidade dos seus diplomados), de que decorre colocá-los num ranking de excelência, porque possuidores de mais ou menos qualidade, a partir da utilização de um número ínfimo de critérios (por vezes, apenas um) que, afinal, não têm em conta o mais importante, que é o contexto educativo que se compara.

Efectivamente, como fazer comparações entre estabelecimentos, sem compreender os processos que levaram à mudança material das instituições, dos professores ou dos alunos, quando afinal são estes processos que podem e devem ser disseminados numa vontade de explicitar boas práticas que não serão "o padrão" a seguir pelos restantes estabelecimentos, mas o exemplo de que é sempre possível fazer diferente e melhor e, nesse sentido, aumentar a qualidade em educação?

Que objectivos existirão por detrás de tais comparações, se não esquecermos, por exemplo, a política e a "raiva" ultraliberal que percorre actualmente uma boa parte dos países, Portugal incluído; a mercadorização progressiva dos serviços de natureza pública; a vontade explícita de "matar" a escola pública, visível, por exemplo, nas tentativas dos Estados Unidos da América em conseguirem que a Organização Mundial do Comércio vote a educação como mais um qualquer produto a transaccionar no mercado internacional, como se fora batatas ou fretes de transporte. Avaliar a qualidade em educação: ingenuidade ou perversão?

A qualidade em educação e as competências dos jovens à entrada no ensino superior

Se observarmos os objectivos dos diferentes programas de disciplinas do ensino secundário (ensino médio, no Brasil), deparamo-nos com um conjunto de objectivos traduzíveis em competências que os jovens devem ser capazes de demonstrar no fim do ano, nos domínios do conhecimento, do fazer e das atitudes. Uma questão se coloca: esses objectivos são verificáveis onde e quando? Obviamente, a resposta a esta questão é plural e determinada pelos contextos: depende dos professores, das escolas, dos alunos.

Mas, pode afirmar-se com alguma certeza que, ao longo do ano, os professores vão avaliando aquelas concretizações através dos diversos instrumentos de avaliação utilizados. Contudo, o que acontece quando essas competências são avaliadas à entrada no ensino superior? Ou, o que é "o mesmo", à saída do ensino secundário? São avaliadas como?

Ora, no processo de acesso ao ensino superior sabemos que as aprendizagens e as capacidades são avaliadas através da realização de exames específicas de âmbito nacional. E são avaliados através de provas escritas, onde se considera, apenas, aquilo que o estudante escreveu. Desconhecendo-se os processos e os contextos de aprendizagem de cada aluno em avaliação, bem como a evolução/progressão conseguida pelos alunos, aplica-se a todos eles uma prova uniforme que será avaliada, isto é, classificada, por professores que a analisam de modo "objectivo", em conformidade com as sugestões de correcção (objectivas?) dos autores das provas de exame.

Em função destes exames, os alunos são avaliados, listados, seleccionados para, finalmente, ingressarem em algum estabelecimento do ensino superior.

O que foi que se avaliou com este processo? A quantidade das aprendizagens? As competências desenvolvidas? A qualidade do ensino? Quantas questões se podem colocar relativamente a este processo de selecção/avaliação dos alunos na sua tentativa de acesso ao ensino superior. E a verdade é que esta avaliação não incide sobre as capacidades que os alunos desenvolveram ao longo do ensino secundário, nem sobre as competências que supostamente deverão possuir quando estão prestes a ingressar no ensino superior.

De facto, por um lado, não é com exames uniformes que se avaliam capacidades transversais; por outro, as competências avaliam-se na acção, quando se prova que somos capazes, ou não, de realizar uma tarefa com êxito, neste caso, os estudos superiores. Sendo assim, o que se avalia nestes exames de entrada no ensino superior?

Se não avaliamos as capacidades desenvolvidas nem as competências potenciais, estaremos, apenas, a avaliar aprendizagens. Avalia-se o conjunto de conhecimentos de que os alunos conseguiram apropriar-se ou, pior ainda, os conhecimentos que conseguiram memorizar. Mas não se avalia o percurso do aluno, a sua capacidade de organização individual do trabalho, a sua apetência para trabalhar em grupo, a sua capacidade de decisão, a sua autonomia, a sua criatividade, a sua tolerância. Igualmente, também não se avaliam as suas potencialidades, isto é, as suas futuras competências.

Assim sendo, qual o sentido da existência, por um lado, de um perfil de saída do aluno do ensino secundário e que se concretiza num conjunto de capacidades desenvolvidas e de competências potenciais; e, por outro, fazer-se uma avaliação da obediência a esse perfil através de provas que privilegiam conhecimentos memorizados e, eventualmente, aplicados na resolução de um exercício (sendo que nas aulas já se realizaram exercícios semelhantes de preparação para o exame) ou no relacionamento de alguns factos (conhecidos)?

Não se pretende, aqui, analisar a (des)vantagem, necessidade ou pertinência de exames de fim de ciclo, ou de entrada no acesso ao ensino superior. Não é essa a questão em análise. Se os exames contribuírem para melhorar os desempenhos individuais, façam-se exames. O problema reside no facto de haver uma discrepância flagrante entre o perfil de saída/entrada dos alunos de um para outro ciclo de estudos e os instrumentos de avaliação utilizados. Estar-se-á, nesta situação, a avaliar a qualidade em educação?

Curiosamente, esta avaliação tem vindo a fundamentar, nos últimos anos, uma certa prática avaliativa dos estabelecimentos de ensino secundário que, a partir de um critério manifestamente infeliz e insuficiente, os coloca nesse ranking, que identifica "as boas" e "as más" escolas.

Obviamente, essa classificação em rankings tem vindo a ser utilizada pelas "ditas" boas escolas e por indivíduos a elas ligados, para defender a qualidade educativa daqueles estabelecimentos, como se a qualidade em educação se pudesse medir apenas com um indicador. E, se recordarmos que nos primeiros lugares desse ranking se posicionam colégios privados (pelo menos em Portugal), cujos alunos pertencem, numa grande parte, à "nata" e cujos professores trabalham, quase exclusivamente, "para o exame" e que as ideias ultraliberais se encontram no âmago da maior parte das actuais democracias, não restam muitas dúvidas sobre as razões do actual discurso avaliador que enche o dia a dia dos países.

O problema dos rankings

Nos últimos quatro/cinco anos, a opinião pública portuguesa tem sido confrontada com rankings das escolas secundárias, como se a educação e as escolas se encontrassem num concurso televisivo qualquer, onde ganha mais quem acerta mais e mais depressa.

Esse ranking sugere diferenças de qualidade nos serviços educativos que cada escola dispensa, sendo que essa qualidade em educação tem vindo a ser construída em função de um critério "objectivo": a taxa de sucesso dos alunos do 12º ano (12ª série, série terminal do ensino médio), em vésperas de entrada no ensino superior.

A objectividade deste critério, mensurável e quantificável, tem vindo a justificar o debate que se tem vindo a produzir em torno da qualidade em educação, afirmando-se que as escolas oferecem tanto mais qualidade em educação quanto maior for a taxa de aprovação dos seus alunos naqueles exames.

Esta construção social da excelência tem, todavia, conduzido a uma clivagem na opinião pública, assistindo-se ao debate entre os indivíduos que são a favor dos rankings e os indivíduos que são contra a sua realização (e divulgação).

Este debate assenta no facto de, aceitando-se a avaliação como necessária, ser discutível uma prática que se constrói a partir de um único indicador ou de um número muito limitado e que promove a competição entre estabelecimentos e alunos, ao invés de contribuir para a disseminação de "boas práticas" ou para induzir processos de cooperação e de solidariedade. Na verdade, a elaboração do ranking das escolas, pelo facto de não ter em conta os diferentes contextos em que a educação se faz, é uma prática que parece servir a objectivos socialmente discriminatórios, que contribui para a reprodução das desigualdades sociais e de ensinos de elite (Cabrito, 2008).

Na verdade, quando os alunos se apresentam a exame, terão tido todas as mesmas oportunidades de sucesso?

Ora, todos sabemos que os processos de ensino não são iguais nas diferentes escolas. Mais importante ainda, sabemos que as escolas, num verdadeiro processo autorregulado, não acolhem de igual forma as instruções programáticas nem os objectivos estabelecidos para o aluno do ensino secundário, apropriando-se deles em função da sua realidade.

Em primeiro lugar, atentemos nos objectivos por vezes perseguidos pelos professores no seu processo de ensino e os objectivos previstos nos diferentes programas disciplinares e diplomas reguladores dos diversos ciclos de ensino.

Assim, uns docentes trabalham com os alunos em conformidade com o "perfil" de saída de um aluno do ensino secundário; outros, pelo contrário, trabalham os/com os alunos, em função do processo de avaliação, isto é, trabalham para o exame. Ora, consoante as prioridades de cada docente, assim os alunos se encontram mais bem apetrechados para se apresentarem, ou não, a um exame escrito selectivo, pelo que são mais ou menos beneficiados no processo de avaliação externa final.

Efectivamente, quantos professores utilizam uma metodologia de ensino que visa, fundamentalmente, "dar o programa" de modo a que o aluno aprenda/memorize as aprendizagens necessárias para o exame? Estes colegas "trabalham" os seus alunos para o exame. Os alunos memorizam e treinam. Ao longo do ano "inventam-se" perguntas possíveis e realizam-se respostas-padrão. Aliás, são várias as disciplinas em que a prática tem mostrado que este ou aquele assunto ou questão é sempre objecto de questionamento nos exames nacionais.

Treinar os alunos para o exame são circunstâncias onde dificilmente se incentiva o desenvolvimento das capacidades que, supostamente, o aluno deve manifestar no fim do ensino secundário: cooperação, organização, pesquisa, criatividade, autonomia, solidariedade, tolerância. Pelo contrário, é incentivada a aprendizagem na sua formulação mais tradicional e redutora: o programa é para "dar", é para "cumprir" e não para debater, reflectir, decidir, questionar; e os alunos deverão aprender (memorizar) respostas-chave que, com elevada probabilidade, corresponderão a algumas das questões colocadas. Isto porque, obviamente, trabalhar um tema tendo por detrás o desenvolvimento individual e social do aluno "demora" mais tempo do que "ensinar a matéria", impedindo que se "dê o programa".

Assim, e apesar de desconhecer estudos empíricos sobre a relação existente entre a taxa de sucesso dos alunos, as classificações obtidas e a forma de ensino utilizado, ouso afirmar, pela experiência que tenho sobre estes processos, que os alunos cujo docente pretende, com eles, promover o desenvolvimento de capacidades de reflexão e de avaliação são prejudicados relativamente aos restantes, nos exames finais. De facto, num processo avaliativo que se resume a exames escritos nacionais, onde o aluno tem de mostrar o que aprendeu (e não as capacidades que desenvolveu ou as competências potenciais de que é portador), este aluno tem tanto mais êxito quanto mais memorizou e treinou questões possíveis de "sair" no exame.

Nestas circunstâncias, de contraste acentuado entre o método de avaliação e os objectivos do ciclo de estudos, o que deverá fazer o professor? Questão difícil, pois obriga o professor a escolher entre o desenvolvimento integral do aluno e dar o programa para que o aluno tenha "muito sucesso" num exame que lhe permitirá a continuação de estudos.

Nestas condições, a opção efectuada pelo professor (aprender versus desenvolver) pode, então, condicionar o sucesso dos alunos nos exames e, como tal, influenciar o lugar de cada escola num ranking que assenta na prática de classificação. Este facto explica, por si só, a forma incorrecta como tem sido analisada a questão dos rankings de escolas e a questão da excelência, mas que cumpre bem o objectivo ultraliberal de marketização dos serviços de natureza pública.

Para além deste exemplo, outras situações condicionam o sucesso dos alunos e, por arrastamento, a excelência das escolas, e que não são mais do que o resultado dos contextos diferentes que caracterizam cada estabelecimento.

Como já se referiu, é inadmissível comparar médias de notas ou taxas de aprovação entre duas escolas que apresentam diferenças significativas em factores tão diversos e importantes como a origem social e económica dos alunos, a qualidade dos equipamentos, a efectividade e qualificação dos docentes, a acessibilidade ou a localização geográfica.

Do mesmo modo, é ilegítimo comparar os resultados dos exames finais do ensino secundário dos alunos de escolas onde estes são maioritariamente oriundos da média e alta burguesia (e cujos professores são, em geral, professores de carreira) com os resultados obtidos pelos alunos das escolas da periferia das grandes cidades, que servem bairros pobres deficientemente infraestruturados e sede de profundas rivalidades étnicas e/ou raciais, com os professores em geral menos bem preparados. As diferenças entre os alunos de umas e outras são por demais evidentes e discriminatórias, para que, em consciência, as possamos comparar. Assim, e acautelando as excepções sempre existentes, a verdade é que os públicos destas escolas apresentam condições de partida muito diferentes, seja pela cor da pele, pelo capital cultural de que são portadores, pela riqueza e ocupação dos familiares, pelas condições de vida e de estudo e, naturalmente, pelas suas expectativas face à escola e ao futuro.

A verdade é que os sistemas de ensino, mesmo quando pretendem diminuir as desigualdades, acabam por acalentá-las e reproduzi-las (Prost, 1992; Cabrito, 2002a). Assim sendo, uma escola frequentada pelos jovens pertencentes às elites acabará, sempre, por reproduzir essas elites e, como tal, por promover as desigualdades que a escola pretende minimizar. E isto acontece, obviamente, não porque esta escola oferece mais qualidade, mas porque é o resultado natural da confluência de múltiplos factores que convergem para uma determinada situação. Na verdade, existe alguma dúvida sobre quais as escolas que se situarão nos primeiros lugares de um ranking construído sobre indicadores não-mediados pelos contextos, como é a "cega" taxa de sucesso ou outro qualquer indicador de natureza semelhante.

Quando assim colocamos as escolas em lista, numa escala descendente das melhores para as piores, não estamos, certamente, a lembrarmo-nos de que a educação é um processo. Estamos, pois, a esquecer que os resultados deverão ser avaliados não "apenas" pelos resultados obtidos mas, muito particularmente, em função dos percursos de alunos e de "escolas", os quais são condicionados e determinados por factores contextuais.

Dessa forma, a avaliação das escolas, com objectivos comparativos, é uma tentativa bem grosseira, mas aparentemente legítima, de fazer a selecção das escolas e reproduzir o elitismo e a estratificação. Com efeito, as melhores escolas irão, em cada ano, atrair os melhores alunos e, dessa forma, continuar a ser as melhores escolas. Mas, sê-lo-ão de facto?

Propositadamente, não referi, até agora, a natureza jurídica do estabelecimento: público ou privado. Mas, será indiferente essa natureza?

A verdade é que nos rankings já divulgados, pelo menos em Portugal, as "melhores escolas" são de natureza privada, apesar de encontrarmos também, nos primeiros lugares, escolas secundárias públicas.

A dar atenção à origem social mais provável dos estudantes das escolas privadas (facto que, aliás, se comprova nas universidades, como demonstrado por Cabrito [2002a]), os jovens destas escolas são oriundos, em termos relativos, de estratos sociais de melhor estatuto. Assim sendo, e seguindo o raciocínio atrás enunciado, as melhores escolas deveriam encontrar-se entre as escolas privadas. E, de facto, encontram-se.

Todavia, pode contestar-se, nas melhores escolas encontramos, também, escolas públicas. Mas a verdade é que, se formos analisar que escolas públicas ocupam que lugares, as melhores posições são ocupadas pelas escolas relativamente às quais se construíram melhores expectativas, tendo em atenção a sua localização, o corpo docente, a origem social média dos seus alunos, a sua idade e tradição. São, genericamente, os antigos liceus e, de preferência, servindo de bacia recebedora de jovens provenientes de estratos sociais menos fragilizados.

Nestas circunstâncias, afirmo que comparar a qualidade em educação proporcionada pelas diferentes escolas, a partir de critérios que não consideram os factores contextuais, revela má-fé do avaliador e serve para, no mínimo, reproduzir as diferenças e as assimetrias entre governantes e governados, entre ricos e pobres, entre burgueses e operários, de forma intencional.

 

Notas finais: avaliação e excelência, o binómio formativo necessário

Tendo em atenção o exposto, considero que negar vantagens à avaliação da qualidade em educação surge como a consequência obrigatória. No entanto, de facto, não é esse o meu entendimento. Avaliar a qualidade em educação é indispensável, na medida em que só a partir dessa avaliação se podem propor práticas conducentes a melhorar aquela qualidade, qualquer que seja o processo utilizado para medi-la.

Na verdade, o problema não se encontra na avaliação da qualidade em educação, mas no processo utilizado para medi-la, no destino a dar a essa avaliação e, em última análise, nas razões que se encontram por detrás dela. E esta objecção coloca-se a dois níveis fundamentais. Por um lado, na selecção dos critérios utilizados. Não é aceitável utilizar-se este ou aquele critério que não representa, necessariamente, toda a realidade. Assim, a avaliação da qualidade em educação deve recorrer a uma bateria de indicadores de natureza quantitativa, mas também qualitativa, que pode, aliás, ser diferente de escola para escola. Quanto maior for o número daqueles indicadores de contexto, mais bem espelhada será a realidade que se pretende avaliar.

Por outro lado, nos objectivos deste processo de avaliação, se este tem por meta comparar escolas, contrapor as boas às más, promover a competição, com todos os inconvenientes já referidos e que se concretizam na reprodução das desigualdades sociais, haverá efeitos perversos na realidade educativa do país e deverá ser recusado liminarmente, ainda que não seja essa a actuação das elites dominantes, elas que são, obviamente, as elites avaliadoras.

Pelo contrário, se o processo de avaliação da qualidade em educação serve para que cada escola (cada aluno, cada sistema) conheça o seu próprio desempenho, a fim de poder, em cada ano, lançar mão das medidas necessárias e possíveis para que aquele desempenho melhore, então a avaliação surge como o instrumento privilegiado para promover a qualidade em educação.

Poderá inferir-se do exposto que a avaliação interessa apenas a um sujeito - o avaliado. Pelo contrário, cada escola, apesar de possuir a sua própria identidade, não vive isolada das restantes. Assim sendo, o conhecimento dos resultados da avaliação de umas e de outras, bem como os respectivos contextos educativos e práticas de avaliação, pode contribuir para melhorar o desempenho de cada escola. De facto, avaliar para construir a excelência é indispensável. Contudo, e essa é a razão de ser desta reflexão, a avaliação deve servir para que cada escola encontre o seu caminho e não para promover concorrência, rivalidade, discriminação, num claro processo de reprodução das exclusões e das desigualdades sociais.

 

Referências

BARTOLI, H. L'économie multidimensionnelle. Paris: Economica, 1991.         [ Links ]

BAUDELOT, C.; ESTABLET, R. L'école primaire divise. Paris: Maspero, 1977.         [ Links ]

BAUDELOT, C.; ESTABLET, R. Le niveau monte. Paris: Seuil, 1989.         [ Links ]

BAUMOL, W.; BLACKMAN, S. Productivity, growth and American leadership: the long view. Cambridge, Mass.: MIT, 1989.         [ Links ]

BERNSTEIN, B. Pedagogy, symbolic control and identity: theory, research, critique. London: Taylor & Francis, 1996.         [ Links ]

BOUDON, R.; LAGNEAU, J. L'inégalité des chances devant l'enseignement en Europe occidentale. Perspectives, Paris, v. 10, n. 2, p. 196-203, 1980.         [ Links ]

BOURDIEU, P. Contre-feux 2. Paris: Raisons d'Agir, 2001.         [ Links ]

BOURDIEU, P.; PASSERON, J-C. Les héritiers. Paris: Minuit, 1964.         [ Links ]

CABRITO, B. O financiamento do ensino superior em Portugal. Lisboa: Educa, 2002a.         [ Links ]

CABRITO B. Formação e avaliação: uma relação mais que polémica. Nova Etapa, Lisboa, n. 7, p. 23-28, jun. 2002b.         [ Links ]

CABRITO B. O financiamento do ensino superior em Portugal: entre o Estado e o mercado. Educação & Sociedade, Campinas, v. 25, n. 88, p.977-996, out. 2004.         [ Links ]

CANÁRIO, R. A "Aprendizagem ao longo da vida": análise crítica de um conceito e de uma política. Conferência proferida no Seminário organizado pela Agência Sócrates e Leonardo da Vinci, em 25 de maio de 2001.         [ Links ]

CORNES, R.; SANDLER, T. The theory of externalities, public goods and club goods. New York: Cambridge University, 1987.         [ Links ]

EASTON, P.; KLEES, S. Conceptualizing the role of education in the economy. In: ARNOVE, R.; ALTBACH, P.; KELLY, G. (Ed.). Emergent issues in education. Albany: State University of New York, 1992. p. 123-142.         [ Links ]

FINGER, M. Adaptar a aprendizagem aos novos desafios da sociedade. Aprender ao Longo da Vida, Lisboa, n. 1, p. 33-36, 2004.         [ Links ]

LE GRAND, J. Quasi-markets and social policy. Bristol: University of Bristol, 1990.         [ Links ]

LE GRAND, J. Los cuasi mercados y la política social. In: OROVAL, E. (Ed.). Economia de la educación. Barcelona: Ariel Educación, 1996. p. 257-271. (Trad. de Economic Journal, v. 101, p. 1256-1267, 1991).         [ Links ]

LE GRAND, J.; BARTLETT, W. Quasi-markets and social policy: the way forward? In: LE GRAND, J.; BARTLETT, W. (Ed.). Quasi-markets and social policy. London: MacMillan, 1993. p. 202-220.         [ Links ]

MEIRIEU, PH.; GUIRAUD, M. L'école ou la guèrre civile. Paris: PLON, 1997.         [ Links ]

PORTUGAL. Ministerio da Educação. Gabinete de Estudos e Planeamento (GEPL-ME). Estatísticas dos alunos. 2008.         [ Links ]

PROST, A. L'enseignement s'est-il démocratisé? Paris: PUF, 1992.         [ Links ]

WHITTY, G.; POWER, S.; HALPIN, D. Devolution and choice in education: the school, the State and the market. Buckingham: Open University, 1998.         [ Links ]

WILLIS, P. Learning to labour: how working class kids get working class jobs. Aldershot: Gower, 1977.         [ Links ]

 

 

Recebido em novembro de 2007 e aprovado em agosto de 2008.