Avaliação e classificação de instituições de ensino médio: um estudo exploratório

Evaluation and ranking of secondary schools: an exploratory study

Avaliação e classificação de instituições de ensino médio: um estudo exploratório

Evaluation and ranking of secondary schools: an exploratory study

André Luís Policani Freitas^I; Vinicius Barcelos da Silva^II

^IUniversidade Estadual do Norte Fluminense, Campos dos Goytacazes, RJ, Brasil

^IIInstituto Federal Fluminense, Campos dos Goytacazes, RJ, Brasil

^Contato

RESUMO

Os números recentes da educação no Brasil revelam desempenhos ruins dos estudantes nos níveis de educação elementar e básica, que constituem o alicerce da educação superior. Esse cenário foi o principal motivador para o desenvolvimento da abordagem exploratória apresentada no presente artigo. Fundamentada em dimensões e critérios presentes em estudos científicos e no emprego de um método de apoio à decisão (ELECTRE TRI) e da análise dos Quartis, a abordagem proposta buscou avaliar e classificar a qualidade de uma Instituição de Ensino Médio (IEM), segundo a percepção do corpo docente e discente. Por meio de um estudo realizado em um campus de um Instituto Federal de Educação Tecnológica, o coeficiente alfa de Cronbach (1951) foi utilizado para medir a confiabilidade dos questionários, enquanto a análise dos Quartis foi utilizada para determinar os itens mais críticos. Os resultados indicam que os questionários são válidos e confiáveis. Déficit de aprendizado acumulado pelos alunos em níveis anteriores de ensino, o desinteresse na participação das aulas e no aprofundamento do conteúdo das disciplinas e a falta de estudos em casa são alguns itens mais críticos, segundo a percepção dos docentes. Por outro lado, a falta de clareza na explicação da disciplina, a falta de domínio da turma e a frequência de uso de laboratórios e recursos audiovisuais são alguns dos itens mais críticos, segundo a percepção dos discentes. Ao desenvolver essa abordagem exploratória para avalição e diagnóstico de IEM, espera-se contribuir com os gestores dessas instituições para que ações precisas com relação à melhoria da qualidade do ensino médio possam planejadas e executadas pelos órgãos oficiais.

Palavras-chave: Instituições de ensino médio — ELECTRE TRI — Classificação da qualidade — Qualidade em serviços.

ABSTRACT

The recent figures of education in Brazil reveal poor student performance in primary and secondary education, which are the foundation of higher education. This scenario was the main motivation for the development of the exploratory approach presented in this article. Based on dimensions and criteria present in scientific studies and on the use of a method of decision support (ELECTRE TRI) and Quartiles analysis, the proposed approach aimed to evaluate and rank the quality of an institution of secondary education, according to the perceptions of faculty and students. Through a study carried out in a campus of a Federal Institute of Technology Education, Cronbach's alpha coefficient (1951) was used to measure the reliability of the questionnaires, and the Quartiles analysis was used to determine the most critical items. The results indicate that the questionnaires are valid and reliable. The learning deficit accumulated by students at previous levels of education, lack of interest in participating in classes and in deeply understanding the content of disciplines, as well as lack of homework completion are some critical items perceived by teachers. On the other hand, lack of clarity in the explanation of content of disciplines, lack of control of the class and the frequency of use of laboratories and audiovisual resources are some of the most critical items perceived by students. In developing this exploratory approach to the evaluation and diagnosis of secondary education institutes, we hope to contribute with the managers of such institutions so that precise actions to improve the quality of secondary education can be planned and carried out by official bodies.

Keywords: Secondary education institutions — ELECTRE TRI — Quality ranking — Quality services.

Nas últimas décadas, o Brasil tem monitorado a qualidade da educação básica por meio de diversos sistemas de avaliação nacionais e internacionais, os quais têm constatado a baixa qualidade da educação básica oferecida pela rede pública de ensino, principalmente no ensino médio. Esses resultados geram diversos problemas para o país e ferem as finalidades do ensino médio estabelecidas na Lei de Diretrizes e Bases da Educação Nacional (LDB) (BRASIL, 1996). Apesar de, nos últimos anos, terem sido notados avanços com relação à melhora na qualidade da educação, esses são modestos e o desempenho apresentado pelos alunos brasileiros é inferior à média dos países desenvolvidos.

Dentre outros aspectos, a qualidade insatisfatória da educação resulta na formação de profissionais menos capacitados e na maior dificuldade na continuidade dos estudos do aluno oriundo dessas instituições. Além disso, pode criar uma vulnerabilidade no país frente a outros países, dado o pressuposto de que ter uma força de trabalho especializada é crucial para aumentar sua competitividade na economia mundial.

Com o objetivo de minimizar o problema de acesso ao ensino superior dos estudantes oriundos de escolas públicas, o governo federal e alguns governos estaduais têm adotado medidas, tais como a reserva de vagas em universidades públicas, a serem preenchidas através do sistema de cotas sociais e raciais, e a concessão de bolsas de estudo para alunos matriculados em instituições de ensino superior privadas. Motivo de discussões entre educadores e pesquisadores de diversas áreas de conhecimento, a análise da viabilidade e da efetividade das políticas de concessão de bolsas e do emprego de cotas sociais e raciais não está no contexto do presente artigo. Porém, é de senso comum que a adoção dessas medidas, por si só, não resolverá o problema de baixa qualidade da educação básica brasileira. Mais ainda, é perceptível que ingressantes no ensino superior por meio dessas políticas trazem consigo fragilidades e deficiências não sanadas durante o ensino básico.

Nesse contexto, a Constituição federal brasileira (1988) estabelece diversos princípios da educação, dentre os quais se destaca a garantia do padrão de qualidade no ensino. Entretanto, esse documento não define exatamente qual seria esse padrão de qualidade, cabendo aos órgãos responsáveis pela educação nacional a sua definição e aperfeiçoamento.

Segundo Freitas, Rodrigues e Costa (2009), é essencial a existência de um sistema de avaliação capaz de garantir que a qualidade da educação fornecida pelas instituições de ensino atenda aos padrões recomendados. Em especial, é preciso que haja um sistema de avaliação que possa detectar o nível de qualidade das Instituições de Ensino Médio (IEM), identificando problemas e fragilidades a serem sanadas com vistas à melhoria contínua do ensino.

Nesse sentido, a avaliação institucional é um importante instrumento na busca de informações no que se refere à qualidade dos serviços prestados por uma instituição de ensino (FREITAS; FONTAN, 2008). De acordo com Valério (2004), ela permite descobrir, no processo educacional, as falhas existentes desde o planejamento dos conteúdos didáticos até o relacionamento professor-aluno sendo, portanto, uma importante ferramenta de gestão.

O interesse das Instituições de Ensino Superior (IES) em melhorar o nível de qualidade da educação, aumentando consequentemente seu desempenho/conceito perante o Ministério da Educação e Cultura (MEC), motivou o desenvolvimento de vários estudos associados à avaliação e classificação da qualidade dos serviços prestados por essas instituições. Parte significativa das investigações realizadas retrata abordagens fundamentadas no emprego de métodos de apoio multicritério à decisão e técnicas correlatas. Alguns desses estudos podem ser encontrados em Embiruçu, Fontes e Kalid (2012); Freitas, Rodrigues e Costa (2009); Neves e Costa (2006); Freitas e Rodrigues (2006); e Lins, Almeida e Bartholo Junior (2004).

Entretanto, existe uma carência de estudos similares tendo como foco principal a avaliação e classificação da qualidade do ensino nas IEM. Desejando contribuir para o preenchimento dessa lacuna, este artigo apresenta uma abordagem metodológica para autoavaliação das IEM que avalie sua realidade, seguindo os princípios da qualidade e utilizando técnicas estatísticas e métodos de apoio à tomada de decisão. Essa abordagem visa a captar dados e informações, além de classificar a qualidade do ensino médio sob a percepção do corpo docente e discente da instituição. Considerando que em grande parte das escolas públicas brasileiras os recursos são escassos para solucionar problemas de grande magnitude, a abordagem tem como objetivo contribuir para a melhoria da qualidade da educação, auxiliando gestores na busca de soluções para os problemas detectados, identificando os mais críticos e, por conseguinte, permitindo às IEM priorizar ações e o uso de recursos.

O artigo está organizado da seguinte forma. Primeiramente, apresentam-se os principais sistemas de avaliação e evidenciam-se problemas existentes na educação básica no Brasil; na sequência, descreve-se a abordagem proposta para autoavaliação de IEM; em seguida apresenta-se um estudo exploratório e destacam-se os principais resultados, por fim, são colocadas as considerações finais.

Sistemas de avaliação e a educação básica brasileira

Ao longo do século XX, diversos sistemas de avaliação e coleta de dados foram desenvolvidos visando a mensurar a qualidade dos serviços prestados pelas instituições de ensino. Atualmente, a educação básica brasileira possui, em âmbito nacional: um sistema de levantamento de dados estatísticos educacionais, o Censo Escolar; dois sistemas de avaliação, o Sistema de Avaliação da Educação Básica (SAEB) e o Exame Nacional do Ensino Médio (ENEM); além de um indicador da qualidade da educação nacional, o Índice de Desenvolvimento da Educação Básica (IDEB). Todos são gerenciados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), uma autarquia federal vinculada ao MEC.

O Censo Escolar consiste em um levantamento anual de dados estatísticos da educação básica. Sua função é coletar dados dos estabelecimentos de ensino, número de matrículas, docentes, abandono e rendimento escolar de todas as escolas públicas e privadas do país. Esse instrumento exibe o panorama nacional da educação, auxiliando os governos municipal, estadual e federal no desenvolvimento de políticas públicas e execução de programas na área da educação. O fornecimento de dados é obrigatório, inclusive para as instituições privadas.

Segundo dados do censo escolar 2009, havia 8.337.160 alunos matriculados no ensino médio, sendo que 88,33% desses estavam matriculados em instituições públicas, como mostra a tabela 1. Um dado importante a ser considerado pelos estudos científicos e políticas educacionais é que 9 em cada 10 estudantes dessa modalidade estão na rede pública de ensino.

Os dados referentes ao rendimento escolar, que indica o grau de eficácia do ensino médio, mostram que, em 2009, 75,9% dos alunos foram aprovados, enquanto que 12,6% foram reprovados e 11,5% abandonaram a escola. Essas altas taxas de reprovação e abandono são alguns dos principais problemas dessa modalidade de ensino, conforme afirma Klein (2006). Enquanto as regiões Norte e Nordeste apresentam os maiores percentuais de abandono escolar (16,4%), as regiões Sul e Sudeste são as que mais reprovam (14,1% e 14,8%, respectivamente).

O SAEB, criado em 1990, é composto por dois processos de avaliação: a Avaliação Nacional da Educação Básica (ANEB) e a Avaliação Nacional de Rendimento Escolar (ANRESC). Ambas são bianuais e compostas por provas de língua portuguesa e de matemática, além de incluir a aplicação de questionários. A ANEB avalia alunos da 4ª e 8ª série do ensino fundamental e do 3º ano do ensino médio das escolas públicas e privadas do país, localizadas nas zonas rural e urbana de todos os estados. Por outro lado, a ANRESC possui caráter universal, abrangendo todas as escolas urbanas com mais de 30 alunos matriculados nas 4ª e 8ª série do Ensino Fundamental, porém não avalia o ensino médio.

Dados do SAEB (2009) mostram que alunos do 3º ano do ensino médio obtiveram notas 268,8 e 274,7 nas avaliações de língua portuguesa e matemática, respectivamente (BRASIL, 2011). Essas notas indicam que tais alunos demonstram ter conhecimentos compatíveis aos alunos da 8ª série do ensino fundamental (alunos do 3º ano do ensino médio deveriam apresentar notas entre 325 e 500). Apenas 11% dos alunos apresentaram conhecimentos adequados à sua série na disciplina matemática. Em língua portuguesa essa taxa foi maior (28,9%), mas ainda é considerada ruim.

Criado em 1998, o ENEM é anual e consiste na aplicação de prova de múltipla escolha que avalia conhecimentos básicos do ensino médio, além de redação. Podem participar do exame alunos que estão concluindo ou que já concluíram essa modalidade de ensino em anos anteriores. O exame é obrigatório aos candidatos que desejam participar do Programa Universidade para Todos (PROUNI), que fornece de bolsas de estudo parciais ou integrais para que os alunos possam estudar em IES privadas. Atualmente, diversas IES têm utilizado o resultado do ENEM de forma parcial ou integral no processo de vestibular. No ENEM 2009, participaram cerca de 2.500.000 candidatos, sendo que os mil piores resultados foram obtidos por alunos oriundos da rede pública de ensino (97,8% desses das redes estaduais).

O IDEB consiste em um indicador que reúne dois conceitos da qualidade do ensino básico: fluxo escolar, usando dados sobre aprovação escolar obtido através do Censo Escolar; e a média de desempenho nas avaliações em larga escala, obtida através do SAEB. Esse índice, que utiliza uma escala de zero a dez, é comparável nacionalmente e expressa em valores os resultados mais importantes da educação: aprendizagem e fluxo (BRASIL, 2011). Dessa forma, é possível comparar a qualidade da educação oferecida à sociedade entre as cinco regiões e entre os estados, a fim de direcionar políticas públicas para melhorar a qualidade da educação básica dos estados com menores índices.

Os resultados do IDEB 2009 mostram a fragilidade do ensino médio público no Brasil. Nessa modalidade, a rede pública de ensino obteve índice de 3,4 pontos, diferentemente da rede privada, com índice de 5,6 pontos. Esse índice é muito preocupante, pois, conforme supracitado, 9 em cada 10 estudantes do ensino médio estão na rede pública de ensino. Observando as metas do IDEB para o ano de 2021, pode-se notar que as metas da rede pública são menores que o atual índice obtido pela rede privada de ensino. Esse fato revela o enorme gap existente entre essas redes, tendendo a continuar alto por um longo tempo. Trata-se de um dos grandes desafios do Brasil na melhoria da qualidade da educação, como se observa nas metas do IDEB para o ano de 2021 na tabela 2, a seguir.

O Brasil também participa do Programa Internacional de Avaliação de Alunos (PISA), realizado trienalmente nos países da Organização para Cooperação e Desenvolvimento Econômico (OCDE) e em países convidados. O programa consiste em uma avaliação de leitura, matemática e ciências, sendo aplicado a estudantes na faixa dos 15 anos de idade. No Brasil, os alunos dessa faixa etária estão iniciando o ensino médio.

De acordo com o PISA de 2009, a educação brasileira ocupa a 53ª posição, dentre os 65 países avaliados. Enquanto que as médias das notas dos países desenvolvidos pertencentes à OECD estão próximas dos 500 pontos, o Brasil registra médias de 386 pontos em matemática, 405 em ciências e 412 em leitura (OECD, 2010). Mais da metade dos estudantes brasileiros tiveram desempenho inferior ao nível 2 da escala do PISA em matemática e ciências – escala essa que possui seis níveis – enquanto que na média dos países pertencentes a OECD apenas 20% dos estudantes não alcançaram esse nível.

Esses dados revelam que os alunos que estão iniciando o ensino médio já demonstram um déficit de aprendizado acumulado ao longo do ensino fundamental. Os resultados supracitados do SAEB, ENEM e IDEB também revelam que o ensino médio brasileiro não tem conseguido reverter esse déficit. Em especial, analisando os dados no período de 2000 a 2009, Kuenzer (2010) inferiu que essa década foi perdida para o ensino Médio, pois os problemas continuam os mesmos. Os indicadores de acesso, permanência e sucesso dos alunos não apresentaram mudanças significativas, mostrando que as ações propostas no Plano Nacional de Educação de 2000-2010 não foram eficazes para esse nível de ensino.

Muitos pesquisadores apontam a evasão e, principalmente, o alto índice de repetência escolar como causas para a baixa qualidade da educação básica no país. O próprio governo admite que os altos índices de evasão e repetência escolar são consequências da má qualidade do ensino, provocada pelo baixo gasto público, professores mal remunerados e sem preparação adequada e escolas mal equipadas (BRASIL, 2003). O repetente tende a abandonar a escola quando chega à maioridade, não concluindo as séries da educação básica, aumentando, assim, os indicadores de evasão escolar. Nesse contexto, Klein (2006) afirma que o acesso à escola está universalizado, mas a conclusão dos ensinos fundamental e médio está longe de ser universalizada. Ao analisar dados do PNAD e do SAEB sobre fluxo escolar e qualidade de ensino, o autor afirma que a evasão escolar acontece em decorrência da repetência, pois os alunos que não avançam nas séries acabam expulsos da escola.

Outros fatores que também influenciam no baixo rendimento dos alunos consistem nas condições socioeconômicas e culturais da família do estudante. Barros et al. (2001) constataram que a escolaridade dos pais, em particular a da mãe, tem um peso importante no desempenho educacional dos jovens estudados. Um ano adicional de escolaridade dos pais leva a um acréscimo de cerca de 0,3 ano de estudo para seus filhos. Ney, Totti e Reid (2010) realizaram uma análise a partir dos microdados da edição do ENEM 2005 e também concluíram que as condições socioeconômicas das famílias exercem forte influência sobre a qualidade da educação básica. Os pesquisadores alertaram sobre a necessidade da elaboração de políticas públicas voltadas à melhoria da qualidade do ensino público municipal e estadual, a fim de reduzir as desigualdades de oportunidades na fase de preparação para o mercado de trabalho, além de conduzir mais pessoas ao ensino superior.

Por outro lado, Silva (2010) questiona a utilização dos dados produzidos pelo SAEB e IDEB pelas redes de ensino. Ela afirma que a análise superficial dos resultados, observando apenas um índice/nota, tem levado as redes de ensino a adotarem políticas educacionais que transferem a responsabilidade do resultado positivo ou negativo para as escolas, professores e alunos. Essa postura desencadeia premiações diante dos resultados obtidos nos exames padronizados. Segundo a autora, as escolas podem adotar estratégias visando a aumentar suas notas nesses exames, reduzindo os currículos – a fim de contemplar apenas os tópicos abrangidos pelas avaliações – ou evitando a reprovação dos estudantes, mesmo que esses não atinjam o nível necessário para sua aprovação. Todas essas medidas buscam melhorar o indicador de fluxo escolar, com o intuito de, assim, receberem a premiação oferecida pela rede de ensino.

Kuenzer (2010) afirma que é fundamental a realização de um amplo diagnóstico que permita identificar necessidades específicas de cada realidade escolar, contemplando a diversidade sociocultural, o corpo docente, a estrutura física etc. Ela afirma que o resultado desse diagnóstico possibilitará estabelecer prioridades e metas a serem cumpridas.

Mediante a todos os problemas supracitados, a abordagem proposta neste artigo busca contribuir com a melhoria da qualidade da educação nas IEM, caracterizando-se como uma ferramenta de gestão para diagnosticar a realidade da IEM, fornecendo informações que auxiliem o gestor na correção, no redirecionamento e na implementação de ações necessárias à solução dos problemas detectados na autoavaliação.

A abordagem metodológica proposta

A abordagem proposta originou-se de estudos realizados por Silva e Freitas (2011a, b) e caracteriza-se por ser de natureza exploratória tendo como método a pesquisa qualitativa, cujo objetivo é prover percepções e compreensões a respeito de um problema. O caráter exploratório advém do fato de que os estudos direcionados à autoavaliação em IEM ainda são muito incipientes no país. Além disso, há a impossibilidade de se transpor pesquisas realizadas no exterior devido à diferença entre as realidades existentes. Para melhor compreensão, apresentam-se as etapas que compuseram essa abordagem.

Etapa 1 – Modelagem do problema

Foram definidos os elementos que compõem a modelagem do problema, assim como os pontos primordiais para a realização da pesquisa:

• Objetivo da autoavaliação: Consiste na identificação de problemas e fragilidades no ensino médio das instituições, avaliando apenas essa modalidade de ensino, mesmo que a instituição ofereça o ensino fundamental ou profissional técnico de nível médio. A autoavaliação propõe consultar indivíduos que participam do processo educacional, captando suas percepções acerca da qualidade do ensino oferecido pela IEM.

• Avaliadores: A IEM será avaliada pelo corpo docente e discente. Deverá ser definida a quantidade de julgamentos a coletar, ou seja, se todos os alunos e professores serão avaliadores (toda a população) ou se será realizado algum procedimento de amostragem.

• Dimensões e itens: A definição das dimensões e itens foi fundamentada após análise de vários estudos realizados na educação básica e na superior, a saber:

a) O resumo técnico executivo da Pesquisa Nacional Qualidade da Educação (BRASIL, 2005): o estudo consultou pais dos alunos da educação básica matriculados na rede pública de ensino e foi estruturado em função de três dimensões: escola, diretor e professor. Relacionados à escola, foram abordados itens referentes à localização, espaço para lazer, salas de aula, conservação do prédio e instalações, higiene dos banheiros e cozinha, biblioteca, laboratórios de informática, quadras de esportes, merenda escolar, livros didáticos, segurança, bebedouros, entre outros. Quanto ao diretor, foram considerados itens sobre frequência, capacidade para resolver problemas, respeito a opinião externas, relacionamento, educação e atenção à comunidade. Sobre o professor, foram abordados temas como sua frequência, capacitação, comprometimento, paciência, simpatia, atenção, educação, autoridade em sala de aula, competência, dedicação, capacidade de motivar os alunos e suas formas de avaliação;

b) SINAES: No âmbito da educação superior, o SINAES estabelece que a autoavaliação institucional atenda as 10 dimensões estabelecidas no art. 3 da Lei n. 10861/04: missão e o Plano de Desenvolvimento Institucional (PDI); política de ensino, pesquisa e extensão, incluindo procedimentos para estímulo à produção acadêmica, bolsas de pesquisa e de monitoria; a responsabilidade social da instituição; comunicação com a sociedade; corpo docente e técnicos administrativos, e as políticas envolvidas; infraestrutura física; planejamento e avaliação; política de atendimento ao aluno; e sustentabilidade financeira;

c) Estudos científicos: Rodrigues (2005) e Freitas e Fontan (2008) consideraram quatro dimensões em uma IES: corpo docente, corpo discente, organização administrativa e instalações físicas. Eberle, Milan e Lazzari (2010) identificaram seis dimensões da qualidade em IES: professores/ensino, estrutura/imagem, planejamento e desenvolvimento do curso, atendimento, ambiente de ensino e relação custos versus benefícios.

Considerando os estudos supracitados, propõe-se que as IEM sejam avaliadas à luz de quatro dimensões: organização administrativa, instalações físicas, corpo docente e corpo discente. Cada dimensão é composta por critérios de avaliação adequados aos avaliadores, sendo que cada critério é composto por um conjunto de itens de avaliação. Os elementos da autoavaliação das IEM relacionam-se conforme figura 1.

A dimensão corpo docente avaliará: (i) as instalações físicas, constituídas pelas instalações gerais, biblioteca, laboratórios, instalações especiais e equipamentos; (ii) a organização administrativa, constituída pela secretaria acadêmica e coordenação do curso; (iii) o corpo discente; e (iv) o corpo docente, em forma de uma autoavaliação. Por outro lado, o corpo discente avaliará: (i) as instalações físicas; (ii) a organização administrativa; (iii) o corpo docente, avaliando o conteúdo das disciplinas, provas/testes e materiais didáticos, além do desempenho do professor; e (iv) o corpo discente, em forma de uma autoavaliação.

• Instrumentos de coleta de dados: Foram elaborados oito modelos de questionários padronizados para coletar dados e informações junto aos avaliadores (os itens são apresentados nos

  quadros 1 a 4).

• Modelo de avaliação conceitual: O modelo fundamenta-se no conceito do modelo SERVPERF não ponderado (CRONIN e TAYLOR, 1992), que utiliza a percepção do avaliador acerca do desempenho do serviço como forma de avaliar a qualidade do serviço.

Etapa 2 – Execução

Os procedimentos definidos na etapa anterior foram colocados em prática, coletando dados e percepções dos docentes e discentes por meio dos questionários elaborados.

Etapa 3 – Análise

Técnicas estatísticas e métodos fundamentados no Apoio Multicritério à Decisão (AMD) podem ser utilizados para a análise dos dados obtidos, verificando também a confiabilidade e validade dos mesmos. Busca-se identificar quais são as dimensões, setores, serviços ou profissionais que obtiveram menor desempenho segundo a percepção dos avaliadores. Recomenda-se a verificação da coerência dos julgamentos.

Sugere-se o emprego do coeficiente alfa de Cronbach (1951) para avaliar a consistência interna dos questionários. Esse coeficiente é calculado através da variância dos itens e dos totais do teste por avaliador, em que quanto mais esse coeficiente se aproxima de 1, maior a confiabilidade do instrumento. Em geral, o valor de alfa não deve ser menor que 0,75, porém valores acima de 0,60 já indicam consistência do instrumento (FREITAS; RODRIGUES, 2005).

Os dados poderão ser utilizados para classificar a qualidade da IEM, segundo a percepção dos avaliadores em categorias preestabelecidas, tais como ocorre nas IES, onde são atribuídos conceitos pelo MEC. Métodos multicritérios de classificação podem ser utilizados para esse propósito, com destaque para o método ELECTRE TRI (YU,1992), o qual tem sido utilizado em diversos trabalhos relacionados à classificação da qualidade do serviço oferecido por instituições de ensino (MIRANDA; ALMEIDA, 2003; RIBEIRO; COSTA, 2005; RODRIGUES, 2005). A descrição e o entendimento do algoritmo de classificação do ELECTRE TRI exigem um esforço cognitivo adicional, principalmente pelo fato de que esse método está fundamentado em conceitos recentes da lógica nebulosa (fuzzy logic). Apesar disso, o entendimento e a modelagem pelo ELECTRE TRI dispensam a descrição pormenorizada do algoritmo de classificação (COSTA; FREITAS, 2005).

A fim de priorizar ações que buscam sanar problemas de maior magnitude, sugere-se o emprego de um procedimento de priorização dos itens. Por exemplo, os itens que apresentaram os menores valores de desempenho seriam considerados como de prioridade crítica, ou seja, são itens que necessitam de ações corretivas/preventivas urgentes. A análise dos Quartis (FREITAS, MANHÃES; COZENDEY, 2006) pode ser utilizada para esse fim.

Etapa 4 – Planejamento

Ao associar o resultado do modelo de autoavaliação proposto aos resultados das avaliações realizadas pelo MEC, a IEM poderá implementar ações visando a melhorias e eliminação/redução dos problemas identificados e, após uma análise dos resultados, padronizar e divulgar para a comunidade e outras instituições as ações que contribuíram para a melhoria da qualidade do ensino. Algumas ações podem ser definidas pela própria IEM, outras deverão ser repassadas para os órgãos oficiais da rede de ensino. A análise de Pareto e a técnica do 5W1H podem ser utilizadas.

Um estudo exploratório

O estudo foi realizado em um campus vinculado a um Instituto Federal de Educação, Ciência e Tecnologia, localizado no estado do Rio de Janeiro. Em 2010, o campus possuía cerca de 350 alunos matriculados no ensino médio, os quais eram divididos em 11 turmas e 20 professores das grandes áreas de conhecimento dessa modalidade. Das onze turmas, quatro foram selecionadas para participar do estudo, denotadas por T= {T_A, T_B, T_C, T_D}. Cada turma possuía entre vinte e trinta alunos, denotados por T_X = {T_X1, ..., T_Xn}, onde X representa a turma (X = A, B, C ou D) e n, os alunos da turma X. Participaram do estudo cerca de cem alunos. Cada turma avaliou um professor de uma determinada disciplina. Dos vinte professores atuantes no ensino médio, quatro foram selecionados, sendo denotados por D = {D₁, D₂, D₃, D₄}.

Neste estudo, foram consideradas duas dimensões: corpo docente e corpo discente, de modo que cada um deles avaliou o outro e fez uma autoavaliação. Para captação dos julgamentos, foi empregada uma escala contínua representada por meio de uma reta cujos valores possíveis variam de zero a cem pontos. Cada respondente deveria marcar com um X um valor representativo da sua percepção acerca do desempenho da IEM em relação a cada item/critério (figura 2).

Cada item possui, além da escala para captar o desempenho, uma opção denominada não se aplica. Os avaliadores foram orientados a marcar essa opção quando não tinham condições de avaliar aquele item, seja por falta de experiência ou por acreditar que a dimensão não tinha como ser avaliada. Além disso, considerou-se que os avaliadores não estariam capacitados a estabelecer o grau de importância de cada item e, por outro lado, em uma primeira análise, todos os itens teriam igual importância.

Para emprego do algoritmo do método ELECTRE TRI, foram definidas cinco categorias, denominadas por C = {C₁, C₂, C₃, C₄, C₅} e suas respectivas fronteiras, em que cada categoria representa respectivamente os conceitos A, B, C, D e E (figura 3). Foram definidos os limites de preferência (p_i) e indiferença (q_i) para cada item i. Segundo Costa et al. (2007), não existe um consenso na literatura para a determinação desses limites quando se considera avaliação conjunta de múltiplos avaliadores, pois os métodos da família ELECTRE são decisões que envolvem uma única unidade de decisão. Foram definidos os limites p_i = q_i = 6 para todos os itens. O limite de veto não foi utilizado, pois a variabilidade de nenhum item seria capaz de inviabilizar a classificação a uma categoria em detrimento à outra. Utilizou-se o plano de corte padrão (λ = 0,76). Segundo Neves e Costa (2006), esse valor tem sido frequentemente adotado, porém, não se encontra na literatura uma discussão aprofundada acerca dessa escolha.

De maneira sucinta, considerando categorias de classificação pré-definidas delimitadas por fronteiras e dado que uma IEM é avaliada segundo n itens (critérios) denotados por I = {I₁, I₂, ..., I_n}, a problemática consiste em determinar a categoria à qual a qualidade do ensino da IEM será atribuída. A figura 3 ilustra essa problemática, considerando cinco categorias de classificação, em que cada categoria representa respectivamente os conceitos A, B, C, D e E.

Por duas semanas, discentes e docentes foram convidados a preencher questionários impressos. A fim de obter avaliações mais realistas e sinceras, a identificação dos avaliadores foi opcional. Os valores dos itens deixados em branco ou nos quais ocorreu a marcação da opção não se aplica foram substituídos pela média aritmética dos valores dos julgamentos do item em questão, procedimento incorporado pelos pacotes estatísticos profissionais.

Conforme tabelas 3, 4 e 5, todos os questionários que avaliaram as dimensões corpo docente e corpo discente apresentaram alta confiabilidade interna (α > 0,75). Dado que o último item dos questionários solicita a atribuição de uma nota geral para o objeto avaliado, os dados remanescentes foram empregados em uma análise de regressão linear para verificar a coerência das avaliações, usando como variáveis a média aritmética das notas dos itens I₁ até I_n-1 e a nota do item I_n (n é o total de itens). Supõe-se que uma avaliação está coerente quando a nota geral atribuída à dimensão está próxima da média das notas.

A tabela 3 mostra que todas as avaliações da dimensão corpo docente apresentaram coeficientes de correlação significativos. As avaliações feitas por alguns alunos não foram incluídas, pois não responderam o último item ou marcaram a opção não se aplica (avaliadores identificados com um asterisco). Porém, na autoavaliação do corpo discente (tabela 4), apenas a autoavaliação realizada pelos alunos da T_A apresentou coeficiente de correlação significativo. A turma T_C que apresentou coeficiente de correlação muito baixo.

A tabela 5 mostra que os coeficientes de correlação das dimensões corpo docente e corpo discente, segundo a percepção do corpo docente, que foram altos e significativos.

O método ELECTRE TRI foi utilizado para classificar a IEM à luz das duas dimensões em uma das categorias preestabelecidas, segundo a percepção docente e discente. O desempenho da IEM em cada item foi obtido através do cálculo da média aritmética das notas atribuídas pelos avaliadores. Conforme a Tabela 6, segundo a percepção dos alunos, três professores foram classificados com o conceito C e outro foi classificado com o conceito B. Porém, segundo suas autoavaliações, três docentes se classificaram com o conceito B, enquanto um se classificou com o conceito A. Nota-se que houve uma superestimação dos docentes em suas autoavaliações, de modo que apenas um se autoclassificou na mesma categoria dada pelos alunos. Agrupando as médias obtidas pelos quatro docentes segundo a percepção dos alunos, e calculando uma nova média aritmética, pode-se obter a média geral dos docentes e a respectiva classificação: conceito C. Entretanto, em todas as análises, o conceito atribuído à dimensão foi o mesmo nas classificações otimista e pessimista.

Conforme a tabela 7, todas as turmas foram classificadas com o conceito B pelos alunos (autoavaliação) e pelos professores, com exceção na classificação pessimista da turma T_B segundo a percepção dos docentes D₁ e D₂, na qual essa turma foi classificada com conceito C.

A Análise dos Quartis (FREITAS; MANHÃES; COZENDEY, 2006) foi utilizada para identificar os itens de maior prioridade para intervenção, de acordo com o desempenho obtido junto aos avaliadores. Por exemplo, de acordo com a análise da dimensão corpo docente (figura 4), I₂, I₃, I₆, I₇ e I₉ foram considerados itens de prioridade crítica nas análises de quase todos os docentes, pois os valores são menores que o valor do primeiro Quartil. Percentual considerável dos discentes não informou o desempenho nos itens I₆, I₇ e I₉ (52%, 62% e 30% respectivamente), deixando-os em branco ou marcando não se aplica. Todos os docentes marcaram não se aplica para os itens I₆ e I₇. Chama-se a atenção para os itens I₂ (clareza na explicação do conteúdo da disciplina) e I₃ (domínio da turma por parte do professor).

A análise do corpo discente segundo a percepção docente (figura 5) revela que os itens I₇ (interesse dos alunos no aprofundamento do conteúdo das disciplinas) e I₉ (estudo em casa) foram considerados críticos em quase todas as turmas. A participação dos alunos nas aulas (I₆) e o nível de conhecimento dos alunos adquiridos em níveis anteriores de ensino (I₂₀) também foram considerados críticos. A pouca participação e interesse nas aulas, agravado pelo fato de os alunos não possuírem um conhecimento base bem consolidado e pelo fato de não estudarem em casa podem ser prováveis causas de desempenhos insatisfatórios dos discentes nas avaliações, provas e testes. Esse aspecto foi mensurado pelo item I₁₄, sendo classificado nas turmas como prioridade alta ou crítica.

Considerações finais

A avaliação das instituições de ensino tem sido objeto de interesse de pesquisadores de diversas áreas do conhecimento (educação, pedagogia, ciências matemáticas, engenharias, dentre outras) e também de organismos oficiais do Ministério da Educação e Cultura. O aumento expressivo de cursos superiores e IES no início da década de 1990 foi um dos principais motivadores para esse interesse e, consequentemente, para os inúmeros estudos desenvolvidos até o presente momento.

Este artigo apresentou uma abordagem exploratória que buscou avaliar e classificar a qualidade de uma Instituição de Ensino Médio e identificar os itens mais críticos, segundo a percepção docente e discente. Apesar do caráter exploratório e de abrangência limitada em termos da quantidade de alunos e docentes da instituição de ensino avaliada, o presente estudo foi capaz de apresentar resultados relevantes para serem analisados, brevemente sintetizados a seguir.

Os discentes foram mais bem avaliados que os docentes, obtendo conceito B, tanto sob a percepção dos docentes quanto em suas autoavaliações. Não houve superestimação na autoavaliação dos alunos, o que demonstra certa coerência nas avaliações. Por outro lado, três dos quatro docentes avaliados foram classificados com o conceito C, sendo que suas autoavaliações estavam superestimadas. Esse fato revela que os alunos estão com uma percepção da qualidade de serviço prestado pelo professor inferior ao que eles acreditam que estão oferecendo. O docente mais bem avaliado pelos discentes obteve conceito B e foi o único coerente em sua autoavaliação, atribuindo-se na mesma categoria designada pelos alunos.

Dentre os itens críticos relacionados aos docentes estão: falta de clareza na explicação da disciplina e a falta de domínio da turma. Também não foram bem avaliados pelos alunos a frequência de uso de laboratório e recursos audiovisuais pelo professor. Essas avaliações negativas podem ser justificadas pelo fato de que em 2010 apenas um laboratório de ciências naturais estava disponível na instituição, não existia laboratório de línguas estrangeiras que pudesse auxiliar os trabalhos dos professores de língua portuguesa e língua estrangeira, e os dois laboratórios de informática estavam em situação precária. As salas não possuíam recursos audiovisuais e a instituição só tinha quatro projetores para atender a demanda de todos os cursos. Várias obras estavam em andamento, como a construção de laboratórios e salas de aula equipadas com recursos audiovisuais.

Os docentes apontaram como itens críticos das turmas o déficit de aprendizado acumulado pelos alunos em níveis anteriores de ensino, que, somados com o desinteresse na participação das aulas e no aprofundamento do conteúdo das disciplinas e na falta de estudos em casa, geravam baixo desempenho nas avaliações.

Ao agregar o resultado gerado pela abordagem proposta aos resultados das avaliações externas realizadas pelo MEC, espera-se que a IEM possa executar ações de melhoria e, após a análise dos resultados, padronizar e divulgar as ações que contribuíram para a melhoria da educação. Dessa forma, o principal benefício da abordagem proposta consiste no diagnóstico de não-conformidades que não são detectadas pelos sistemas de avaliação oficiais. Mais ainda, espera-se a abordagem permita que a equipe gestora: (i) direcione recursos para solucionar problemas mais graves; (ii) consiga recursos extras das Secretarias de Educação para solucionar problemas de grande magnitude ou (iii) alerte os órgãos oficiais para a necessidade de ações para sanar deficiências de grande magnitude existentes.

Contato:

[e-mail]

Recebido em: 11.01.2013

Aprovado em: 26.03.2013

André Luís Policani Freitas é doutor e mestre em Ciências de Engenharia pela Universidade Estadual do Norte Fluminense Darcy Ribeiro – UENF. Graduado em engenharia mecânica pela Universidade Federal Fluminense – UFF, é professor associado do Laboratório de Engenharia de Produção (LEPROD/UENF).

Vinicius Barcelos da Silva é mestre em Engenharia de Produção pela Universidade Estadual do Norte Fluminense – UENF, especialista em produção e sistemas pelo Instituto Federal Fluminense – IFF e graduado em análise e desenvolvimento de software, pelo mesmo instituto.

• BARROS, Ricardo Paes de et al. Determinantes do desempenho educacional no Brasil. In: BRASIL. Pesquisa e Planejamento Econômico v. 31, n.1, Rio de Janeiro, abril, 2001. Disponível em: <http://ppe.ipea.gov.br/index.php/ppe/article/viewFile/159/94>. Acesso em: 16 fev. 2013.
• BRASIL. Constituição da República federativa do Brasil de 1988 Brasília, DF, 1988. Disponível em: <http://www.planalto.gov.br/ccivil_03/Constituicao/ConstituicaoCompilado.htm>. Acesso em: 16 fev. 2013.
• _______. Lei nş 9394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, DF, 1996.
• _______. Lei nş 10861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - SINAES. Diário Oficial da União, Brasília, DF, 2004.
• BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP. Notícias INEP Brasília, DF, 2003. Disponível em: <http://www.inep.gov.br/imprensa/noticias/outras/news03_6.htm>. Acesso em: 20 jun. 2010.
• ______. Pesquisa nacional qualidade da educação: a escola pública na opinião dos pais. Brasília, DF, 2005.
• _______. Sinopse estatística da educação básica, 2009. Brasília, DF, 2010. Disponível em: <http://portal.inep.gov.br/basica-censo-escolar-sinopse-sinopse>. Acesso em: 6 fev. 2013.
• ______. Índice de desenvolvimento da educação básica: resultados e metas. Brasília, DF, 2011. Disponível em: <http://sistemasideb.inep.gov.br/resultado>. Acesso em: 19 jan. 2011.
• COSTA, Helder Gomes; FREITAS, André Luis Policani. Aplicação do método ELECTRE TRI à classificação da satisfação dos clientes: um estudo de caso em um curso de extensão universitária. Revista Portuguesa e Brasileira de Gestão. Lisboa, v. 4, n. 4, p. 66-76, 2005.
• ______ et al. Electre Tri aplicado a avaliação da satisfação de consumidores. Produção, São Paulo, v. 17, n. 2, p. 230-245, 2007.
• CRONBACH, Lee J. Coefficient Alpha and the internal structure of tests. Psychometrika, v.16, n.3, p. 297-335, 1952.
• CRONIN JÚNIOR, Joseph; TAYLOR, Steven A. Measuring service quality: a reexamination and an extension. Journal of Marketing New York: American Marketing Association, v. 56, p. 55-68, 1992.
• EBERLE, Luciene; MILAN, Gabriel Sperandio; LAZZARI, Fernanda. Identificação das dimensões da qualidade em serviços e a satisfação de clientes: um estudo aplicado em uma Instituição de Ensino Superior. RAE electron, São Paulo, v. 9, n. 2, dez. 2010. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1676-56482010000200003&lng=en&nrm=iso>. Acesso em: 16 fev. 2013.
• EMBIRUÇU, Marcelo; FONTES, Cristiano Hora; KALID, Ricardo de Araújo. Um modelo para o dimensionamento do corpo docente para o apoio à tomada de decisão no planejamento de instituições de ensino superior. Produção, São Paulo, 2012. Disponível em: <http://www.scielo.br/scielo.php?pid=S0103-65132013000100015&script=sci_abstract&tlng=pt>. Acesso em: 16 fev. 2013.
• FREITAS, André Luís Policani; RODRIGUES, Sidilene Gonçalves. A avaliação da confiabilidade de questionários: uma análise utilizando o coeficiente alfa de Cronbach. XII SIMPEP, 2005, Bauru, Anais do XII SIMPEP, Bauru, SP, 2005.
• ______. Using the ELECTRE TRI method for sorting the performance of universities. XIII CONGRESO LATINO-IBEROAMERICANO DE INVESTIGACIÓN OPERATIVA, Anais.., Montevideo, Uruguay, 2006, p. 1-7.
• ______ e FONTAN, Emanuella Aparecida. Um procedimento para a estruturação do processo de auto-avaliação de cursos universitários. Sistemas & Gestão, v.3, p.147-162, 2008.
• ______; MANHÃES, Nilo Roberto Correa; COZENDEY, Manaara Iack. Emprego do SERVQUAL na avaliação da qualidade de serviços de tecnologia da informação: uma análise experimental. In: XXVI ENEGEP, 2006, Fortaleza. Anais.. Fortaleza, ENEGEP, 2006.
• ______; RODRIGUES, Sidilene Gonçalves; COSTA, Helder Gomes. Emprego de uma abordagem multicritério para classificação do desempenho de instituições de ensino superior. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 17, n. 65, p. 655-674, dez. 2009.
• KLEIN, Ruben. Como está a educação no Brasil? O que fazer? Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 14, n. 51, p. 139-172, 2006.
• KUENZER, Acacia Zeneida. O ensino médio no plano nacional de educação 2011-2020: superando a década perdida? Educação e Sociedade, Campinas-SP, v. 31, n. 112, p. 851-873, 2010.
• LINS, Marcos Pereira Estellita; ALMEIDA, Bernardo Faria de; BARTHOLO JÚNIOR, Roberto. Avaliação de desempenho na pós-graduação utilizando a análise envoltória de dados: o caso da engenharia de produção. Revista Brasileira de Pós-Graduação, v.1, p.41-56, jul. 2004.
• MIRANDA, Caroline Maria Guerra de; ALMEIDA, Adiel Teixeira de. Avaliação de pós-graduação com método ELECTRE TRI: o caso de Engenharias III da CAPES. Produção, v. 13, n. 3, p.101-112, 2003.
• NEVES, Roberta Braga; COSTA, Helder Gomes. Avaliação de programas de pós-graduação: proposta baseada na integração ELECTRE TRI, SWOT e sistema CAPES. Sistemas & Gestão, v.1, n.3, p. 276-298, 2006.
• NEY, Marlon Gomes; TOTTI, Maria Eugênia Ferreira; REID, Tatiani de Lima Santos. A influência das condições socioeconômicas das famílias na qualidade da educação básica na região Norte Fluminense. Vértices, Campos dos Goytacazes, RJ, v. 12, n. 1, p. 103-119, 2010.
• OECD. PISA 2009 results: what students know and can do student performance in reading, mathematics and science. OECD Publishing, v. 1, 2010. Disponível em: <http://dx.doi.org/10.1787/9789264091450-en>. Acesso em: 10 jan 2011.
• RIBEIRO, Tania Aparecida Azeredo da Conceição; COSTA, Helder Gomes. Aplicação do método ELECTRE TRI à classificação da percepção do desempenho de IES por parte do corpo discente. XXV ENEGEP, 2005, Porto Alegre, RS, Anais, Porto Alegre, 2005.
• RODRIGUES, Sidilene Gonçalves. A estruturação do processo de auto-avaliação de instituições de ensino superior: uma contribuição para a gestão educacional. 2005. Dissertação (Mestrado em Engenharia de Produção) UENF, Campos dos Goytacazes, RJ, 2005.
• SILVA, Isabelli Fiorelli. O sistema nacional de avaliação: características, dispositivos legais e resultados. Estudos em Avaliação Educacional, São Paulo, v. 21, n. 47, p. 427-448, 2010.
• SILVA, Vinicius Barcelos da; FREITAS, André Luís Policani. Classificação de instituições de ensino médio: uma abordagem exploratória. XLIII SBPO, 2011, Ubatuba/SP, Anais.., Ubatuba, v. 1. p. 1-13, 2011a.
• ______. Modelo para autoavaliação de instituições de ensino médio: uma contribuição para a gestão educacional XXXI ENEGEP, 2011, Belo Horizonte, MG. Anais.., Belo Horizonte, 2011b.
• VALÉRIO, Rosangela Narvila. Avaliação institucional: uma relação entre avaliação docente e discente um estudo de caso. 2004. Dissertação (Mestrado em engenharia de produção) - Universidade Federal de Santa Catarina UFSC, Florianópolis, 2004.
• YU, Wei. ELECTRE TRI Aspects methodologiques et guide d'utilisation. Document du LAMSADE Paris: Université de ParisDauphine, 1992.

Datas de Publicação

• Publicação nesta coleção
  27 Set 2013
• Data do Fascículo
  Mar 2014

Histórico

• Recebido
  11 Jan 2013
• Aceito
  26 Mar 2013