Avaliando a avaliação escolar: notas escolares e inteligência fluida

Evaluando la evaluación escolar: las notas escolares y inteligencia fluida

Evaluating the school evaluation: the grade schools and fluid intelligence

ARTIGOS

Avaliando a avaliação escolar: notas escolares e inteligência fluida

Evaluating the school evaluation: the grade schools and fluid intelligence

Evaluando la evaluación escolar: las notas escolares y inteligencia fluida

Cristiano Mauro Assis Gomes^I

^I Doutor em Educação pela Universidade Federal de Minas Gerais, Professor Adjunto da Universidade Federal de Minas Gerais

^{Endereço para correspondência}

RESUMO

Segundo o ENEM, o ensino deve promover o desenvolvimento da inteligência (competências). Este artigo discute a qualidade de duas avaliações escolares enquanto indicadores desse princípio. Foram realizados dois estudos. O primeiro analisa dados de 230 estudantes de uma escola da rede federal de Ensino Médio de Belo Horizonte e o segundo faz o mesmo procedimento em relação a 273 estudantes do ensino médio de uma escola particular da mesma cidade. Foram empregados os mesmos instrumentos e métodos de coleta e análise de dados nos dois estudos, para fins de comparação dos resultados. Foram analisadas relações entre inteligência fluida, notas escolares e uma competência escolar geral. Foi utilizado o modelamento por equações estruturais. Os resultados indicaram que as avaliações escolares dos dois estudos se relacionaram aos princípios do ENEM. As implicações são analisadas e discutidas.

Palavras-chave: Avaliação; inteligência fluida; aprendizagem.

ABSTRACT

Brazilian education defines through ENEM that teaching must promote development of intelligence (scholar competences). This article discusses the quality of two school evaluations as indicative of these principle. Two studies were performed. The first one analyses 230 student’s data from a federal high school in Belo Horizonte. The second analyses 273 high school student’s data from a private school in >Belo Horizonte. The same methods were used in both studies to contrast the results. The relationship between fluid intelligence, grade school and general scholar competence was analyzed, by structural equation modeling. The results show that school evaluation of the two studies has connectivity with the national principles. The implications of the results are analyzed and discussed.

Key words: Evaluation; fluid intelligence; learning.

RESUMEN

Por medio del ENEM, la educación brasileña estipula que la enseñanza debe promover el desenvolvimiento de la inteligencia (competencias).. Este artículo discute la cualidad de dos evaluaciones escolares, como indicadores de este principio. Fueron hechos dos estudios. El primero analiza datos de 230 estudiantes de una escuela de la red federal de enseñanza mediana de Belo Horizonte. El segundo analiza datos de 273 estudiantes de al enseñanza mediana de una escuela particular de Belo Horizonte. Fueron utilizados los mismos instrumentos y métodos de colecta y análisis en los dos estudios, para fines de comparación. Fueron analizadas relaciones entre inteligencia fluida, notas escolares y una competencia escolar general. Fue utilizado el modelamento por ecuación estructural. Los resultados indicaron que las evaluaciones de los dos estudios si relacionaron con los principios del ENEM. Las implicaciones fueron analizadas y discutidas.

Palabras-clave: Evaluación; inteligencia fluida; aprendizaje.

Desde os anos de 1990 têm ocorrido transformações no campo da avaliação da aprendizagem discente no Brasil. Esse contexto de mudanças faz parte de políticas públicas que têm estabelecido como prioridade a equidade, a qualidade do ensino, o foco no raciocínio e o desenvolvimento de habilidades cognitivas de alto nível.

O Exame Nacional do Ensino Médio (ENEM) é uma ferramenta que provém do contexto de mudanças apontado. Sua finalidade é o diagnóstico anual em larga escala da qualidade da formação do estudante brasileiro que finaliza a educação básica. Devido à sua importância, em 25 de março de 2009 o ministro da educação Fernando Haddad enfatizou o papel do ENEM como ferramenta de seleção para o ensino superior, propondo que esse exame passe a ser utilizado como substituto do vestibular em instituições federais de ensino superior. Segundo o argumento do ministro, além de gerar um sistema único de avaliação, a utilização do ENEM tem como motivo a reorganização do Ensino Médio brasileiro, valorizando uma educação voltada ao raciocínio, e não à mera decoração ou memorização.

Um novo Exame Nacional do Ensino Médio (Enem) pode substituir os vestibulares das universidades. Essa é a proposta apresentada nesta quarta-feira, 25, pelo Ministério da Educação à Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior (Andifes). A intenção é que a prova ajude a reorganizar o currículo do ensino médio e permita maior mobilidade dos estudantes pelas universidades em todo o território nacional, por causa do modelo unificado de avaliação.

De acordo com o ministro da Educação, Fernando Haddad, a prova deverá ser mais voltada para a investigação e não para a memorização, para avaliar a capacidade analítica e o raciocínio do aluno, diferente dos vestibulares atuais (Brasil, 2009).

O motivo do uso do ENEM como possível substituto do vestibular está alicerçado na gestão do uso de ferramentas de avaliação. É mais adequado formalizar e estruturar um sistema integrado que avalia o aluno e a qualidade da sua formação. Por sua vez, a gestão integrada de ferramentas não é o único motivo, mas há um segundo, que é mobilizar a aceleração de mudanças na educação básica brasileira, de modo a fomentar a melhoria da qualidade do ensino. Ao avaliar o raciocínio, o ENEM estipula um juízo de valor sobre o que é adequado, em termos educacionais, e sobre o que o ensino brasileiro deve valorizar e definir como metas para seu alcance.

Desde o seu nascimento, o ENEM propõe medir competências mentais, definidas como modalidades estruturais da inteligência (Brasil, 1998, 2000, 2001). Em função dessa proposta, as provas do ENEM são feitas de forma a mensurar a capacidade de raciocínio discente (Machado, 2005a; Murrie, 2005; Menezes, 2005; Guimarães, 2005). O ENEM busca romper com o tipo de educação que prioriza a mera memorização do tipo "decoreba", assim como impulsionar um ensino focado na educação do pensamento e na capacidade de aprender.

As competências mentais, alvo maior do ENEM, são definidas como a capacidade do estudante de: (1) dominar a norma culta da Língua Portuguesa e fazer uso das linguagens matemática, artística e científica (Condeixa, Murrie, Dias & Carvalho, 2005); (2) construir e aplicar conceitos das várias áreas do conhecimento para a compreensão de fenômenos naturais, de processos histórico-geográficos, da produção tecnológica e das manifestações artísticas (Menezes, Gualtieri, Guimarães, Lisboa & Kawamura, 2005); (3) selecionar, organizar, relacionar, interpretar dados e informações, representados de diferentes formas, para tomar decisões e enfrentar situações-problema (Macedo, Teixeira, Ferreira & Andrade, 2005); (4) relacionar informações, representadas de diferentes formas, e conhecimentos disponíveis em situações concretas, para construir argumentação consistente (Machado, 2005b); (5) recorrer aos conhecimentos desenvolvidos na escola com vistas à elaboração de propostas de intervenção solidária na realidade, respeitando os valores humanos e considerando a diversidade sociocultural (Martino, Krajewski, Júnior & Pastore, 2005).

Formadas por habilidades de pensamento (operações mentais) e estruturas de conhecimento (esquemas mentais), as competências da matriz do ENEM têm como fundamento o conceito de inteligência da teoria de Piaget, segundo a qual inteligência é a capacidade de formar relações de caráter reversível, cada vez mais complexas e abstratas. Segundo essa teoria, por meio da inteligência o ser humano é capaz de lidar com o novo de forma não superficial e estabelecer projeções criativas sobre os fenômenos e os objetos do mundo (Macedo, 2005a; 2005b; 2005c).

Devido ao foco no raciocínio, o ENEM postula princípios para a elaboração de suas provas. Segundo Fini (2005), todos os itens devem ser pautados pela condição de mobilizar situações-problema em que o enunciado e as demandas postas nas questões gerem desafios suficientes aos participantes, de forma a contemplar um problema efetivo a ser resolvido. Qualquer item deve oferecer as informações necessárias para as tomadas de decisão necessárias à resolução do problema proposto. As alternativas de resposta devem possuir coerência com o processo envolvido na resolução do problema, de modo a corresponder a respostas parciais para o problema ou erros previstos no processo.

Analisando-se as características dos itens da prova do ENEM, percebe-se o foco na capacidade de pensar. O aluno deve centrar-se em processos de interpretação de novos contextos, ao invés de preocupar-se exclusivamente em relembrar conceitos e procedimentos já aprendidos, na medida em que as informações estão disponibilizadas dentro do problema (Vianna, 2003). Nesse sentido, o ENEM pretende verificar se o aluno que finaliza a educação básica é capaz de pensar de forma abstrata, raciocinar e aplicar seu conhecimento, assim como verificar se a educação brasileira tem possibilitado uma formação discente capaz de atingir esse objetivo.

Conforme já argumentado, a prova do ENEM tem como um dos motivos fomentar mudanças na qualidade do ensino praticado pelas escolas brasileiras. É perceptível que esse exame tem causado impacto gradativo no trabalho docente (Zanchet, 2007). Do ponto de vista mercadológico, as escolas particulares têm utilizado um ranking que posiciona as escolas a cada ano, em termos do desempenho dos seus alunos no ENEM. Esse ranking é utilizado para fins de propaganda e divulgação da qualidade do ensino da escola (Castro, 2009). Implícita a esse "ranqueamento" está a ideia de que escola boa é aquela cujos alunos têm um bom rendimento no ENEM. Do ponto de vista pedagógico, essa ideia não é necessariamente ruim, na medida em que se espera que um bom desempenho no ENEM se articule a um bom desenvolvimento da habilidade de raciocinar e pensar em termos abstratos.

Um aspecto importante mas ainda pouco explorado pela sociedade brasileira diz respeito à relação entre o ensino oferecido pela escola e sua articulação com o compromisso de oferecer ao aluno uma boa formação. Através do Exame Nacional do Ensino Médio, o Brasil passou a possuir princípios e critérios nacionais do que seja uma boa formação do estudante que finaliza a educação básica. Pelas vias do ENEM, a sociedade possui parâmetros objetivos para verificar se as escolas têm oferecido uma formação adequada aos estudantes brasileiros. Em outras palavras, a partir do ENEM a sociedade ganha poder de cobrança. Em termos práticos, a sociedade pode analisar uma nota baixa no Exame Nacional do Ensino Médio como um indicador da incompetência do sistema educacional em fornecer formação adequada ao aluno que finaliza a educação básica.

As condições apontadas são corroboradas por Martin (1998). Ele define que uma boa avaliação deve focar o desenvolvimento do aluno e avaliar os resultados gerados por programas de intervenção de largo alcance, com metas bem-definidas entre os diversos agentes envolvidos. Se as avaliações escolares têm relação com os postulados do ENEM, então elas devem servir como um indicador sobre como a escola tem participado do processo de desenvolvimento do estudante, em nível da sua formação básica. Martin (1998) salienta a importância de as avaliações serem objetivas, bem-elaboradas, construídas e validadas. Ele é contrário ao uso irrestrito da percepção das pessoas sobre a formação dos estudantes. Segundo ele, opiniões não são dados confiáveis, porque são carregadas fortemente por fatores subjetivos, sentimentos, vieses e outros processos psíquicos que não indicam o fenômeno visado. Confiar fortemente em opiniões significa obter dados inválidos, não adequados ao propósito de identificar a ocorrência de padrões de qualidade. Na melhor das hipóteses, opiniões são bons indicadores do grau de satisfação do cliente. Martin (1998) também defende que as avaliações não devem punir o professor. Em vez de atribuir a "culpa" ou a causa a algum agente específico, como o professor, a avaliação escolar deve ser utilizada para verificar a qualidade das estruturas presentes na escola e como essas estruturas têm permitido ao professor trabalhar e interferir na qualidade da formação do aluno. Neste sentido, ao avaliar o desempenho do aluno, as escolas teriam por missão fornecer bons indicadores sobre o desenvolvimento discente e buscar compreender como as estruturas da própria escola têm contribuído para um bom trabalho docente e uma formação adequada do estudante.

Os argumentos de Martinson (2000) complementam as ideias presentes em Martin (1998). Segundo Martinson (2000), a qualidade da avaliação escolar é bem trabalhada quando há uma efetiva discussão da missão da escola. Ele explica que um bom trabalho só pode ser definido dentro de um contexto. Bom trabalho é um juízo de atribuição que deve ser claramente declarado pela comunidade que compõe a instituição de ensino. A partir da comunhão de valores e expectativas, indicadores devem ser construídos de modo a garantir à comunidade escolar um bom acompanhamento sobre o processo de efetivação das metas a serem alcançadas. Tanto quanto a missão da escola, também os direitos e deveres da escola e dos estudantes devem ser bem definidos. Toda avaliação escolar deveria, em tese, ser um indicador que mobilizasse esforços educacionais por parte da escola e por parte do alunado e seus responsáveis.

Do ponto de vista da gestão escolar, ter o aluno e seus responsáveis como clientes implicaria obrigatoriamente em educar os clientes por meio da definição de algumas regras de relação. Martinson (2000) defende o argumento de que regras claras e bem-definidas, que não firam princípios éticos fundamentais e sejam construídas pela própria comunidade, garantem uma melhor relação entre os atores da comunidade e estabelecem com maior democracia os indicadores de qualidade, definidores do "bom" trabalho da escola. Articulado a isso, ele defende a necessidade de resgate da integridade acadêmica do professor e uma avaliação escolar cujo foco não sejam o imediatismo e a necessidade de agradar ao cliente a todo o custo. Segundo ele, uma comunidade escolar sadia deve se comprometer coletivamente com o desenvolvimento do estudante.

Os argumentos sustentados por Martin (1998) e Martinson (2000) expõem uma perspectiva de relação entre a avaliação escolar e a qualidade do serviço educacional. Estes pesquisadores não têm um ponto de vista que enfatize o cliente ou o mercado, em detrimento da qualidade - ao contrário, eles sustentam uma posição de conciliação. Eles consideram a necessidade de uma avaliação da qualidade dos serviços educacionais prestados que leve em conta o que é realmente importante do ponto de vista educacional. Eles afirmam que a avaliação não deveria ter como eixo a necessidade de agradar ao cliente. Ao contrário, deveria se basear em pressupostos fundamentais que alicerçam a missão institucional. Em outras palavras, a avaliação escolar deveria ser uma ferramenta capaz de mostrar à comunidade escolar se a missão institucional está sendo bem trabalhada pela escola.

A ausência de relação entre o raciocínio e as notas escolares dificulta que os postulados apontados por Martin (1998) e Martinson (2000) sejam efetivados. É no mínimo incongruente que uma escola valorize os resultados de seus alunos no ENEM e ao mesmo tempo possua um sistema de notas escolares que não valoriza os princípios básicos do próprio ENEM: foco no raciocínio e na capacidade de pensar de forma abstrata.

Em função das mudanças trazidas pelos princípios e critérios presentes no ENEM, à medida que as escolas brasileiras têm buscado atingir esses princípios por meio de ações variadas, uma questão importante envolve compreender se a avaliação do aluno realizada pela própria escola se articula a esses princípios. Ao formular essa questão, pergunta-se se a avaliação feita pela escola, em algum grau, acessa os princípios da boa formação postulados pelo Exame Nacional do Ensino Médio.

Pode-se postular que as escolas que avaliam o aluno de maneira articulada com os princípios do ENEM valorizam o raciocínio. Ao valorizar o raciocínio e enfatizá-lo em sua avaliação, a escola oferece ao estudante e seus responsáveis um indicador mais válido a respeito da qualidade da sua formação, em termos dos princípios e critérios estabelecidos em nível nacional. Ao mesmo tempo, ao oferecer um melhor indicador, a escola também informa mais adequadamente se tem sido capaz de alterar a rota do desenvolvimento do raciocínio do estudante, quando essa rota não satisfaz. Segundo Gomes e Borges (2009a), há evidências favoráveis de que as provas do ENEM prioritariamente mensuram o raciocínio. Esses autores encontraram evidências de que os escores de uma amostra de estudantes do Ensino Médio referentes à prova de 2001 do ENEM foram explicados, na maior parte da sua variância, pela habilidade de resolver problemas alicerçada principalmente no raciocínio.

O presente artigo busca avaliar a qualidade das notas de duas escolas da cidade de Belo Horizonte, Minas Gerais. Uma dessas escolas é uma instituição de ensino médio da rede federal de ensino, reconhecida por ser uma escola técnica que possui uma seleção competitiva e apresenta um ensino de caráter mais construtivista. A segunda escola é uma instituição particular voltada para o mercado e apresenta um ensino mais tradicional, focado na transmissão do conteúdo. Ao escolher duas escolas com contextos diferentes, pretende-se verificar se as notas escolares presentes nessas instituições oferecem aos estudantes e seus responsáveis um bom indicador a respeito da qualidade da formação discente estabelecida pelos princípios do ENEM.

Para isso serão relatados dois estudos. Ambos investigam a relação entre a inteligência fluida (Gf), o rendimento nas notas e uma competência escolar geral (CEG). A inteligência fluida corresponde à capacidade das pessoas de aprender coisas novas que requerem pouco conhecimento prévio e de resolver problemas com maior teor de conteúdo abstrato. O raciocínio é um dos componentes da inteligência fluida (Gf). A competência escolar geral indica uma capacidade genérica de aprendizagem dos estudantes que explica o desempenho nas notas de todas as matérias escolares. O primeiro estudo investiga a relação entre Gf e CEG na instituição federal de Ensino Médio e o segundo investiga a mesma relação na instituição privada. Para fins de comparação, foram utilizados em ambos os estudos os mesmos instrumentos e os mesmos métodos de análise e tratamento de dados.

ESTUDO 1

Participantes

São analisados os dados de 230 estudantes de uma escola de Ensino Médio da rede federal de ensino da cidade de Belo Horizonte, Minas Gerais, obtidos no ano de 2006. Quanto ao gênero, 107 (46,50%) participantes eram do sexo feminino. A idade variou entre 14 e 20 anos. De 21 alunos não foi possível saber a idade; 27 (11,70%) tinham 14 anos, 70 (30,40%) tinham 15 anos, 66 (28,70%) tinham 16 anos, 35 (15,20%) tinham 17 anos, seis (2,60%) contavam 18 anos, três (1,30%) tinham 19 e dois alunos (0,90%) tinham 20 anos. Predominaram alunos da primeira série (52,60%). Os alunos da segunda série compuseram 28,30% dos participantes e os alunos da terceira série, 19,10%.

Instrumentos

Foi utilizado o Conjunto de Testes de Inteligência Fluida, constituído de três testes, descritos a seguir: teste de indução (I), teste de raciocínio lógico (RL) e teste de raciocínio geral (RG). Gomes e Borges (2009b) identificaram, com sua aplicação, boas propriedades psicométricas em uma amostra de estudantes do Ensino Médio.

O teste de indução (I) se constitui de 12 itens e tem um tempo-limite de 14 minutos para sua execução. Cada item é composto por cinco grupos de quatro letras. Entre os cinco grupos há quatro que apresentam um mesmo padrão e uma mesma regra de organização de suas letras. O respondente deve identificar o grupo que não apresenta esse padrão e marcá-lo com um x.

O Teste de Raciocínio Lógico (RL) é composto de 30 itens e tem um tempo-limite de 24 minutos para sua execução. Cada item é formado por uma conclusão proveniente de duas premissas lógicas que não têm nenhuma relação com o mundo. O objetivo é o respondente indicar se a conclusão presente no item é adequada ou inadequada às suas premissas. O respondente deve marcar uma de duas opções dadas.

O teste de raciocínio geral (RG) constitui-se de 15 itens e o tempo-limite para sua execução é 18 minutos. Cada item é formado por um problema lógico-matemático, composto por um enunciado e um espaço para sua resolução. O respondente deve interpretar o enunciado, resolver o problema e escolher uma das cinco opções de resposta do conjunto de múltiplas escolhas.

O questionário sociodemográfico utilizado inclui solicitação de informações sobre gênero, idade e série. O item "notas escolares dos estudantes" compreende as notas anuais dos participantes nas disciplinas de química, física, matemática e português.

Coleta e análise de dados

Os testes foram aplicados conjuntamente, de forma coletiva, sempre por psicólogos ou estudantes de psicologia devidamente treinados. Foram tomados todos os cuidados éticos em relação aos participantes e a pesquisa contou com a aprovação do Comitê de Ética da UFMG (n. ETIC 181/06).

As notas escolares apresentavam o desempenho anual do estudante em cada disciplina do currículo e podiam variar de zero a 100 pontos e foram dispostas em cinco categorias: zero - notas menores do que 60 pontos; um –notas entre 60 e 69 pontos; dois – notas entre 70 e 79); três - notas de 80 a 89; e quatro - notas de 90 a 100 pontos.

Para identificar a relação entre Gf e CEG foi utilizado o modelamento por equação estrutural, através do software Amos 16. Foram usados os índices CFI e RMSEA para verificar se as relações estipuladas pelo modelo de relações estruturais tinham bom grau de ajuste aos dados. O modelo era considerado adequado se possuísse CFI igual ou superior a 0,90 e RMSEA igual ou inferior a 0,08 (Byrne, 2001). Para identificação dos traços latentes do modelo foram utilizadas as seguintes variáveis: Os testes RL, RG e I foram definidos como marcadores de Gf; as notas em português, matemática, física, química e biologia foram definidas como marcadores da competência escolar geral.

Para averiguação do intervalo de confiança das cargas fatoriais obtidas no modelo foi realizado o procedimento de bootstrapping, através do método Monte Carlo, com intervalo de confiança de 90%. Esse procedimento foi feito pelo software Amos 16.

Resultados

O modelo estipulado e avaliado mediante o modelamento por equação estrutural define as relações expressas a seguir. A inteligência fluida (Gf) explica diretamente a variância das respostas dos participantes nos testes RL, I e RG. A competência escolar geral (CEG) explica a variância das notas escolares. Gf explica diretamente tanto a competência escolar geral como as notas em português e física. Gf explica indiretamente todas as notas escolares. Há uma covariação entre as notas em português e biologia. A variância do erro da medida em RL é a mesma variância do erro da medida em RG. A figura 1 apresenta o modelo e as cargas fatoriais das relações diretas entre os traços latentes e as variáveis observáveis.

O modelo descrito possui satisfatório grau de ajuste aos dados (χ²= 33,27, gl= 17, CFI= 0,98, RMSEA= 0,06). Do ponto de vista da relação entre Gf e o desempenho escolar, há algumas conexões. Uma delas é significativa, tanto do ponto de vista estatístico, como do ponto de vista do seu poder explicativo. Ela envolve a correlação entre Gf e CEG. A competência escolar geral dos estudantes é explicada em 27,30% de sua variância por Gf. O bootstrapping de 1000 casos e intervalo de confiança de 90% indica que a carga fatorial entre Gf e CEG varia entre 0,42 e 0,62, de forma que Gf explica a competência escolar geral entre 17,30% e 38,50%, o que é uma variância considerável, do ponto de vista de sua magnitude. Gf apresenta uma relação direta positiva com português e negativa com física. Essas relações diretas, apesar de estatisticamente significativas, são pouco importantes do ponto de vista de sua magnitude. As cargas fatoriais presentes não ultrapassam 0,30.

Há uma relação indireta de Gf com todas as notas escolares, medida pela competência escolar geral. Essa relação é estatisticamente significativa e pode ser considerada relevante do ponto de vista de sua magnitude. A carga fatorial de Gf em português é de 0,49 e varia entre 0,39 e 0,58 (bootstrapping de 1000 casos com um intervalo de confiança de 90%). A carga fatorial de Gf em matemática é de 0,44 e um intervalo de 0,34 a 0,53. Gf apresenta carga fatorial de 0,48 em química e intervalo de 0,38 a 0,57. Gf possui carga fatorial de 0,44 em biologia, variando entre 0,34 e 0,52. Gf apresenta carga fatorial de 0,34 em física e um intervalo entre 0,22 e 0,44.

ESTUDO 2

Participantes

Foram analisados os dados de 273 alunos do Ensino Médio de uma instituição particular de Belo Horizonte, Minas Gerais, obtidos no ano de 2008. 53,80% dos participantes eram do gênero feminino, com idade variando entre 12 e 18 anos (m = 15,86 e dp= 1,04). O número de participantes por série foi equilibrado. A primeira apresentou 33,00% do total da amostra, a segunda série apresentou 34,40% e a terceira série, 32,60% da amostra.

Instrumentos

Os instrumentos utilizados no segundo estudo foram os mesmos do primeiro estudo. Uma única diferença ocorreu: não foram selecionados todos os itens dos testes RL, I e RG, mas um conjunto de itens de cada um desses testes. A opção por diminuir os itens deveu-se à logística da aplicação e ao menor tempo disponível para aplicação coletiva nas turmas da instituição escolar. As versões resumidas foram elaboradas de forma que cada teste não perdesse a distribuição original, em termos do intervalo da dificuldade dos itens. Para isso foi realizada uma análise da escala de cada teste, através da família de modelos Rasch. Por limitações de espaço esse procedimento não será relatado neste artigo. A versão resumida do teste I e do teste RG foi montada com oito itens de cada teste original. A versão resumida do teste RL foi elaborada com 11 itens do original. O tempo-limite para resolução de cada teste resumido foi ajustado em função da diminuição dos itens.

Coleta e análise de dados

Os procedimentos de coleta e análise de dados foram semelhantes ao primeiro estudo.

Resultados

O modelo estipulado pelo segundo estudo define as seguintes relações: 1) a inteligência fluida (Gf) explica diretamente a variância das respostas dos participantes nos testes RL, I, RG; 2) a competência escolar geral (CEG) explica a variância das notas escolares; 3) Gf explica diretamente a competência escolar geral e, indiretamente, todas as notas escolares; e 4) RG explica diretamente as notas em português. Além das relações apontadas, o modelo define que a variância do erro em RL é a mesma variância do erro em I, assim como há uma covariância entre as notas de matemática e português e as notas de matemática e biologia.

O modelo descrito possui satisfatório grau de ajuste aos dados (χ²= 14,20, gl= 17, CFI= 1,00, RMSEA= 0,00). A relação entre Gf e o desempenho escolar é relativamente semelhante à encontrada no primeiro estudo. A carga fatorial entre Gf e CEG é de 0,57, com um intervalo entre 0,45 e 0,70. A carga fatorial de Gf em português é de 0,38 e varia entre 0,27 e 0,50. A carga fatorial de Gf em matemática é de 0,49 e possui um intervalo de 0,38 a 0,61. Gf apresenta carga fatorial de 0,50 em química, variando entre 0,40 e 0,62. Gf possui carga fatorial de 0,48 em biologia, variando entre 0,38 e 0,59. Gf apresenta carga fatorial de 0,51 em física e um intervalo de 0,40 a 0,62.

DISCUSSÃO

Pode-se concluir que não há discrepância entre a qualidade das notas escolares da instituição do estudo um e da instituição do estudo dois. Ambos os resultados apontam uma associação entre o raciocínio discente e o desempenho acadêmico. Em ambos os estudos, Gf explica aproximadamente um terço da competência escolar geral. Quais as implicações desse resultado?

Em primeiro lugar, a existência da relação entre o raciocínio e as notas escolares indica que a capacidade de pensar de forma abstrata e aprender coisas novas que envolvem estruturas formais de pensamento tem influência no desempenho escolar dos alunos de ambas as instituições. Raciocinar bem faz diferença, independentemente de a escola adotar ou não um ensino de estilo mais construtivista ou transmissivo.

Em segundo lugar, a existência da relação entre raciocínio e notas escolares salienta uma boa qualidade da avaliação escolar como indicador da formação do estudante, em termos dos princípios nacionais estabelecidos. Ao elaborar avaliações escolares que se relacionem com o raciocínio, a escola oferece aos alunos e seus responsáveis a possibilidade de obter um indicador efetivo no que tange aos princípios do ENEM, e ao não privar o estudante dessa informação, ela o incentiva a se orientar adequadamente e regular o seu processo de aprendizagem a partir dos critérios e princípios nacionais. Da mesma maneira, possibilita a seus responsáveis verificar quanto a escola tem contribuído em sua formação.

Um resultado relevante deste estudo envolve a verificação de que escolas com perfis diferentes apresentaram um resultado bem semelhante a respeito do poder explicativo de Gf sobre a competência escolar geral. Cerca de um terço da variância de CEG é explicado por Gf, o que, aliás, pode ser considerado uma boa fatia. De fato, não há problema e é até bom que as notas não sejam inteiramente explicadas pelo raciocínio. Além deste, a motivação, o empenho, o engajamento, a responsabilidade, entre outros fatores, podem e devem ser avaliados e valorizados pela escola. Por outro lado, há um problema quando as notas escolares não possuem nenhuma relação com o raciocínio, o qual não é apenas de ordem pedagógica ou de gestão escolar, mas de ambas as ordens.

Se as escolas apresentaram uma boa qualidade do ponto de vista da sua articulação com os princípios do ENEM, pode-se argumentar que essa condição é necessária, mas não suficiente. É necessária, no sentido de que sem essa associação não se pode articular a avaliação realizada pela escola aos princípios nacionais; por outro lado, ela não é suficiente por não informar a respeito da trajetória de desenvolvimento dos alunos. Atualmente, não é um processo fácil comparar as notas escolares das diversas séries cursadas por um aluno. Conforme já argumentado na introdução deste artigo, semelhantemente ao ENEM, as notas escolares não podem ser comparadas diretamente de ano para ano. Da mesma maneira, não se podem comparar diretamente as notas de um estudante de um ano para o outro. Em algumas situações, tirar 70 pontos em um ano é mais difícil e requer mais aprendizagem e conhecimento do que tirar 90 pontos no ano anterior ou posterior. Para esses desafios, é necessário que as escolas venham a incorporar em seu sistema de avaliação instrumentos de medida e estratégias de tratamento de dados mais sofisticados.

Do ponto de vista da gestão e política das instituições, possuir uma avaliação que se articule à inteligência é também uma condição necessária, mas não suficiente. O fato de haver uma relação entre as notas escolares e a inteligência fluida não vincula obrigatoriamente a escola a uma política de ação relacionada ao desenvolvimento da inteligência. É possível que a escola seja apenas capaz de avaliar, mas não de intervir. Além disso, conforme os argumentos de Martin (1998) e Martinson (2000), a escola pode utilizar essas informações de maneira a não promover o amadurecimento da comunidade escolar e a construção de metas palpáveis de médio e longo prazo.

Conforme argumentado, o ENEM tem causado impacto gradativo no trabalho docente (Zanchet, 2007) e um forte impacto mercadológico (Castro, 2009). Para que as mudanças tenham qualidade educacional é relevante que a avaliação articulada ao raciocínio se vincule a metas e programas de ensino voltados ao desenvolvimento da inteligência (competências) dos estudantes, sob pena de a educação brasileira avaliar relativamente bem e atuar muito mal. Vianna (2003), Fini (2005), entre outros, oferecem uma dica interessante ao ensino brasileiro, justamente mostrando a estrutura da avaliação do ENEM. No ENEM, ao invés de preocupar-se exclusivamente em relembrar conceitos e procedimentos, o aluno deve focar sua atenção e esforço em compreender o problema e formar relações, já que as informações estão disponibilizadas dentro do problema. Por sua vez, o ensino atual prototípico possui uma estrutura que prioriza a informação no lugar da construção e transformação da informação. A partir da reflexão sobre a estrutura dos itens do ENEM e sua proposta, é possível à educação brasileira repensar os programas e atividades presentes nas suas escolas, de forma a incentivar novas maneiras de ensinar. Essa condição, articulada a uma avaliação coerente, parece ser uma possibilidade importante a um país que necessita melhorar de forma intensiva o nível educacional do seu povo.

Recebido em 25/10/2009

Aceito em 05/08/2010

• Brasil. Ministério da Educação e Cultura. (1998). ENEM: documento básico. Brasília, DF: autor.
• Brasil. Ministério da Educação e Cultura. (2000). ENEM: documento básico. Brasília, DF: autor.
• Brasil. Ministério da Educação e Cultura. (2001). ENEM: relatório. Brasília, DF: autor.
• Brasil. Ministério da Educação e Cultura. (2009). Ministro propõe novo Enem como forma de acesso a universidades federais. Recuperado em 5 de Outubro de 2009 de http://portal.mec.gov.br/index.php?option=com_content&view=article&id=12692&Itemid=86
• Byrne, B. M. (2001). Structural equation modeling with AMOS: basic concepts, applications, and programming. Mahwah, NJ: Lawrence Erlbaum.
• Castro, C. M. (2009). Mercado é coisa de satanás? Revista Iberoamericana de Educação, 49, 103-134.
• Condeixa, M. C. G., Murrie, Z. De F., Dias, M. da G. B. B. & Carvalho, R. P. de. (2005). Competência I. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp.71-74). Brasília, DF: autor.
• Fini, M. E. (2005). Erros e acertos na elaboração de itens para a prova do ENEM. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp. 101-106). Brasília, DF: autor.
• Gomes, C. M. A. & Borges, O. N. (2009a). O ENEM é uma avaliação educacional construtivista? Um estudo de validade de construto. Estudos em Avaliação Educacional, 20(42), 73-88.
• Gomes, C. M. A. & Borges, O. N. (2009b). Qualidades psicométricas do Conjunto de Testes de Inteligência Fluida. Avaliação Psicológica, 8(1), 17-32.
• Guimarães, R. B. (2005) O ENEM, as ciências humanas e suas tecnologias. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp. 65-68). Brasília, DF: autor.
• Macedo, L. de, Teixeira, L. R., Ferreira, E. S. & Andrade, D. F. de. (2005). Competência III. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp.79-88). Brasília, DF: autor.
• Macedo, L. de. (2005a). Competências e habilidades: elementos para uma reflexão pedagógica. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp. 13-28). Brasília, DF: autor.
• Macedo, L. de. (2005b). A situação-problema como avaliação e como aprendizagem. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp. 29-36). Brasília, DF: autor.
• Macedo, L. de. (2005c). Propostas para pensar sobre situações-problema. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp. 37-39). Brasília, DF: autor.
• Machado, N. J. (2005a). Interdisciplinaridade e contextuação. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp.41-53). Brasília, DF: autor.
• Machado, N. J. (2005b). Competência IV. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp.89-92). Brasília, DF: autor.
• Martin, J. R. (1998). Evaluating faculty based on student opinions: problems, implications and recommendations from Deming’s theory of management perspective. Issues in Accounting Education, 13(4), 1079-1095.
• Martino, M. C., Krajewski, A. C., Júnior, V. Q. G. & Pastore, F. (2005). Competência V. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp. 93-98). Brasília, DF: autor.
• Martinson, D. L. (2000). Student evaluations of teaching and their short term validity. Jounalism & Mass Communication Educator, 54(4), 77-82.
• Menezes, L. C. de, Gualtieri, R. C. E., Guimarães, R. B., Lisboa, J. C. F. & Kawamura, M. R. D. (2005). Competência II. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp.75-78). Brasília, DF: autor.
• Menezes, L. C. de. (2005). O ENEM e os objetivos educacionais da área das ciências da natureza, matemática e suas tecnologias no ensino médio. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp. 61-64). Brasília, DF: autor.
• Murrie, Z. de F (2005). A área de linguagens e códigos e suas tecnologias no ENEM. In Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Exame Nacional do Ensino Médio (ENEM): fundamentação teórico-metodológica (pp. 57-60). Brasília, DF: autor.
• Vianna, H. M. (2003). Avaliações nacionais em larga escala: análises e propostas. São Paulo: Departamento de Pesquisas Educacionais/Fundação Carlos Chagas.
• Zanchet, B. M. B. A. (2007). O Exame Nacional do Ensino Médio (ENEM): o que revelaram professores do ensino médio acerca dessa avaliação. Contrapontos, 7(1), 55-69.

Datas de Publicação

• Publicação nesta coleção
  24 Maio 2011
• Data do Fascículo
  Dez 2010

Histórico

• Recebido
  25 Out 2009
• Aceito
  05 Ago 2010