O que revelam os mapas conceituais dos meus alunos? Avaliando o conhecimento declarativo sobre a evolução do universo

What do the concept maps of my students reveal? Assessing declarative knowledge about the evolution of the universe

Resumo:

O uso de mapas conceituais (MCs) na avaliação apresenta dois aspectos importantes: o planejamento da tarefa a ser oferecida aos alunos e a forma de avaliação dos mapas. Quando bem planejados, o feedback do professor é oferecido rapidamente, contribuindo para o comprometimento dos alunos na revisão dos conteúdos a partir de problemas revelados pelos MCs. Nesse artigo, MCs foram avaliados comparativamente para identificar padrões de similaridade que caracterizem os níveis de conhecimento declarativo apresentados pelos alunos sobre a Astronomia e o desenvolvimento da ciência moderna. A avaliação envolveu um questionário e tarefa de mapeamento conceitual. As respostas revelaram cinco grupos com diferentes níveis de conhecimento conceitual e a análise dos MCs indicou que a proporção entre conceitos associados à astronomia clássica e à astronomia moderna, e a presença de conceitos finais múltiplos são indicadores do nível de conhecimento declarativo. Conhecer os obstáculos de aprendizagem ajuda o professor a adaptar as atividades da sua disciplina.

Palavras-chave:
Avaliação da aprendizagem; Mapa conceitual; Construção do conhecimento

Abstract:

The use of concept maps (Cmaps) in evaluation involves two important aspects: the planning of the task to be assigned to the students, and the strategy to evaluate the Cmaps. When well devised, teachers’ feedback is provided in a timely manner and contributes to students’ commitment to reviewing content based on problems revealed by the Cmaps. In this study, Cmaps were comparatively evaluated to identify patterns of similarity that characterize the levels of declarative knowledge presented by students about Astronomy and the development of modern science. The evaluation involved a questionnaire and a concept mapping task. The answers revealed five groups with different levels of conceptual knowledge, and the Cmaps analysis showed that the ratio between concepts related to classical Astronomy and those related to modern Astronomy, as well as the presence of multiple final concepts, are both indicators of the level of declarative knowledge. Knowing the obstacles to learning helps the teacher to adapt activities in his/her class.

Keywords:
Learning evaluation; Concept mapping; Knowledge construction

Introdução

Os mapas conceituais (MCs) são redes de proposições (conceito inicial − termo de ligação → conceito final) que expressam com clareza as relações conceituais (a Figura 1 ilustra esse fato). Isso permite julgar se tais relações estão de acordo com o conhecimento de referência e, se necessário, avaliar quais são as alterações que podem ser feitas para adequar o conteúdo expresso no mapa. A possibilidade de tornar visíveis as estruturas de conhecimento permite ao professor caracterizar o entendimento conceitual dos alunos sobre o tema em estudo, bem como acompanhar as alterações que elas sofrem ao longo do processo de ensino-aprendizagem (KINCHIN; HAY; ADAMS, 2000; NOVAK, 2010). Por esse motivo, o mapeamento conceitual vem sendo explorado cada vez mais por professores que buscam inovar a sua prática docente, sobretudo para desenvolver atividades relacionadas com a avaliação do conhecimento declarativo dos alunos (e.g., CORREIA et al., 2016; KINCHIN, 2016; SALMON; KELLY, 2015).

Figura 1
Mapa conceitual elaborado para responder “O que é preciso considerar para utilizar o mapeamento conceitual para fins avaliativos?”

O uso de MCs para fins avaliativos apresenta dois aspectos que não podem ser negligenciados: o planejamento da tarefa a ser oferecida aos alunos e a forma de avaliação dos mapas. A habilidade na técnica de mapeamento conceitual é desenvolvida com a prática e isso requer tempo. Portanto, é importante verificar se os alunos a serem avaliados compreendem os princípios fundamentais desse organizador gráfico. Nosso grupo de pesquisa já desenvolveu atividades de treinamento para que iniciantes na técnica se tornem bons mapeadores (AGUIAR; CICUTO; CORREIA, 2014; AGUIAR; CORREIA, 2013). A Teoria da Carga Cognitiva (AGUIAR; CORREIA, 2017; SWELLER; AYRES; KALYUGA, 2011) nos oferece um panorama teórico para compreender melhor os desafios que são impostos aos alunos quando solicitamos que eles façam seus MCs:

• Domínio da técnica de mapeamento conceitual, que é uma exigência relacionada com o formato da tarefa definida pelo professor. Uma carga extrínseca é imposta à memória de trabalho para lidar com as exigências relacionadas ao formato da tarefa.

• Domínio dos conceitos e das relações conceituais associadas ao tema em estudo, que é uma exigência relacionada com o conteúdo da disciplina. Uma carga intrínseca é imposta à memória de trabalho para lidar com as exigências relacionadas com o conteúdo propriamente dito.

Os recursos cognitivos da memória de trabalho são limitados e eles precisam ser suficientes para lidar com as cargas extrínseca e intrínseca, que são aditivas. Tarefas bem planejadas permitem aos alunos lidar com ambas as cargas e utilizar os recursos excedentes da memória de trabalho em atividades de manipulação e construção de esquemas conceituais (esses recursos são denominados recursos generativos). Nessas condições, a ocorrência da aprendizagem significativa é possível pois os esquemas conceituais prévios são alterados pelo aluno de forma profunda. Por outro lado, tarefas mal planejadas podem colocar os alunos em sobrecarga cognitiva, que ocorre quando os recursos da memória de trabalho são insuficientes para lidar com a tarefa (cargas extrínseca + intrínseca). Nesse caso, não sobram recursos da memória de trabalho para manipular/construir esquemas conceituais e os alunos cumprem a tarefa mecanicamente. O treinamento dos alunos na técnica de mapeamento conceitual ajuda a reduzir a carga extrínseca associada à tarefa, diminuindo a chance de eles entrarem em sobrecarga cognitiva (AGUIAR; CORREIA, 2017; CORREIA; AGUIAR, 2014).

O planejamento da tarefa também deve considerar a obtenção de MCs comparáveis, para que seja possível avaliá-los de forma comparativa. Cañas e colaboradores mostram que as tarefas de construção de MCs podem apresentar diferentes graus de liberdade considerando a estrutura e o conteúdo (CAÑAS; NOVAK; REISKA, 2012). Eles mostram que o compromisso entre liberdade e restrição do formato da tarefa pode ser variado em um continuum que prevê a liberdade total num extremo (e.g., faça um MC sobre o que quiser, como quiser) e ausência de liberdade no outro extremo (e.g., decore o MC feito pelo professor). O estabelecimento dos parâmetros de elaboração dos MCs durante a avaliação (e.g., tempo, quantidade de conceitos, tema etc.) é importante para que os alunos trabalhem sob condições semelhantes, ainda que isso restrinja um pouco a liberdade dos mapeadores em termos de conteúdo e estrutura. A comparação de MCs construídos a partir de temas genéricos (e.g., faça um MC sobre o universo) permite variações no tempo de elaboração, na quantidade de conceitos e no escopo dos MCs (vários subtemas podem ser explorados a partir do “universo”), dificultando qualquer tipo de comparação entre o desempenho dos alunos.

A forma de avaliação dos mapas é outro desafio a ser considerado pelo professor. Diferente do que acontece com as questões fechadas e os exercícios que envolvem cálculos, a correção de MCs feitos por alunos consome tempo porque não é possível criar um gabarito único contendo a resposta certa (McCLURE; SONAK; SUEN, 1999; RUIZ-PRIMO; SHAVELSON, 1996). A riqueza contida nos MCs impõe o seu preço e é preciso investir tempo para extrair informações relevantes e úteis para o professor formular a sua correção comentada. Idealmente, a leitura atenta de todo o MC deve ser feita para identificar as:

• Proposições corretas, que são conceitualmente aceitáveis.

• Proposições incorretas, que precisam ser corrigidas (geralmente ajustando-se o termo de ligação).

• Proposições imprecisas, que precisam ser melhoradas porque não apresentam clareza (não é possível avaliá-las quanto à correção conceitual).

• Proposições desnecessárias, que fogem ao tema/à pergunta focal do MC.

Ainda que forneça a maior quantidade possível de informações, a leitura completa de todos os MCs requer um tempo considerável que o professor pode não ter disponível dentro da sua rotina de trabalho (CORREIA; CABRAL; AGUIAR, 2016). A análise da estrutura da rede proposicional (CORREIA; AGUIAR, 2017; KINCHIN; HAY; ADAMS, 2000) e dos conceitos utilizados pelos alunos são formas mais rápidas de avaliar os MCs, ainda que não se produza tantas informações. Por outro lado, o feedback do professor pode ser oferecido rapidamente (entre uma aula e outra) aos alunos, contribuindo para que eles se comprometam a revisar os conteúdos estudados para melhorar seus MCs. Nesse contexto, aumentam as chances de os alunos aprenderem significativamente (CORREIA; CABRAL; AGUIAR, 2016). A Figura 1 apresenta um MC que organiza os principais argumentos apresentados na introdução, destacando o papel do feedback do professor no processo de avaliação do conhecimento conceitual.

O objetivo desse trabalho foi avaliar MCs comparativamente para identificar padrões de similaridade que caracterizem os diferentes níveis de conhecimento declarativo apresentados pelos alunos. Para isso, a avaliação envolveu um questionário de múltipla escolha além da tarefa de mapeamento conceitual.

Procedimentos de Pesquisa

Contexto da pesquisa e coleta de dados

Os dados (MCs e questionários) foram coletados durante as aulas da disciplina ACH0131 Ciências da Natureza: Ciência, Cultura e Sociedade (CN), ministrada aos alunos ingressantes (25 ±7 anos) na Escola de Artes, Ciências e Humanidades (EACH) da Universidade de São Paulo (USP), na cidade de São Paulo no 1º semestre de 2013. O objetivo da disciplina é discutir a natureza da ciência e as inter-relações entre a ciência, a tecnologia, a sociedade e o ambiente considerando uma abordagem Ciência, Tecnologia, Sociedade e Ambiente (CTSA) (ARAÚJO; FORMENTON, 2012; AULER, 1998; BYBEE; FUCHS, 2006; CORREIA et al., 2010; HOLBROOK; RANNIKMAE, 2007; SANTOS, 2009). Para isso, 15 aulas de 100 minutos são organizadas em 3 blocos temáticos: (1) astronomia e o desenvolvimento da ciência moderna; (2) mudanças climáticas e o desafio dos “wicked problems”; e, (3) avanços da biologia molecular e dilemas bioéticos. A Figura 2 apresenta esquematicamente a organização geral da disciplina CN, destacando que as aulas iniciais contemplam um período de treinamento na técnica de mapeamento conceitual. É indispensável introduzir os alunos aos MCs, sem supor que eles já compreendam adequadamente os fundamentos desse organizador gráfico (AGUIAR; CICUTO; CORREIA, 2014; AGUIAR; CORREIA, 2013; CORREIA; AGUIAR, 2017). A coleta de dados ocorreu durante a primeira avaliação formal da disciplina (aula 5), quando os alunos produziram MCs individualmente e responderam a um questionário (Q). O Quadro 1 relaciona os materiais de estudo que foram considerados nas aulas 1-4 da disciplina CN.

Figura 2
Organização geral da disciplina CN, com destaque para o treinamento em mapas conceituais (aulas 1-4) e a coleta de dados durante a 1ª prova da disciplina

Quadro 1
Materiais de estudo utilizados durante o bloco temático sobre astronomia e o desenvolvimento da ciência moderna

Material de estudo	Foco conceitual	Formato		Aula	Categoria
		Texto	Vídeo
Boas e más razões para acreditar 3	Introdução ao pensamento científico	X		2	Cat-I
A Terra imóvel 4	Revolução científica a partir de eventos do século XVI	X		3	Cat-II
O nascimento da ciência 5	Contexto social da época em que ocorre a revolução científica		X	3	Cat-II
Uma nova astronomia 5	Contribuições de Kepler e Brahe para o avanço da Astronomia		X	3	Cat-II
O Ovo Cósmico 4	A evolução da nossa compreensão sobre o universo até os dias atuais	X		4	Cat-III
O Big Bang 5	As relações entre os cientistas e o caso de Ralph Alpher		X	4	Cat-III

• ³
  Dawkins, R. O capelão do diabo. São Paulo: Companhia das letras, 2005.
• ⁴
  Brody, D. E.; Brody, A. R. As sete maiores descobertas científicas da história e seus autores. São Paulo: Companhia das letras, 1999.
• ⁵
  Poeira das estrelas, vídeo disponível em: https://www.youtube.com/channel/UCUSzpYlUKwCGdtH3xA517oA. Acesso em: 12 ago. 2019.
Fonte: elaborada pelos autores

Julgamento das afirmações do questionário

Um questionário (alfa de Cronbach = 0,896) contendo 34 afirmações relacionadas aos temas estudados foi apresentado aos alunos. As afirmações se distribuíam da seguinte forma:

• 11 afirmações sobre o “pensamento científico” (Cat-I), relacionadas com as discussões introdutórias sobre a Ciência e a sua forma de funcionamento.

• 13 afirmações sobre a “astronomia clássica” (Cat-II), relacionadas com a evolução histórica da Astronomia, desde a revolução científica até meados do século XIX, reunindo conteúdos frequentemente discutidos no Ensino Médio.

• 10 afirmações sobre a “astronomia moderna” (Cat-III), relacionadas com as descobertas astronômicas feitas a partir do final do século XIX, reunindo conteúdos raramente discutidos no Ensino Médio.

Afirmações conceitualmente corretas e incorretas compuseram o questionário, conforme ilustram os exemplos a seguir.

Exemplos de afirmações corretas

O universo é composto por aglomerados de galáxias.

A mídia ajudou na divulgação do Big Bang para a população em geral.

Exemplos de afirmações incorretas

Segundo os cientistas, a idade aproximada do universo é de poucos milhares de anos.

Os cientistas não têm evidências da ocorrência do Big Bang.

Os alunos deveriam expressar seu julgamento sobre cada afirmação assinalando uma das seguintes opções: discordo totalmente; discordo, mas só um pouco; concordo, mas só um pouco ou concordo totalmente. Uma 5ª opção (não sei, não quero responder) foi incluída para evitar respostas aleatórias.

Instruções para a elaboração do mapa conceitual

A Figura 3 reproduz a folha de prova que os alunos receberam para elaborar seus MCs. Eles tiveram 60 minutos para construir um mapa contendo 9 conceitos para responder a seguinte pergunta focal: “Como a ciência e a tecnologia influenciaram a compreensão da sociedade sobre o universo?”. O conceito inicial do MC (mais tecnologia) foi definido pelo professor e seu uso era obrigatório. Os demais retângulos foram disponibilizados para a inclusão de 8 conceitos de livre escolha dos alunos. Os círculos vermelhos foram reservados para os alunos vincularem os conceitos aos materiais de estudo utilizados durante as aulas 1-4, utilizando as letras A-F.

Figura 3
Instruções 1-4 (em verde) para a elaboração do MC, considerando a pergunta focal (em amarelo) definida pelo professor. Apesar de restringir a quantidade de conceitos (n = 9), os alunos tinham liberdade para estabelecer livremente as proposições (setas ligando as caixas de conceitos). A vinculação entre os conceitos e os materiais de estudo foi indicada nos círculos vermelhos utilizando letras (A-F).

Análise dos dados coletados

Pontuação das respostas ao questionário

O Quadro 2 apresenta o sistema de pontuação adotado para calcular o desempenho dos alunos no questionário. A equação (1) foi utilizada para calcular a nota no questionário (Nota Q), expressa entre 0 e 10. O denominador representa a pontuação máxima que pode ser obtida por um aluno quando n = 34.

Equação (1) $\mathrm{Nota}Q=\frac{\left(\mathrm{Total}\mathrm{de}\mathrm{pontos}\right)}{\left(2\times n\right)}x10$

Quadro 2
Sistema de pontuação utilizado para calcular o desempenho dos alunos no questionário

Resposta	Pontuação
	Afirmações conceitualmente corretas	Afirmações conceitualmente incorretas
Não sei, não quero responder	0	0
Discordo totalmente	-1	2
Discordo, mas só um pouco	-0,5	1
Concordo, mas só um pouco	1	-0,5
Concordo totalmente	2	-1

Fonte: elaborado pelos autores.

Além da Nota Q, calculou-se as notas Cat-I (n = 11), Cat-II (n = 13) e Cat-III (n = 10), alterando-se o denominador da equação (1) de acordo com a quantidade de afirmações existentes em cada caso. Essas variáveis, que refletem o desempenho dos alunos por categoria de conhecimento (Quadro 1), foram utilizadas para realizar a Análise Hierárquica de Agrupamentos (AHA) a partir de uma matriz 67 x 3. A AHA é uma análise multivariada de caráter exploratório (FIELD, 2009) cujo principal propósito é reunir objetos (nesse caso, os alunos) por sua similaridade em função das variáveis analisadas (nesse caso, as notas Cat-I, Cat-II e Cat-III). Para estabelecer os cálculos necessários à análise foram considerados a distância Euclidiana (definida como a raiz quadrada do somatório das distâncias entre dois pontos x e y no plano cartesiano de n-dimensões) e o método Ward/Incremental de iteração. Todas as análises foram feitas com auxílio do programa computacional Pirouette versão 4.5, (Infometrix Inc., Bothell, WA, EUA). A análise de variância (ANOVA) e o teste post-hoc de Tukey foram utilizados para comparar os valores médios dos grupos, a fim de identificar a existência de diferenças significativas entre eles (FIELD, 2009). Nesse caso, o programa IBM SPSS Statistics versão 22.0 (IBM Corporation, Armonk, NY, EUA) foi utilizado.

Análise da morfologia da rede proposicional

A Figura 4 mostra as estruturas típicas que os MCs podem apresentar: radial, linear e rede (CORREIA et al., 2016; KINCHIN; HAY; ADAMS, 2000). Ainda que esses exemplos sejam canônicos, a análise estrutural desenvolvida pelo nosso grupo de pesquisa permite avaliar MCs que apresentam características intermediárias entre esses tipos morfológicos (CORREIA; AGUIAR, 2017). Por esse motivo, a avaliação da morfologia da rede proposicional dos MCs elaborados pelos alunos foi feita a partir de 8 parâmetros estruturais: densidade proposicional (DP), conceitos iniciais (CI), conceitos iniciais múltiplos (CIM), conceitos finais (CF), conceitos finais múltiplos (CFM), conceitos iniciais e finais (CIF), conceitos exclusivamente iniciais (CEI) e conceitos exclusivamente finais (CEF). Os valores expressos nos resultados são relativos à quantidade de conceitos totais (C_T) existentes nos MCs (C_T = 9). Maiores detalhes sobre como os cálculos de cada parâmetro da análise morfológica podem ser encontrados na literatura (CORREIA; AGUIAR, 2017).

Figura 4
Estruturas típicas que os MCs podem apresentar: (a) radial, (b) linear e (c) rede. Os exemplos a seguir consideraram as especificidades da tarefa apresentada aos alunos (9 conceitos com distribuição espacial pré-definida). C_N: rótulos dos conceitos; TL: termo de ligação entre dois conceitos.

Os valores médios para os parâmetros da análise morfológica da rede proposicional foram calculados para os grupos identificados por AHA. A comparação das médias seguiu o procedimento descrito para os questionários.

Análise dos conceitos selecionados pelos alunos

A análise dos conceitos que os alunos selecionaram para elaborar seus MCs considerou o foco conceitual dos materiais de estudo. Todos os conceitos utilizados pelos alunos foram organizados numa lista e posteriormente classificados, de acordo com as categorias Cat-I, Cat-II e Cat-III (quadro 1). Cada MC foi descrito a partir da proporção entre conceitos das categorias Cat-I, Cat-II e Cat-III. A Tabela 1 mostra os valores obtidos para MCs hipotéticos, considerando que o número total de conceitos é igual a 9 (C_T = 9) nas condições do nosso estudo. Vale a pena destacar que essa análise permite identificar alunos que acionam preferencialmente esquemas conceituais vinculados aos conteúdos do Ensino Médio (A, na Tabela 1) e alunos que conseguem incluir conceitos relacionados à astronomia moderna (B e C, na Tabela 1). Os valores médios para os parâmetros da análise dos conceitos selecionados pelos alunos (Cat-I/C_T, Cat-II/C_T e Cat-III/C_T) foram calculados para os grupos identificados por AHA. A comparação das médias seguiu o procedimento descrito para os questionários.

Tabela 1
Valores para as variáveis que descrevem a análise dos conceitos selecionados pelos alunos, calculados para 3 MCs hipotéticos contendo 9 conceitos (C_T = 9).

MC	Conceitos I (Cat-I)	Cat-I /CT	Conceitos II (Cat-II)	Cat-II/CT	Conceitos III (Cat-III)	Cat-III /CT
A	3	0,33	6	0,67	0	0,00
B	2	0,22	3	0,33	4	0,44
C	1	0,11	5	0,56	3	0,33

Fonte: elaborada pelos autores.

Resultados e discussão

Análise do questionário

Os resultados da AHA indicaram a existência de 5 agrupamentos naturais de alunos (G1-G5), a partir das respostas dadas às afirmações do questionário. A Tabela 2 apresenta o valor médio para o desempenho dos alunos dos grupos G1-G5, considerando as afirmações relacionadas às categorias pensamento científico (Cat-I), astronomia clássica (Cat-II) e astronomia moderna (Cat-III). A comparação das médias permitiu a identificação de diferenças significativas entre os grupos, que foram representadas a partir de subgrupos nomeados com as letras A, B e C. A partir dessas informações, os grupos G1-G5 foram qualitativamente caracterizados da seguinte forma:

• G1: Alunos que se destacaram nessa tarefa.

• G2: Alunos que foram bem, mas com pequena queda de desempenho na parte sobre pensamento científico e queda de desempenho na parte sobre astronomia moderna.

• G3: Alunos que foram bem, mas com queda acentuada de desempenho na parte sobre astronomia moderna.

• G4: Alunos que foram bem, mas com queda acentuada de desempenho na parte sobre astronomia clássica.

• G5: Alunos que foram mal, com desempenho abaixo da média nas 3 partes do questionário.

Tabela 2
Caracterização dos grupos G1-G5 identificados por AHA, a partir do desempenho dos alunos ao julgar as afirmações sobre pensamento científico (Cat-I), astronomia clássica (Cat-II) e astronomia moderna (Cat-III)

Categoria	G1 (n = 5)	G2 (n = 29)	G3 (n = 16)	G4 (n = 9)	G5 (n = 8)	Todos (n = 67)
Cat-I	7,8±0,5	6,7±0,8	8,0±0,9	7,5±0,8	5,0±0,5	7,0±1,2
Subgrupo Cat-I	A	B	A	A	C	-
Cat-II	9,7±0,3	8,9±0,7	8,7±0,8	6,7±0,5	6,9±2,1	8,4±1,3
Subgrupo Cat-II	A	A	A	B	B	-
Cat-III	8,7±0,4	6,6±0,8	5,0±0,8	6,7±0,9	4,2±0,8	6,1±1,4
Subgrupo Cat-III	A	B	C	B	C	-
Nota Q	8,8±0,3	7,5±0,5	7,4±0,6	7,0±0,5	5,5±0,9	7,3±1,0
Subgrupo Nota Q	A	B	B	B	C	-

Fonte: elaborada pelos autores.

É interessante notar que os alunos G1 (n = 5) apresentam desempenho bem acima da média e boa compreensão dos temas discutidos nessa parte da disciplina. Por outro lado, a maioria dos alunos teve dificuldades com os conceitos sobre astronomia moderna (G2, n = 29; G3, n = 16). O grupo G4 (n = 9) representa um caso curioso porque esses alunos tiveram dificuldades com os conceitos sobre astronomia clássica, frequentemente abordados no Ensino Médio. O grupo G5 (n = 8) é formado por alunos que apresentaram o pior desempenho, merecendo atenção especial por parte do professor.

Análise dos mapas conceituais

A Tabela 3 apresenta os resultados da análise da morfologia da rede proposicional e dos conceitos selecionados pelos alunos ao elaborar seus MCs. A comparação dos valores médios não indicou diferenças estatisticamente significativas entre os grupos e, portanto, não foi possível identificar subgrupos como no caso dos resultados para o questionário (Tabela 2). Mesmo assim, algumas tendências podem ser apontadas a partir das características dos grupos G1-G5.

Tabela 3
Resultados da análise dos MCs organizados em função dos grupos G1-G5 identificados por AHA

Análise	Variável	G1 (n = 5)	G2 (n = 29)	G3 (n = 16)	G4 (n = 9)	G5 (n = 8)	Todos (n = 67)
Morfologia da rede proposicional	DP	1,4±0,2	1,4±0,3	1,3±0,3	1,3±0,3	1,3±0,3	1,3±0,3
	CI	0,88±0,09	0,83±0,08	0,8±0,1	0,8±0,1	0,8±0,1	0,8±0,1
	CIM	0,4±0,1	0,4±0,1	0,3±0,1	0,3±0,2	0,3±0,2	0,3±0,2
	CF	0,89±0,07	0,89±0,09	0,88±0,06	0,90±0,09	0,92±0,08	0,89±0,08
	CFM	0,3±0,1	0,3±0,2	0,3±0,2	0,3±0,3	0,2±0,2	0,3±0,2
	CIF	0,76±0,09	0,7±0,1	0,7±0,1	0,7±0,1	0,7±0,2	0,7±0,1
	CEI	0,11±0,08	0,11±0,09	0,12±0,06	0,10±0,09	0,08±0,08	0,11±0,08
	CEF	0,13±0,09	0,17±0,08	0,2±0,1	0,2±0,1	0,2±0,1	0,2±0,1
Categoria do conceito	Cat-I	0,2±0,1	0,2±0,2	0,1±0,1	0,2±0,2	0,2±0,1	0,2±0,1
	Cat-II	0,4±0,1	0,5±0,1	0,5±0,1	0,5±0,2	0,6±0,2	0,5±0,2
	Cat-III	0,4±0,1	0,3±0,2	0,4±0,2	0,3±0,2	0,2±0,2	0,3±0,2

Fonte: elaborada pelos autores.

A densidade proposicional (DP) dos grupos com melhor desempenho no questionário (G1 e G2) é um pouco maior quando comparada aos demais grupos. Isso sugere que esses alunos se sentiram seguros para produzir mais proposições a partir dos 9 conceitos do que os seus colegas dos grupos G3-G5. Devemos nos lembrar de que esse MC foi utilizado na avaliação formal da disciplina e de que o risco de cometer erros conceituais cresce com o aumento de proposições declaradas pelo mapeador.

O grupo G5, que teve o pior desempenho no questionário, apresentou o menor valor para os conceitos finais múltiplos (CFM). Isso sugere que a articulação de vários conceitos iniciais com um mesmo conceito final depende do nível de entendimento do conteúdo a ser mapeado. Esse fato é coerente com a teoria da assimilação através da Aprendizagem e da Retenção Significativas proposta por Ausubel (AUSUBEL, 2000; MOREIRA, 2011; NOVAK, 2010). A reconciliação integrativa, que consiste na identificação de pontos comuns entre vários conceitos levando à formulação de proposições que apontam para um conceito integrador, é uma das formas pela qual a aprendizagem significativa pode ocorrer. Geralmente, ela sucede uma etapa inicial marcada predominantemente pela diferenciação progressiva, onde conceitos gerais são progressivamente detalhados em conceitos cada vez mais específicos.

A avaliação dos MCs mostrou que a morfologia da rede proposicional sofreu pouco impacto, mesmo com as diferenças de entendimento sobre o tema apresentadas pelos grupos G1-G5. As restrições impostas pela tarefa podem explicar, ainda que parcialmente, a ausência de variação nas estruturas dos MCs. No contexto dessa pesquisa, a elaboração do MC restringiu a possibilidade de os alunos escolherem a pergunta focal, a quantidade de conceitos, o conceito inicial e a distribuição espacial de conceitos (Figura 3). Isso tornou os MCs comparáveis entre si, o que é fundamental para viabilizar um estudo como esse. Por outro lado, tais restrições geraram uma “padronização” na estrutura dos MCs que contém 9 conceitos, respondem a mesma pergunta focal, possuem o mesmo conceito inicial e apresentam a mesma distribuição espacial de conceitos. O efeito global dessa padronização foi capturado pela nossa análise estrutural, por meio de valores médios que não apresentaram diferenças estatisticamente significativas. Estudos futuros podem aumentar a liberdade dos alunos, permitindo que eles escolham a quantidade de conceitos, a pergunta focal e/ou a distribuição espacial dos conceitos, para verificar se haverá diferenças na morfologia das redes proposicionais dos MCs produzidos.

A análise dos conceitos selecionados pelos alunos mostrou que a categoria associada ao pensamento científico (Cat-I) foi a menos acionada por todos os grupos (entre 10-20%). Esse fato pode ser explicado a partir da pergunta focal estabelecida pelo professor (Figura 3), que colocava mais ênfase na evolução da astronomia e nos seus efeitos sobre o nosso entendimento sobre o funcionamento do universo. Por outro lado, a proporção de conceitos Cat-II (astronomia clássica) e Cat-III (astronomia moderna) sugere algumas tendências, ainda que não tenham sido encontradas diferenças estatisticamente significativas entre as médias para os grupos.

A quantidade média de conceitos Cat-II aumenta para os grupos que apresentaram os piores desempenhos no questionário (Tabela 3). Enquanto os alunos do grupo G1 utilizaram 40% de Cat-II, os alunos G5 usaram 60% de conceitos relacionados à astronomia clássica. Esses conceitos são frequentemente abordados no Ensino Médio e, portanto, já fazem parte dos esquemas conceituais dos alunos. Se, os conceitos novos da disciplina não foram assimilados adequadamente, os alunos podem optar por utilizar seus esquemas conceituais estáveis, formados durante o Ensino Médio. Essa opção foi exercida em menor grau pelos alunos dos grupos G2-G4, e em maior grau pelos alunos do grupo G5 (60% de conceitos Cat-II).

Os conceitos sobre astronomia moderna (Cat-III) foram apresentados na aula 4 da disciplina (quadro 1), uma semana antes da prova. Ainda que a abordagem da disciplina seja qualitativa, os alunos tinham que incluir esses conceitos nos seus esquemas. A superação desse desafio pode ser verificada pela quantidade de conceitos Cat-III que os alunos utilizaram ao elaborar seus MCs. Os alunos com melhor desempenho no questionário (G1) utilizaram 40% de Cat-III nos seus MCs; já os alunos G5 usaram somente 20%. A maior utilização de conceitos como radiação cósmica de fundo, Big Bang e expansão do universo sinaliza que o mapeador teve segurança suficiente para incluir o conteúdo das discussões sobre astronomia moderna como parte da rede proposicional do seu mapa. O desempenho no questionário confirma que essa segurança, no caso do G1, se justifica pelo entendimento do tema.

O grupo G3 apresentou um resultado curioso: o uso de Cat-III foi elevado (40%), apesar de esses alunos terem um desempenho abaixo da média para astronomia moderna (Tabela 3). Uma explicação para esse fato é a possibilidade da aprendizagem significativa ser conceitualmente incorreta. Em outras palavras, os alunos provavelmente estudaram os novos conceitos e se esforçaram para integrá-los aos seus esquemas. Ainda que tudo tenha feito sentido para eles, as relações conceituais estavam incorretas (fato verificado a partir do questionário). A segurança de ter entendido bem o tema levou esses alunos a utilizar os conceitos Cat-III no MC (fato verificado a partir da análise dos conceitos selecionados pelos alunos), sem receio de cometer equívocos ao estabelecer as proposições.

A interpretação dos resultados para o grupo G3 é importante para destacar dois aspectos, sendo um teórico e outro prático. Do ponto de vista teórico, é fundamental compreender que a ocorrência da aprendizagem significativa não implica em aprender corretamente. É possível que os alunos aprendam significativamente relações conceituais inapropriadas, que fazem sentido para eles, mas estão incorretas a partir do ponto de vista do conhecimento de referência (AUSUBEL, 2000; MOREIRA, 2011; NOVAK, 2002, 2010). A partir disso, decorre o aspecto prático: o professor precisa utilizar os instrumentos avaliativos para detectar a ocorrência de situações desse tipo, a fim de fazer as intervenções necessárias para confirmar se há alunos que possuem relações conceituais inapropriadas incorporadas significativamente nos seus esquemas conceituais. Uma atividade específica com os alunos G3 pode ser elaborada pelo professor, para verificar como eles compreendem as relações entre os conceitos envolvidos nas discussões sobre a astronomia moderna.

Mapas conceituais para ilustrar casos de destaque

As Figuras 5-7 apresentam MCs elaborados pelos alunos para ilustrar padrões que merecem ser destacados. O MC da Figura 5 é de um aluno do grupo G5, que apresentou o pior desempenho no questionário (Tabela 2).

Figura 5
Mapa conceitual de um aluno do grupo G5. Morfologia da rede proposicional: DP = 0,88; CFM = 0. Conceitos selecionados pelo aluno: Cat-I = 2 (amarelo); Cat-II = 6 (azul); Cat-III = 1 (vermelho)

Figura 6
Mapa conceitual de um aluno do grupo G2. Morfologia da rede proposicional: DP = 2,11; CFM = 6 (caixas com linhas grossas). Conceitos selecionados pelo aluno: Cat-I = 4 (amarelo); Cat-II = 4 (azul); Cat-III = 1 (vermelho)

Figura 7
Mapa conceitual de um aluno do grupo G1. Morfologia da rede proposicional: DP = 1,22; CFM = 3 (caixas com linhas grossas). Conceitos selecionados pelo aluno: Cat-I = 1 (amarelo); Cat-II = 4 (azul); Cat-III = 4 (vermelho)

Esse MC revela um entendimento superficial do conteúdo discutido nas aulas 1-4 da disciplina CN, pois os conceitos selecionados são genéricos (ex. rapidez na pesquisa, descobrimentos científicos e desenvolvimento da sociedade humana) e pouco exploram a evolução da astronomia que foi abordada nos materiais de estudo. Os conceitos só sofrem diferenciações, ou seja, eles são progressivamente detalhados a partir do conceito inicial mais tecnologia. Não há nenhuma reconciliação, ou seja, não há nenhum conceito no MC com múltiplas setas apontando para ele. O resultado final é um MC com discurso simples, que o aluno poderia ter elaborado sem assistir às aulas da disciplina. A sequência de proposições 1-3 ilustra bem esse fato: mais tecnologia − promove → rapidez na pesquisa, rapidez na pesquisa − acelera → coleta de dados e coleta de dados − possibilita → novos resultados. Os esquemas conceituais que esse aluno construiu durante o Ensino Médio não foram alterados pelos materiais de estudo e pelas discussões feitas em sala de aula.

A Figura 6 apresenta um MC que foi feito por um aluno do grupo G2, que concentra 43% dos alunos que participaram desse estudo. Esse MC apresenta 19 proposições, o que sinaliza o desejo desse aluno em representar tudo o que ele sabe sobre o tema da avaliação.

Apesar de ser algo positivo, o mapeador mostra uma falta de seletividade que fica evidente para o professor: nem todas as 19 proposições são relevantes para responder à pergunta focal. Por exemplo, a proposição 2 (Ciência − acelera → Big Bang) está incorreta e a proposição 9 (cientista − experimenta → Ciência) está mal formulada - a relação entre esses conceitos não se expressa claramente com o uso do verbo experimentar. Há 3 conceitos finais múltiplos, que reconciliam vários outros conceitos do MC. É importante destacar que o MC da Figura 5 não apresentava conceitos finais múltiplos, que caracterizam a reconciliação integrativa. É interessante notar que esses conceitos (teoria, Ciência e mais tecnologia) foram introduzidos na disciplina durante as aulas que abordaram a astronomia clássica (Cat-II). O conceito Big Bang, que se relaciona com os conteúdos sobre astronomia moderna (Cat-III), aparece no MC. Porém, ele foi pouco explorado pelo aluno, visto que a proposição 2 está incorreta e a proposição 18 (Big Bang − é uma → teoria) é ingênua frente às discussões da aula 4 da disciplina. Além disso, a proposição 19 (Big Bang − possui → evidências) sugere a existência de evidências, não mencionadas pelo aluno apesar de elas terem sido apresentadas e discutidas durante a aula 4 (quadro 1).

No seu conjunto, esse MC mostra que o aluno foi capaz de construir relações conceituais a partir dos conteúdos da disciplina, ainda que os aportes principais estejam vinculados aos conteúdos sobre astronomia clássica (aulas 1-3). Tais conteúdos são frequentemente abordados no Ensino Médio e o aprofundamento conferido pela disciplina pode ser incorporado aos esquemas existentes (a prova ocorreu duas semanas após o término dessas discussões). Vale a pena destacar que algumas proposições podem servir como ponto de partida para a revisão de relações conceituais que não foram bem formuladas. Os verbos das proposições 2 e 9 podem ser questionados pelo professor, que também pode perguntar sobre a equivalência das proposições 11 (cientista − testa → teoria) e 12 (cientista − testa → conhecimento) - qual seria a diferença que esse aluno percebe entre teoria e conhecimento?

O MC da Figura 7 foi elaborado por um aluno do grupo G1, que apresentou o melhor desempenho no questionário (Tabela 2). Ele é menor do que o MC da Figura 6, sugerindo que esse aluno pode ter sido mais criterioso ao escolher as 11 proposições para responder à pergunta focal. Há 4 conceitos relacionados com a astronomia moderna (Cat-III), sendo que 3 deles (expansão do universo, Big Bang e universo) são pontos de reconciliação.

Esse aluno mostra uma compreensão mais completa sobre o Big Bang e as suas evidências para explicar a origem do universo. A partir do conceito evidências, temos as proposições 4-5 (evidências − podem ser → expansão do universo/radiação cósmica de fundo), 6-7 (expansão do universo/radiação cósmica de fundo −comprovam a teoria do → Big Bang) e 10-11 (Big Bang/gravidade − teorias mais aceitas para explicar o funcionamento do → universo). O processo de reformulação dos esquemas conceituais combinou conceitos da astronomia clássica (discutidos no Ensino Médio, em azul na Figura 7) e conceitos da astronomia moderna (em vermelho na Figura 7). A proposição 2 (telescópio − ajudou a observar a → expansão do universo) ilustra o acoplamento entre conceitos Cat-II e Cat-III.

Comparado com os MCs anteriores (Figuras 5-6) esse MC mostra relações conceituais construídas a partir dos conteúdos da disciplina, incluindo conceitos relacionados com a astronomia moderna (aula 4). Nesse processo de aprendizagem, equívocos ocorrem e devem ser julgados frente ao conjunto de informações relevado pelo MC. Por exemplo, o conceito “gravidade” não se aplica adequadamente às proposições 9 (órbitas dos planetas do Sistema Solar − ocorrem devido a → gravidade) e 11 (gravidade − teorias mais aceitas para explicar o funcionamento do → universo). Uma discussão para diferenciar a “gravidade” da “Lei da Gravitação Universal” é oportuna considerando o nível de entendimento conceitual demonstrado por esse aluno, que pode atuar como mediador numa atividade colaborativa para ajudar outros alunos que ainda apresentam dificuldades com o conteúdo.

Conclusão

A avaliação do conhecimento conceitual combinando um questionário e uma atividade com MCs produziu informações interessantes para subsidiar as decisões que o professor precisa tomar durante o processo de ensino. As respostas do questionário revelaram grupos de alunos com diferentes níveis de entendimento conceitual sobre o tema estudado, que orientaram a avaliação comparativa da morfologia da rede proposicional e dos conceitos selecionados pelos alunos. Ainda que a configuração da tarefa tenha padronizado os MCs produzidos pelos alunos, foi possível observar que a relação de conceitos sobre astronomia clássica (Cat-II) e astronomia moderna (Cat-III) refletiu o desempenho que os alunos tiveram no questionário. Os melhores alunos utilizaram tais conceitos na proporção 1:1, enquanto os alunos com pior desempenho no questionário usaram, em média, 3 vezes mais conceitos Cat-II do que Cat-III.

A leitura da rede proposicional de MCs representativos de cada grupo gerou informações complementares sobre a natureza das relações conceituais expressas pelas proposições. Os exemplos apresentados no artigo confirmaram a tendência observada a partir da análise da morfologia da rede proposicional e da categoria dos conceitos que os alunos selecionaram. A presença de conceitos finais múltiplos, que são pontos de reconciliação integrativa, só foi observada para alunos que apresentaram bom entendimento conceitual sobre astronomia clássica ou moderna. Discussões específicas podem e devem ser feitas a partir do nível de entendimento revelado pelo mapeador, a fim de promover continuamente a aprendizagem significativa. A avaliação do conhecimento conceitual tem papel central nesse processo, desde que ela forneça informações sobre o que os alunos já aprenderam e aonde estão os obstáculos de aprendizagem. Ciente disso, o professor terá melhores condições para adaptar as atividades da sua disciplina, mesmo durante o semestre letivo. Atividades colaborativas, envolvendo alunos com diferentes níveis de entendimento sobre o conteúdo, são estratégias poderosas que devem ser exploradas a partir de grupos montados intencionalmente para facilitar o papel mediador dos alunos que já compreenderam o conteúdo, os quais podem discutir com seus colegas as respostas do questionário e os MCs elaborados.

Agradecimentos

Os autores agradecem às agências de fomento à pesquisa que financiam os trabalhos desenvolvidos pelo nosso grupo de pesquisa: ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq-486194/2011-6) e à Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP-2012/22693-5 e FAPESP-2016/24553-7).

Referências

• AGUIAR, J. G.; CICUTO, C. A. T.; CORREIA, P. R. M. How can we prepare effective concept maps?: training procedures and assessment tools to evaluate mappers’ proficiency. Journal of Science Education, Bogota, v. 15, n. 1, p. 14-19, 2014.
• AGUIAR, J. G.; CORREIA, P. R. M. Como fazer bons mapas conceituais?: estabelecendo parâmetros de referências e propondo atividades de treinamento. Revista Brasileira de Pesquisa em Educação em Ciências, Belo Horizonte, v. 13, n. 2, p. 141-157, 2013.
• AGUIAR, J. G.; CORREIA, P. R. M. From representing to modelling knowledge: proposing a two-step training for excellence in concept mapping. Knowledge Management & E-Learning, Hong Kong, v. 9, n. 3, p. 366-379, 2017.
• ARAÚJO, M. S. T.; FORMENTON, R. Fontes alternativas de energia automotiva no ensino médio profissionalizante: análise de uma proposta contextualizada de ensino de física em um curso técnico. Alexandria, Florianópolis, v. 5, n. 1, p. 33-61, 2012.
• AULER, D. Movimento ciência-tecnologia-sociedade (CTS): modalidades, problemas e perspectivas em sua implementação no ensino de física. In: ENCONTRO DE PESQUISA EM ENSINO DE FÍSICA, 6., 1998, Florianópolis. Atas [...] Florianópolis: Sociedade Brasileira de Física, 1998.
• AUSUBEL, D. P. The acquisition and retention of knowledge: a cognitive view. Dordrechet: Kluwer, 2000.
• BYBEE, R. W.; FUCHS, B. Preparing the 21^st century workforce: a new reform in science and technology education. Journal of Research in Science Teaching, Hoboken, v. 43, n. 4, p. 349-352, 2006. DOI: https://doi.org/10.1002/tea.20147
  » https://doi.org/10.1002/tea.20147
• CAÑAS, A. J.; NOVAK, J. D.; REISKA, P. Freedom vs. restriction of content and structure during concept mapping: possibilities and limitations for construction and assessment. In: CAÑAS, A. J.; NOVAK, J. D.; VANHEAR, J. (ed.). Concept maps: theory, methodology, technology, proceedings of the fifth International Conference on Concept Mapping. Malta: University of Malta, 2012. v. 2, p. 247-257.
• CORREIA, P. R. M.; AGUIAR, J. G. Avaliação da proficiência em mapeamento conceitual a partir da análise estrutural da rede proposicional. Ciência & Educação, Bauru, v. 23, n. 1, p. 71-90, 2017. DOI: https://doi.org/10.1590/1516-731320170010005
  » https://doi.org/10.1590/1516-731320170010005
• CORREIA, P. R. M.; AGUIAR, J. G. Concept mapping informed by cognitive load theory: implications for tasks involving learner-generated Cmaps. In: CORREIA, P. R. M.; MALACHIAS, M. E. I.; CAÑAS, A. J.; NOVAK, J. D. (ed.). Concept mapping to learn and innovate: proceedings of the sixth International Conference on Concept Mapping. Santos: Universidade de São Paulo, 2014. v. 1, p.150-157. Disponível em: http://cmc.ihmc.us/cmc2014papers/cmc2014-p150.pdf Acesso em: 12 ago. 2019.
  » http://cmc.ihmc.us/cmc2014papers/cmc2014-p150.pdf
• CORREIA, P. R. M.; AGUIAR, J. G.; VIANA, A. D.; CABRAL, G. C. P. Por que vale a pena usar mapas conceituais no ensino superior? Revista de Graduação USP, São Paulo, v. 1, n. 1, p. 41-52, 2016. DOI: https://doi.org/10.11606/issn.2525-376X.v1i1p41-51
  » https://doi.org/10.11606/issn.2525-376X.v1i1p41-51
• CORREIA, P. R. M.; CABRAL, G.; AGUIAR, J. G. Cmaps with errors: why not? Comparing two cmap-based assessment task to evaluate conceptual understanding. In: CAÑAS, A.; REISKA, P.; NOVAK, J. (ed.). Innovating with concept mapping: 7^th international conference on concept mapping, CMC 2016, Tallinn, Estonia, September 5-9, 2016, proceedings. [Basel]: Springer, 2016. v. 635, p. 1-15. DOI: https://doi.org/10.1007/978-3-319-45501-3
  » https://doi.org/10.1007/978-3-319-45501-3
• CORREIA, P. R. M.; VALE, B. X.; DAZZANI, M.; INFANTE-MALACHIAS, M. E. The importance of scientific literacy in fostering education for sustainability: theoretical considerations and preliminary findings from a Brazilian experience. Journal of Cleaner Production, Amsterdam, v. 18, n. 7, p. 678-685, 2010. DOI: https://doi.org/10.1016/j.jclepro.2009.09.011
  » https://doi.org/10.1016/j.jclepro.2009.09.011
• FIELD, A. Descobrindo a estatística utilizando o SPSS 2. ed. Porto Alegre: Artmed, 2009.
• HOLBROOK, J.; RANNIKMAE, M. The nature of science education for enhancing scientific literacy. International Journal of Science Education, Abingdon, v. 29, n. 11, 1347-1362, 2007. DOI: https://doi.org/10.1080/09500690601007549.
  » https://doi.org/10.1080/09500690601007549.
• KINCHIN, I. M. Visualising powerful knowledge to develop the expert student Rotterdam: Sense, 2016.
• KINCHIN, I. M.; HAY, D. B.; ADAMS, A. How a qualitative approach to concept map analysis can be used to aid learning by illustrating patterns of conceptual development. Educational Research, Abingdon, v. 42, n. 1, p. 43-57, 2000. DOI: https://doi.org/10.1080/001318800363908.
  » https://doi.org/10.1080/001318800363908.
• McCLURE, J. R.; SONAK, B.; SUEN, H. K. Concept map assessment of classroom learning: reliability, validity, and logistical practicality. Journal of Research in Science Teaching, Hoboken, v. 36, n. 4, p. 475-492, 1999. DOI: https://doi.org/10.1002/(SICI)1098-2736(199904)36:4<475::AID-TEA5>3.0.CO;2-O
  » https://doi.org/10.1002/(SICI)1098-2736(199904)36:4<475::AID-TEA5>3.0.CO;2-O
• MOREIRA, M. A. Aprendizagem significativa: a teoria e textos complementares. São Paulo: Livraria da Física, 2011.
• NOVAK, J. D. Learning, creating, and using knowledge: concept maps as facilitative tools in schools and corporations. New York: Routledge, 2010.
• NOVAK, J. D. Meaningful learning: the essential factor for conceptual change in limited or inappropriate propositional hierarchies leading to empowerment of learners. Science Education, Hoboken, v. 86, n. 4, p. 548-571, 2002. DOI: https://doi.org/10.1002/sce.10032
  » https://doi.org/10.1002/sce.10032
• RUIZ-PRIMO, M. A.; SHAVELSON, R. J. Problems and issues in the use of concept maps in science assessment. Journal of Research in Science Teaching, Hoboken, v. 33, n. 6, p. 569-600, 1996.
• SALMON, D.; KELLY, M. Using concept mapping to foster adaptive expertise: enhancing teacher metacognitive learning to improve student academic performance. New York: Peter Lang, 2015.
• SANTOS, W. L. P. Scientific literacy: a freirean perspective as a radical view of humanistic science education. Science Education, Hoboken, v. 93, n. 2, 361-382, 2009. DOI: https://doi.org/10.1002/sce.20301
  » https://doi.org/10.1002/sce.20301
• SWELLER, J.; AYRES, P.; KALYUGA, S. Cognitive load theory New York: Springer, 2011.

Datas de Publicação

• Publicação nesta coleção
  07 Out 2019
• Data do Fascículo
  Jul-Sep 2019

Histórico

• Recebido
  20 Maio 2018
• Aceito
  04 Fev 2019