Ensino de física em tempos de pandemia: Instrução remota e desempenho acadêmico

Physics education in pandemic times: Remote instruction and academic performance

Resumos

Investigamos o efeito do ensino remoto adotado durante a pandemia de Covid-19 no desempenho acadêmico de estudantes em duas disciplinas de Física, uma de graduação e outra de pós-graduação. Esse desempenho foi avaliado por meio de um teste conceitual sobre Termodinâmica, tema abordado em ambas as disciplinas. O teste foi aplicado em turmas presenciais antes da pandemia e remotas durante a pandemia. A comparação dos resultados não revelou diferença estatisticamente significativa entre os escores dos estudantes nos dois períodos. As precauções tomadas para garantir a validade dessa análise são apresentadas e o alcance das conclusões é discutido.

Palavras-chave:
ensino remoto; ensino superior; ensino de física; desempenho acadêmico; Covid-19

We investigate the effect of remote teaching adopted during the Covid-19 pandemic on the academic performance of students in two physics courses, one for undergraduates and the other for graduates. This performance was assessed through a conceptual test on Thermodynamics, a topic addressed in both courses. The test was applied to in-person classes before the Covid-19 pandemic and to remote classes during the pandemic. Comparison of results did not reveal statistically significant differences between the student’s scores in the two periods. Precautions taken to ensure the validity of this analysis are presented and the scope of our conclusions is discussed.

Keywords
remote teaching; higher education; physics education; academic performance; Covid-19

1. Introdução

A pandemia de Covid-19 levou escolas e universidades de todo o mundo a adaptarem suas atividades a formatos remotos. Ao contrário do ensino a distância, que costuma ser planejado cuidadosamente e exige o desenvolvimento de materiais didáticos próprios e recursos humanos especializados, durante a pandemia a instrução remota foi tipicamente implementada em caráter emergencial, com pouco tempo para que docentes e instituições adaptassem seus métodos de ensino ao novo formato, quase sempre uma combinação de aulas por videoconferência com atividades assíncronas. Os efeitos dessa transição repentina sobre a aprendizagem dos estudantes podem ter sido significativos, e sua natureza e extensão necessitam ser investigadas. No ensino de Física, em particular, já existem estudos descrevendo a percepção de docentes e alunos sobre diferentes métodos de instrução remota e comparando suas efetividades [¹, ², ³, ⁴].

Neste trabalho, avaliamos como aspectos da aprendizagem de estudantes universitários em disciplinas de Física foram afetados pela transição para a instrução remota. Mais especificamente, investigamos se a compreensão conceitual de um tema de Física, a Termodinâmica, foi significativamente alterada por essa transição. O instrumento principal para o estudo foi um teste conceitual que vinha sendo aplicado sistematicamente em duas disciplinas ministradas de forma presencial antes da pandemia e que continuou a ser aplicado nessas mesmas disciplinas após a mudança para o modo remoto. Isso tornou possível comparar os resultados do teste em turmas similares submetidas a dois modos distintos de instrução, presencial e remota, e investigar se a mudança no método de ensino afetou o desempenho acadêmico dos estudantes nas disciplinas consideradas.

Um aspecto a ser examinado em uma comparação desse tipo é a incidência de “cola” no teste, ou, mais precisamente, a troca de informações sobre as questões por meio não-autorizado. É concebível que o compartilhamento de respostas entre os estudantes seja uma prática mais comum em testes remotos que em presenciais, e sua ocorrência em grande escala invalidaria uma avaliação comparativa como a que realizamos. Para controlar essa possibilidade, efetuamos uma análise estatística dos padrões de resposta em cada turma, detalhada na seção³, que nos permitiu determinar se houve uma diferença significativa entre as taxas de cópia nos regimes remoto e presencial.

Na próxima seção, damos mais informações sobre as disciplinas analisadas neste trabalho e apresentamos os resultados da aplicação do teste. A seguir, na seção³, examinamos se um possível compartilhamento de respostas entre os alunos afetou esses resultados. Finalmente, na seção⁴, discutimos esses resultados e seu alcance.

2. Ensino remoto e presencial de Termodinâmica

As duas disciplinas analisadas neste estudo envolvem o ensino da Termodinâmica e o teste conceitual aplicado refere-se a esse tema. O teste utilizado foi o Survey of Thermodynamic Processes and First and Second Laws [⁵], desenvolvido na Universidade de Pittsburgh e traduzido para o português. Ele é composto de 33 questões de múltipla escolha sobre conceitos básicos de Termodinâmica e foi validado em aplicações a estudantes de graduação e pós-graduação. Neste trabalho representamos o resultado de cada aluno no teste pela fração de respostas corretas, correspondente a uma “nota” entre 0 e 1.

Na primeira disciplina, “Mecânica do Sistema e Física Térmica” (MS&FT), a Termodinâmica é parte do conteúdo ministrado, correspondente a cerca de um terço da carga horária total de 60 horas em 15 semanas de aulas. Essa é uma disciplina introdutória nos cursos de Licenciatura em Física e em Química de uma universidade pública brasileira, ofertada em período noturno e assistida por alunos que estão tipicamente no terceiro semestre letivo. No período remoto a disciplina teve o mesmo conteúdo do período presencial, mas a carga horária formal foi concentrada em 10 semanas de aulas. O tempo dedicado a Termodinâmica foi mantido em um terço do total.

As turmas de MS&FT consideradas neste estudo tiveram sempre o mesmo docente. No período presencial as aulas envolviam um tempo reduzido de apresentações verbais pelo professor, com discussões em grupo de atividades (exercícios e experimentos) especialmente preparadas para um processo ativo de aprendizagem. A avaliação dos estudantes foi feita através de provas escritas. As atividades realizadas durante as aulas contribuíram para uma pequena parte da nota atribuída a cada aluno. Durante o período remoto foi mantida a metodologia de aulas com discussões expositivas curtas de um tópico por vez e a realização de atividades (testes, exercícios, vídeos e experimentos caseiros) em caráter síncrono, por meio de videoconferência, e assíncrono, via um ambiente virtual de aprendizagem. A avaliação remota adaptou-se às novas condições. A prova escrita foi substituída por uma prova oral – o aluno tinha entre 24 e 48 horas para resolver, em casa, uma avaliação escrita, e era feita uma arguição oral individual relativa às soluções enviadas por ele ao professor. Assim como no período presencial, uma pequena parte da nota correspondeu a atividades desenvolvidas durante o curso.

A segunda disciplina analisada foi “Termodinâmica”, do curso de Mestrado Profissional em Ensino de Física oferecido na mesma universidade a professores da educação básica. A carga horária da disciplina é 30 horas em 15 semanas de aulas e foi mantida no período remoto. O conteúdo abordado foi o mesmo nos dois modos de ensino. No período presencial as aulas seguiram o modelo expositivo tradicional; no modo remoto elas continuaram a ser expositivas e foram apresentadas em reuniões síncronas por videoconferência. O docente foi o mesmo nos períodos presencial e remoto.

Na disciplina de graduação, MS&FT, o teste conceitual foi aplicado a turmas presenciais nos anos 2017, 2018 e 2019, e a turmas remotas nos anos 2020 e 2021. Em todos os casos a aplicação ocorreu logo após a instrução em Termodinâmica. A participação no teste não foi obrigatória, mas os alunos foram informados que teriam um pequeno acréscimo em sua nota final na disciplina caso acertassem mais de 1/3 das questões; a referência [⁶] discute o efeito de bonificações sobre o resultado de testes conceituais. O teste remoto foi realizado em ambiente virtual e resolvido por escrito, com a mesma restrição de tempo do caso presencial.

Participaram do teste 73 alunos no período presencial e 43 alunos no período remoto. O número de participantes por turma foi aproximadamente o mesmo nos dois casos: 24 nos testes presenciais e 22 nos remotos. Considerando que o número total de alunos foi 114 no período presencial e 79 no remoto, a taxa de participação no teste foi, portanto, cerca de 60% nos dois grupos. Não houve liberação de pré-requisitos durante o período remoto, nem outras mudanças importantes para essa disciplina, de modo que o perfil curricular dos alunos permaneceu inalterado.

Os resultados do teste para os alunos de MS&FT estão apresentados na Figura1, que mostra as notas médias nos grupos de ensino presencial e ensino remoto. As barras de erro no gráfico representam intervalos de confiança de 95% nessas médias. Pode-se ver que o teste não indica mudanças estatisticamente significativas no rendimento dos dois grupos. A diferença entre as médias (remoto menos presencial) é $-0,01\pm 0,08$, com valor-p igual a 0,8 para a hipótese nula de nenhuma diferença.

Figura 1:
Média das notas no teste conceitual para os grupos presencial e remoto da disciplina MS&FT. As barras de erro são intervalos de confiança de 95%.

Na disciplina de pós-graduação, Termodinâmica, o teste foi aplicado em 2017 e 2019 a turmas de ensino presencial e em 2020 a uma turma de ensino remoto. Em todos os casos a aplicação ocorreu após a instrução, como uma das provas regulares da disciplina. Antes da pandemia o mesmo teste já havia sido aplicado aos alunos dessas turmas, inclusive a remota, em outra disciplina do curso. Praticamente todos os alunos das 3 turmas de Termodinâmicas analisadas aqui fizeram esse pré-teste. Participaram dos pré- e pós-testes 20 alunos das turmas presenciais e 8 da turma remota.

A realização do pré-teste permitiu avaliar o efeito da instrução a partir do “ganho” nas notas, dado pela diferença entre as notas do pós-teste e do pré-teste. A Figura 2 mostra o ganho médio no teste para os alunos de Termodinâmica nos grupos presencial e remoto. As barras de erro representam intervalos de confiança de 95%. Os resultados não indicam uma alteração estatisticamente significativa que possa ser associada à transição do regime presencial ao remoto. A diferença entre os ganhos remoto e presencial é $0,0\pm 0,1$.

Figura 2:
Ganho médio no teste conceitual para os grupos presencial e remoto da disciplina Termodinâmica. As barras de erro são intervalos de confiança de 95%.

3. Detecção de cópia

A realização de testes em modo remoto torna mais sensível um problema bem conhecido em avaliações presenciais: a possibilidade de “cola”. A forma mais comum dessa prática consiste no compartilhamento de respostas entre alunos, algo relativamente simples de efetuar em testes de múltipla escolha aplicados remotamente. Esse é um problema que deve ser considerado quando se deseja comparar os resultados de testes presenciais e remotos, já que uma alteração significativa na taxa de cópia das respostas comprometeria a utilização do teste em uma avaliação conjunta dos dois modos de instrução.

Embora seja muito difícil impedir a prática de cópia, é possível verificar se a incidência de respostas idênticas em um teste de múltipla escolha é maior que a esperada estatisticamente. Existem diversos métodos para se estimar a probabilidade das respostas de dois alunos serem semelhantes por acaso, não por cópia [⁷]. Um desses métodos é baseado no “índice-K”, definido como [⁷, ⁸]

$$K=\sum _{n=w_{cf}}^{w_f}\left(\genfrac{}{}{0pt}{}{w_f}{n}\right)P_{cf}^n{(1-P_{cf})}^{w_f-n}$$

onde $c$ e $f$ indicam o possível par “copiador-fornecedor” de respostas, $w_f$ é o número de erros do aluno $f$, $w_{cf}$ é o número de erros em comum de $c$ e $f$, e $P_{cf}$ é a probabilidade binomial de $c$ e $f$ errarem a mesma questão na ausência de cópia. O índice-K é uma estimativa da probabilidade de, não havendo cópia, ocorrer uma semelhança de respostas igual ou superior à encontrada no par $c$–$f$. Portanto, quanto menor for o valor de $K$, menor será a probabilidade da similaridade entre dois padrões de resposta resultar do acaso.

A Figura 3 mostra a distribuição do índice-K de pares de alunos das turmas presenciais e remotas da disciplina MS&FT nas aplicações do teste conceitual. Em nenhum dos dois grupos há um número expressivo de pares com pequeno valor de $K$, para os quais uma semelhança acidental de respostas seria pouco provável. Mais importante, o grau de similaridade entre as duas distribuições de $K$ indica que a transição do regime presencial ao remoto não resultou em mudança significativa na incidência de cópia. Em termos quantitativos, o teste de ${\chi }^2$ resultou em um valor-p de 0,14 para a hipótese nula de nenhuma diferença entre as distribuições.

Figura 3:
Distribuição do índice-K entre pares de alunos de turmas da disciplina MS&FT, em aplicações presenciais e remotas do teste conceitual.

No caso da disciplina Termodinâmica, o pequeno número de alunos nas turmas não permitiu a aplicação de métodos estatísticos de detecção de cópias. Entretanto, não houve qualquer evidência de cola nas aplicações presenciais do teste e, no regime remoto, a comparação caso a caso de testes com a mesma nota não revelou padrões de resposta semelhantes.

É claro que existem outras formas de cola, como a consulta a anotações e livros. Essa prática costuma ser pouco eficaz no caso de testes que avaliem a compreensão conceitual, não a simples memorização. Como o teste aplicado é essencialmente conceitual, é razoável supor que consultas a textos, se ocorreram, não interferiram apreciavelmente nos resultados.

4. Conclusões

Os resultados obtidos neste trabalho mostram que em duas disciplinas de Física, uma de graduação e outra de pós-graduação, a transição para o ensino remoto não gerou mudanças estatisticamente significativas no rendimento acadêmico dos alunos. A avaliação dos efeitos dessa transição foi realizada por meio de um teste conceitual aplicado tanto no período presencial quanto no remoto. Não houve diferença significativa na probabilidade de cópia no teste nos dois períodos.

É importante não generalizar indevidamente essas conclusões. Durante o processo de adaptação ao regime remoto, diferentes disciplinas do ensino superior encontraram dificuldades de natureza e intensidade muito diversas. Algumas, por exemplo as que envolviam atividades em laboratório, tiveram que passar por reformulações profundas cujos efeitos apenas começam a ser estudados [⁴]. Deve-se também ter em conta que uma avaliação de aprendizagem não alcança todas as dimensões acadêmicas afetadas pelo ensino remoto. É o caso, por exemplo, da evasão estudantil, uma variável extremamente relevante que não pode ser medida por um teste que é aplicado somente a alunos que permaneceram no curso. Os resultados do presente trabalho não devem, portanto, ser interpretados como evidência de que durante a pandemia o ensino remoto substituiu o presencial sem nenhum prejuízo à formação acadêmica dos estudantes.

De qualquer forma, não deixa de ser surpreendente que em algumas disciplinas o rendimento acadêmico dos estudantes tenha se mantido estável, dada a enorme disrupção imposta pela pandemia e pelo regime remoto. É necessário que novos estudos ampliem a presente investigação e alcancem outras disciplinas, inclusive as de caráter experimental, e outros parâmetros acadêmicos, como a taxa de evasão. Só assim será possível avaliar de maneira abrangente os efeitos da instrução remota e extrair lições que possam ser aplicadas a um planejamento adequado das atividades de ensino no período pós-pandemia.

References

• ^[1]
  M. Fox, A. Werth, J. Hoehn e H. Lewandowski, arxiv:2007.01271 (2020).
• ^[2]
  S. Guo, Physics Education 55, 065007 (2020).
• ^[3]
  P. Klein, L. Ivanjek, M.N. Dahlkemper, K. Jeličić, M.-A. Geyer, S. Küchemann e A. Susac, Physical Review Physics Education Research 17, 010117 (2021).
• ^[4]
  M.F.J. Fox, J.R. Hoehn, A. Werth e H.J. Lewandowski, Physical Review Physics Education Research 17, 010148 (2021).
• ^[5]
  B. Brown e C. Singh, Physical Review Physics Education Research 17, 010104 (2021).
• ^[6]
  L. Ding, N.W. Reay, A. Lee e L. Bao, Physical Review Physics Education Research 4, 010112 (2008).
• ^[7]
  G.J. Cizek e J.A. Wollack, Handbook of Quantitative Methods for Detecting Cheating on Tests (Routledge, Londres, 2017).
• ^[8]
  L.S. Sotaridona e R.R. Meijer, Journal of Educational Measurement 39, 115 (2002).

Datas de Publicação

• Publicação nesta coleção
  05 Jan 2022
• Data do Fascículo
  2022

Histórico

• Recebido
  12 Set 2021
• Revisado
  04 Dez 2021
• Aceito
  08 Dez 2021