Estudo comparativo de um experimento de eletrodinâmica: Laboratório Tradicional x Laboratório Remoto

Electrodynamics experiment comparative analysis: Real Lab vs Remote Lab

Resumo

Este artigo apresenta um estudo comparativo da aplicação de um experimento de física de eletrodinâmica básica, quando realizado num Laboratório Tradicional (LT) e num Laboratório Remoto (LR) via internet. Para analisar e validar os resultados, realizamos uma análise estatística do ganho de aprendizagem, tamanho do efeito da metodologia aplicada, confiabilidade do questionário de pré-teste e pós-teste e análise da variância das respostas dos estudantes. A pesquisa foi realizada com uma amostra de 304 alunos de cinco escolas distintas de ensino médio da cidade de Guaratinguetá do estado de São Paulo – Brasil. Para manter a fidelidade do estudo, a construção do experimento de eletrodinâmica foi a mesma, tanto no formato tradicional quanto no formato remoto. Os alunos de cada uma das cinco escolas, foram separados em turmas A e B e submetidos a um pré-teste contendo 10 questões para verificação do conhecimento inicial sobre o tema. Em sequência, os alunos da turma A tiveram acesso ao LT enquanto os da turma B ao LR para realização do experimento. Ao final do processo, foi aplicado um pós-teste contendo 10 questões para verificação do conhecimento após o estudo experimental. A estatística dos resultados mostrou resultados equivalentes entre as turmas A e B no processo de aprendizagem em todas as escolas analisadas.

Palavras-chave:
Laboratório Remoto; Laboratório Tradicional; Eletrodinâmica; Lei de Ohm; Mapa de acertos

Abstract

This paper presents a comparative study of simple electrodynamics experiment, when performed in the Traditional Laboratory (TL) and in the Remote Laboratory (RL) via the internet. Analyze and validate the results, performing an statistical analysis of the learning gain, size of the applied methodology, reliability of the pre-test and post-test questionnaire and analysis of the variance of the students' responses. The research was applied with 304 students from five high schools in the city of Guaratinguetá in the state of São Paulo - Brazil. In order to maintain the fidelity of the study, the construction of the electrodynamic remote experiment was similar the traditional format. Students from each of the five schools were separated into classes A and B prepared a pre-test containing 10 questions for the selection of initial knowledge on the topic. In sequence, students in class A had access to the TL while those in class B to the RL to perform the experiment. At the end of the process, it was submitted to a test containing 10 questions to verify the knowledge after the experimental study. Final results had show equivalente learning between classes A and B in all schools analyzed.

Keywords:
Remote Lab; Traditional Lab; Electrodynamics; Ohms'law; Hit map

1. Introdução

Nos últimos anos, muitas universidades têm desenvolvido experimentos em laboratórios remotos (LR), isto é, experimentos que podem ser monitorados e realizados remotamente usando como meio a internet [¹ -⁴].

Dentre algumas vantagens de realizar experimentos por meio de laboratório remoto, podemos citar: a capacidade de controlar e executar um experimento real usando a internet com meio de acesso; a característica de ser multiusuário podendo ser utilizado por diversos estudantes que estejam em qualquer lugar do mundo e também a possibilidade de realizar experimentos com alto grau de periculosidade e com montagens mais complexas.

A partir dos desenvolvimentos de práticas experimentais remotas, os pesquisadores concentraram seus esforços para investigações comparando a eficiência do ensino-aprendizagem entre os laboratórios tradicionais (LT) e os laboratórios remotos (LR) [⁵ -⁸].

De forma mais holística, outros pesquisadores buscaram esta comparação entre simulação virtual, LR e LT [⁹,¹⁰].

Como resultado, existe um consenso entre os pesquisadores de que não há uma diferença significativa e consistente entre os laboratórios reais, remotos e virtuais. Todavia, salienta-se que os estudos são feitos com pouca amostragem comparativa e pecam na forma de avaliação, resumindo a relatórios de laboratório.

Dentro desse cenário de uma ausência de sujeitos e carência na forma de avaliar a eficiência do LR, nós apresentamos neste trabalho como realizar métricas de avaliação que permitam responder algumas questões importantes como: se aplicarmos uma atividade com os estudantes uma mesma montagem experimental num LT e num LR, qual das abordagens apresentará maior ganho no processo ensino-aprendizagem? Existe alguma situação experimental onde o LR é mais eficiente quando comparado com o LT? E o oposto, é possível identificar?

Na primeira parte apresentamos os laboratórios, real e remoto, e o contexto de aplicação desta pesquisa.

Na segunda parte apresentamos uma extensa estatística para descrever pontualmente a eficiência dos laboratórios, real e remoto, a partir de um questionário de múltipla escolha.

Finalmente, faremos uma reflexão acima dos principais pontos, mostrando as potencialidades e carência do LR e do LT.

2. Metodologia

Realizamos essa pesquisa com 304 alunos de cinco escolas de ensino médio do estado de São Paulo na cidade de Guaratinguetá, Brasil. Dividimos as atividades em três partes:

1ª Parte: Desenvolvimento de dois laboratórios experimentais. Um com prática presencial e outro laboratório com prática remota. Ambas sobre o mesmo tema: Circuitos Série e Paralelo.

2ª Parte: Aplicamos um pré-teste com 10 questões sobre o tema para a Turma A e para Turma B de cada uma das escolas.

3ª Parte: A Turma A realizou atividades experimentais no LR e a Turma B realizou atividades experimentais no laboratório presencial. Ao final realizaram o pós-teste com as mesmas 10 questões do pré-teste.

2.1. Os laboratórios de eletrodinâmica

Os laboratórios de eletrodinâmica desenvolvidos permitem que os estudantes explorem a lei de Ohm num circuito série e num circuito paralelo. Para esta pesquisa aplicamos um LR e um LT. A seguir vamos descrever cada um dos laboratórios desenvolvidos.

LR de Eletrodinâmica – Como destacam [¹⁰ -¹²], os laboratórios virtuais e remotos são diferentes. Enquanto o primeiro refere-se à medição ou à simulação de uma medição a partir de um software computacional, o LR é um sistema estabelecido a partir de uma estrutura de hardware e software que coleta dados reais a distância, a partir da internet.

Portanto, um LR permite a realização de experimentos reais, a partir de qualquer lugar, em qualquer horário, por meio de uma interface de controle remoto, possibilitando a um usuário com acesso à internet configurar um equipamento experimental e iniciar uma experiência, que poderá ser observada em tempo real na tela de um computador que recebe as imagens, captadas por câmeras locais.

Na Figura 1 mostramos que o usuário, ao acessar o LR, pode, entre algumas opções, selecionar o experimento que deseja realizar. Ao ter acesso ao experimento desejado, o usuário pode, por meio de um sistema de interfaces e câmeras, não apenas visualizar o aparato experimental, mas também manipulá-lo a distância. Dessa forma, pode visualizar todo o fenômeno e coletar os dados necessários à sua pesquisa.

Figura 1
Esquema de um LR.

Para aplicação deste laboratório, desenvolvemos na UNESP de Guaratinguetá o LR de eletrodinâmica. Este laboratório tem em sua essência as mesmas funcionalidades do LR “Painel Elétrico CC” da REXLAB ^[11].

A construção do experimento controlado remotamente para o estudo dos circuitos elétricos contou com diversos materiais e equipamentos: uma placa de madeira como base do experimento, similar a um painel sinótico, leds de alto brilho, dois multímetros, relés, lâmpadas incandescentes, uma placa arduino (plataforma de prototipagem eletrônica de hardware livre), bem como outros elementos eletroeletrônicos: chaves, circuitos integrados, resistores, fios, etc. Na Figura 2 mostramos a parte frontal da montagem visualizada por um usuário no momento da realização da atividade experimental remota.

Figura 2
Experimento remoto de circuitos elétricos (lâmpadas em série).

As chaves (S1, S2 e S3) são representadas pelo acionamento de leds vermelhos que, de forma lúdica, caracterizam o estado dos contatos elétricos presentes no circuito misto (série e paralelo) das lâmpadas de 12Vcc (L1, L2 e L3).

Uma placa a relés confere o acionamento real dos contatos das lâmpadas e os contatos de comutação dos multímetros presentes na montagem. Os dois instrumentos têm a função de voltímetro e de amperímetro. O circuito de comando é estabelecido a partir de uma placa arduino. A leitura e a coleta de todos os dados são realizadas, em tempo real, pelo usuário por meio de uma câmera.

Da mesma forma que o experimento presencial convencional, dependendo do acionamento das chaves, os estudantes podem ter diferentes configurações do circuito - ver figuras 3 e 4.

Figura 3
Experimento remoto de circuitos elétricos (lâmpadas em paralelo).

Figura 4
Experimento remoto de circuitos elétricos (circuito misto).

Tanto no experimento presencial convencional quanto no experimento controlado remotamente, os conceitos científicos abordados são: corrente elétrica, diferença de potencial, resistência elétrica, potência elétrica dissipada e circuitos elétricos em série, em paralelo e mistos. Pela intensidade do brilho das lâmpadas, nas diferentes configurações de circuito, espera-se que os alunos possam fazer uma análise qualitativa da potência elétrica dissipada. Porém, o uso de um multímetro, que pode funcionar como voltímetro e amperímetro, pode permitir a leitura de corrente elétrica e de tensão nos diferentes pontos dos circuitos montados.

LT de Eletrodinâmica – Aplicação de um pré-teste aplicação de um experimento de eletrodinâmica no formato remoto com uma turma de cada uma das cinco escolas. Essa turma foi denominada TURMA A. Podemos ver algumas situações do laboratório de eletrodinâmica nas figuras 5, 6, 7. A utilização do equipamento experimental se estabeleceu a partir de possibilidades que o estudante tinha de montar três configurações diferentes de circuito elétrico: circuito em série, em paralelo e misto, como se pode ver nas figuras 5, 6 e 7.

Figura 5
Experimento presencial de circuito elétrico (ligação em série).

Figura 6
Experimento presencial de circuito elétrico (ligação em paralelo).

Figura 7
Experimento presencial de circuito elétrico (ligação mista).

Foi utilizado, também, um multímetro a partir do qual é possível medir a intensidade de corrente elétrica, bem como a diferença de potencial em cada lâmpada, para cada uma das configurações montadas.

Os estudantes tinham, então, duas possibilidades de avaliar em qual das montagens do circuito se dissipa maior potência: uma qualitativa e outra quantitativa.

3. Dados para Análise

Nesta seção apresentaremos a metodologia e os dados estatísticos para análise das respostas do pré-teste e pós-teste respondidos pelos alunos.

A respeito das metodologias utilizadas, primeiro apresentaremos o ganho educacional. O ganho, conhecido na literatura por “<g>” ou “gain” é a estatística mais utilizada no ensino de física ^[14]. Em sua definição ^[15] temos que o ganho educacional é a diferença entre as pontuações no início e no final (o “ganho bruto”) dividido pelo número de problemas que eles erraram no início (o “Fator de normalização”). É possível calcular o ganho educacional de sala de aula usando o pré-teste e pós-teste.

Em nosso trabalho calculamos o ganho individual e, em seguida, tendo a média do ganho dos estudantes de cada turma é possível encontrar o ganho de aprendizagem da sala.

Posteriormente, calculamos o d de Cohen para medir o tamanho de efeito de cada uma das metodologias realizadas. O d de Cohen é uma estatística que permite calcular o tamanho de efeito global da metodologia, isto é, sob a turma toda.

Como destacam os trabalhos [¹³ -¹⁵], já houve uma variedade de métodos para construir confiança em torno de D de Cohen como método estatístico de análise em grupos heterogêneos.

Para efeito de validação do questionário aplicados no pré-teste e pós-teste, submetemos o questionário à estatística denominada “alpha de Cronbach”.

O Alfa sofre influência da homogeneidade da amostra, da distribuição das respostas e do número de itens do teste. Nota-se que quanto maior a variabilidade das respostas dos sujeitos, maior será o Alfa, o que remete à necessidade de haver uma amostra suficientemente heterogênea e corretamente dimensionada em um teste ^[15].

A partir do alpha de Cronbach foi possível verificar a confiabilidade dos questionários aplicados no pré-teste e pós-teste deste trabalho. O questionário pode ser visto na íntegra pelos leitores no APÊNDICE A

Para análise de variância, que permite verificar a hipótese de êxito ao aplicar uma metodologia à um grupo de sujeitos, calculamos a ANOVA.

Esta estatística compara as médias entre os grupos nos quais você está interessado e determina se alguma dessas médias é estatisticamente significativamente diferente um do outro ^[16].

Aplicamos essa estatística para verificar a seguinte hipótese: A Turma A que foi submetida ao LR apresentará um ganho no aprendizado a partir do pré-teste e pós-teste. O mesmo foi feito para a Turma B

Finalmente, apresentaremos o mapa de acertos. O mapa de acerto permite identificar quais questões do pré-teste e pós-teste houveram maior número de acerto e erro. Desta forma, é possível evidenciar as potencialidades e fraquezas do experimento real e do experimento remoto.

3.1. Exemplo da análise - ESCOLA 1 - Turma A e B

A – Distribuição de notas e ganho <g>

A partir da Figura 8 podemos ver as notas dos estudantes no pré-teste (azul) e no pós-teste (vermelho). Temos uma evolução das médias. Enquanto no pré-teste a média foi de 5.6, no pós-teste foi de 7.3. Isso permite calcular o ganho. Na turma A o <g> = 0.38

Figura 8
Gráfico de quantidade de alunos por notas do pré-teste (azul) e pós-teste (vermelho) da Escola 01 – Turma A.

A partir da Figura 9 podemos ver as notas dos estudantes no pré-teste (azul) e no pós-teste (vermelho). Temos uma evolução das médias. Enquanto no pré-teste a média foi de 4.51, no pós-teste foi de 6.69. Isso permite calcular o ganho. Na turma B o <g> = 0.34.

Figura 9
Gráfico de quantidade de alunos por notas do pré-teste (azul) e pós-teste (vermelho) da Escola 01 – Turma B.

B – D de Cohen

Para medir o tamanho do efeito da metodologia nesse processo, utilizamos a estatística d de Cohen. Na turma A o d= 0.29, e na Turma B, d = 0.24. Podemos considerar ambos os valores como pequenos. Isso mostra que para essa escola, ambas as metodologias, LT e remoto pouco influenciaram no processo de ensino aprendizagem segundo essa estatística.

C - Análise ANOVA

Aplicamos essa estatística com a seguinte hipótese: A Turma A submetida ao LR apresentará a partir das respostas dos questionários um ganho no aprendizado ou não. O mesmo foi feito para a Turma B.

Temos na Tabela 1 a análise de variância referente a Turma A.

Tabela 1
Estatística ANOVA para escola 1 – Turma A

Fonte da Variância	SS	df	MS	F	P
Entre os grupos	56,1125	1	56,1125	10,96181	0,00141
Interno aos grupos	399,275	78	5,11891

Os resultados prévios indicam que o LR proporciona um aprendizado a partir do resultado F (2,78) = 10.96 e p=0.001.

Os resultados observados na Tabela 2 indicam que o LT na turma B da escola 1 proporcionou um aprendizado a partir do resultado F (1,64) = 9.64 e p=0.003.

Tabela 2
Estatística ANOVA para escola 1 – Turma B

Fonte da Variância	SS	df	MS	F	P
Entre os grupos	78,54545455	1	78,54545	9,644651	0,0028292
Interno aos grupos	521,2121212	64	8,143939

D – Alfa de Cronbach

Ao aplicar a estatística do alfa de Cronbach vemos a confiabilidade e consistência do questionário aplicado no pré-teste e pós-teste.

Para validar os questionários verificamos o alfa de Cronbrach nos questionários que apresentaram o valor de 0,84 no pré-teste e 0,67 no pós-teste da Turma A. A Turma B o valor de 0,87 no pré-teste e 0,55 no pós-teste.

Desta forma, ambos os casos Turma A e Turma B, o pré-teste apresentam um grau de confiabilidade e consistência alta. O pós-teste, por outro lado, apresentam confiabilidade média.

Referente a essa discrepância de alta para média, sendo que foi aplicado o mesmo questionário, atribuímos o fato de após as metodologias aplicadas conferirem um maior número de acertos no pós-teste. Esse fato torna a média das notas maiores e concomitantemente a variação das respostas menores. Desta forma, o resultado com maior acerto configura uma confiabilidade do questionário pós-teste, médio.

E – Mapa de Acertos: Turma A

Mapa de acertos é um gráfico que mostra os acertos dos estudantes participantes do pré-teste e pós-teste. Na Figura 10 temos os gráficos do mapa de acerto por questão.

Figura 10
Mapa de acerto por questão no pré-teste e pós-teste da Turma A.

A Figura 10 nos permite encontrar quais questões tiveram mais acerto/erro e quais os alunos que se encontram nesse perfil de lacuna de conhecimento. Dentro desse perfil, encontramos maior evolução no LR. Foram as questões 5, 4 e 10 que trataram dos temas: Tensão num circuito simples, série e paralelo, respectivamente, podendo assim identificar quais conceitos os alunos tiveram mais dificuldade e realizar um estudo dirigido e pontual. Por outro lado, as questões 1 e 3 que trataram dos temas montagem de circuitos simples e com chave, houve uma melhor evolução no LT contra o LR.

F – Mapa de Acertos: Turma B

A Figura 11 nos permite encontrar quais questões tiveram mais acerto/erro e onde houve maior ganho. No pré-teste as questões 4, 5 e 10 apresentam menor índice de acerto uma média de 9 alunos num total de 35. Por outro lado, a questão 6 teve um maior número de acertos 15 alunos num total de 35.

Figura 11
Mapa de acerto no pré-teste e pós-teste da Turma B.

No pós-teste é possível ver o ganho na questão 10, onde o acerto foi de 8 no pré-teste para 27 estudantes no pós-teste.

As análises das demais escolas podem ser lidas na íntegra no documento disponível no APÊNDICE B.

Na Figura 12 temos o mapa de acerto das demais escolas. Podemos destacar pontos de convergências das escolas 2, 3 e 5. Em primeiro lugar, destaca-se o maior número de respostas erradas das questões 5 e 10. Segundo, vemos que a questão 1 teve grande número de acertos nessas escolas.

Figura 12
Mapa de acerto do pré-teste e pós-teste de cada turma de cada escola.

Na escola 3, as questões 4, 5 e 10 apresentam menor índice de acerto no pré-teste com uma média de 9 alunos num total de 35. Por outro lado, a questão 6 teve um maior número de acertos, 15 alunos num total de 35.

No pós-teste é possível ver o ganho na questão 10, onde o acerto foi de 8 no pré-teste para 27 estudantes no pós-teste.

Nas escolas 4 e 5, encontramos na turma A maior evolução nos acertos com a metodologia do LR. As questões 5, 4 e 10 tiveram maior ganho. Por outro lado, as questões 1 e 3 que trataram dos temas montagem de circuitos simples e com chave, houveram uma melhor evolução no LT contra o LR.

Para sintetizar a análise quantitativa, temos a Tabela 3 apresentando respectivamente o ganho educacional <g>, o tamanho do efeito de uma metodologia com o d de Cohen, a confiabilidade do questionário aplicado no pré-teste e pós -teste e a validação da hipótese de aplicação da metodologia do LR nos estudantes com a estatística ANOVA.

Tabela 3
Tabela com as estatísticas de cada uma das escolas desse estudo com as respectivas Turmas A e B.

Estatística/Escola	<g>	Cohen's d	Cronbach's α	ANOVA
Escola 1 - Turma A	0.38	0.29	0.84 pré-teste; 0.67 pós-teste	F (1,78) = 10.96; p=0.001
Escola 1 - Turma B	0.34	0.24	0.87 pré-teste; 0.55 pós-teste	F (1,64) = 9.94; p=0.003
Escola 2 - Turma A	0.50	0.42	0.80 pré-teste; 0.62 pós-teste	F (1,60) = 17.54; p=0.0009
Escola 2 - Turma B	0.47	0.41	0.69 pré-teste; 0.67 pós-teste	F (1,66) = 17.18; p=0.0009
Escola 3 - Turma A	0.48	0.43	0.73 pré-teste; 0.72 pós-teste	F (1,56) = 17.01; p=0.0001
Escola 3 - Turma B	0.49	0.41	0.69 pré-teste; 0.72 pós-teste	F (1,64) = 9.64; p=0.003
Escola 4 - Turma A	0.36	0.61	0.77 pré-teste; 0.59 pós-teste	F (1,42) = 16.32; p=0.0002
Escola 4 - Turma B	0.32	0.80	0.20 pré-teste; 0.25 pós-teste	F (1,52) = 34,43; p = 0
Escola 5 - Turma A	0.38	0.56	0.70 pré-teste; 0.33 pós-teste	F (1,52) = 26,55; p = 0
Escola 5 - Turma B	0.37	0.77	0.32 pré-teste; 0.25 pós-teste	F (1,42) = 22,58; p = 0,0002

A partir dos dados da Tabela 3 podemos concluir que os valores de <g> no questionário aplicado nas turmas que presenciaram o LR (turma A) e que participaram do LT (turma B) tiveram praticamente o mesmo ganho. Em alguns casos como nas escolas 1, 2, 4 e 5 o LR proporcionou maior ganho. Isso mostra que o LR de eletrodinâmica permitiu uma aprendizagem maior no que se refere ao ganho de aprendizagem se comparado a um LT de eletrodinâmica.

Do ponto de vista do tamanho de efeito da metodologia aplicada, o d de Cohen, mostrou-se maior nas turmas que utilizaram a metodologia do LR nas escolas 1, 2 e 3. As escolas 4 e 5 obtiveram mais efeito da metodologia através do LT.

O alpha de Cronbach mostra que o questionário aplicado no pré-teste e pós-teste são confiáveis.

Finalmente, o ANOVA mostrou que a hipótese da metodologia aplicada em cada uma das turmas foi eficiente no processo. Em outras palavras, ao recorrer uma metodologia, seja ela o LR ou o LT, ambas funcionaram com êxito.

4. Conclusão

A partir dos dados apresentados destacamos o fato de que os estudantes, alvo desse estudo, não se submeteram, passivamente, apenas às aulas expositivas sobre o tema a ser apreendido.

Todas as aulas se iniciaram com uma pergunta de pesquisa que os motivaram a pesquisar textos, a assistir vídeos-aulas, a debater, a elaborar sínteses e a realizar apresentações sobre o assunto científico a ser estudado. Adotaram, portanto, desde o início, uma postura ativa e interativa que, evidentemente, contribuiu para a melhoria do aprendizado mesmo antes da realização da atividade experimental.

Provavelmente, se tivéssemos aplicado o pré-teste após situações de aprendizagem muito comuns em nossas escolas, limitadas unicamente à exposição do professor, o resultado do tamanho do efeito indicado tanto pelo D-Cohen quanto pelo <g> seriam bem menores.

A pequena vantagem observada em direção às atividades controladas remotamente, talvez, possa ser explicada pelo fator motivação desencadeado nos estudantes. O fator inovação, nesse caso, chamou a atenção dos alunos. Além de eles não estarem acostumados a adotar um papel mais ativo no processo de ensino e de aprendizagem, os estudantes ficaram bastante interessados e intrigados com o fato de realizarem uma atividade experimental comandando um aparato a distância.

Em situações cotidianas, a partir das quais a atividade controlada remotamente passe a ser uma prática pedagógica comum no contexto de sala de aula, acreditamos que a diferença motivacional causada pelos dois tipos de atividade experimental deva deixar de existir.

De qualquer maneira, do ponto de vista conceitual, podemos admitir, pelos resultados obtidos, que a atividade experimental realizada remotamente oferece oportunidades aos alunos tanto quanto às atividades experimentais realizadas presencialmente.

Material Suplementar

O seguinte material suplementar está disponível online:

Apêndice A Questionário aplicado no pré-teste e pós-teste

Apêndice B Estatística completa das escolas

Referências

• ^[1]
  Labshare Project, disponível em http://www.labshare.edu.au/project, acessado em 24/05/2019.
  » http://www.labshare.edu.au/project
• ^[2]
  Weblab-Deusto, disponível em https://www.weblab.deusto.es/web/weblab-deusto.html, acessado em 24/05/2019.
  » https://www.weblab.deusto.es/web/weblab-deusto.html
• ^[3]
  iLab, disponível em http://icampus.mit.edu/projects/iLabs.shtml, acessado em 24/05/2019.
  » http://icampus.mit.edu/projects/iLabs.shtml
• ^[4]
  RexLab, disponível em https://rexlab.ufsc.br/, acessado em 24/05/2019.
  » https://rexlab.ufsc.br/
• ^[5]
  J.E. Corter, J.V. Nickerson, S.K. Esche e C. Chassapis, em 34th Annual Frontiers in Education (IEEE, Savannah, 2004).
• ^[6]
  M. Ogot, G. Elliott e N. Glumac, J. Eng. Education 92, 5 (2003).
• ^[7]
  D.C. Sicker, T. Lookabaugh, J. Santos e F. Barnes, em Proceedings - Frontiers in Education Conference (IEEE, Indianapolis, 2005).
• ^[8]
  L.E. Carlson e J.F. Sullivan, Int. J. Eng. Education 15, 20 (1999).
• ^[9]
  T.L. Schwartz e B.M. Dunkin, Int. J. Eng. Education 16, 218 (2000).
• ^[10]
  M.A.A. Monteiro, I.C.C. Monteiro, J.S.E. Germano e F.S. Junior, Caderno Brasileiro de Ensino de Física 30, 191 (2013).
• ^[11]
  M. Seré, R. Journeaux e C. Larcher, Int. J. Sci. Educ. 15, 427 (1993).
• ^[12]
  Z. Nedic, J. Machotka e A. Nafalski, em 33^rd Annual Frontiers in Education (IEEE, Westminster, 2003).
• ^[13]
  J. Algina, H.J. Keselman e R.D. Penfield, Psychological Methods 10, 317 (2005).
• ^[14]
  D. Bates, M. Mächler, B. Bolker e S. Walker, J. Stat. Softw. 67, 1 (2015).
• ^[15]
  J. Maroco e T.G. Marques, Laboratório de Psicologia 4, 65 (2006).
• ^[16]
  J.B. Silva, M.A.S. Cristiano, P.C. Nicolete, C. Heck e K.S. Coelho, Int. J. Online Biomed Eng 12, 30 (2016).

Datas de Publicação

• Publicação nesta coleção
  01 Jul 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  18 Fev 2019
• Revisado
  03 Maio 2019
• Aceito
  19 Maio 2019