PRESSUPOSTOS DE AVALIAÇÃO NA APLICAÇÃO DE JOGOS DIGITAIS NO ENSINO DE QUÍMICA: UMA ANÁLISE A PARTIR DA REVISÃO SISTEMÁTICA DA LITERATURA

SUPUESTOS DE LA EVALUACIÓN EN LA APLICACIÓN DE JUEGOS DIGITALES EN LA ENSEÑANZA DE QUÍMICA: UN ANÁLISIS A PARTIR DE UNA REVISIÓN SISTEMÁTICA DE LA LITERATURA

ASSUMPTIONS OF ASSESSMENT IN THE APPLICATION OF DIGITAL GAMES IN CHEMISTRY TEACHING: AN ANALYSIS BASED ON A SYSTEMATIC LITERATURE REVIEW

RESUMO:

Este estudo tem o objetivo de investigar como está sendo conduzido o processo de avaliação baseada no uso de jogos digitais no ensino de química, a partir da análise da produção acadêmica publicada em bases de dados eletrônicas. Para isto, a coleta de dados se deu por meio de uma Revisão Sistemática da Literatura, desenvolvida entre o período de 2011 a 2021 nas bases SCOPUS, Web of Science, ACS Publications e Portal de Periódicos CAPES. Foram coletados 49 artigos e a análise foi feita sob a perspectiva da análise de conteúdo. Os resultados evidenciaram uma maior frequência de trabalhos que buscaram avaliar questões referentes ao funcionamento do jogo e deixaram de lado questões sobre a avaliação que pudessem atestar se houve algum aprendizado durante o jogo digital.

Palavras-chave:
Aprendizagem baseada em jogos; Educação química; Processos avaliativos

RESUMEN:

Este estudio tiene como objetivo investigar cómo se lleva a cabo el proceso de evaluación basado en el uso de juegos digitales en la enseñanza de la química, a partir del análisis de la producción académica publicada en bases de datos electrónicas. Para ello, la recolección de datos se realizó a través de una Revisión Sistemática de Literatura, desarrollada entre el período de 2011 a 2021 en las bases de datos SCOPUS, Web of Science, ACS Publications y Portal de Periódicos CAPES. Se recogieron 49 artículos y el análisis se realizó desde la perspectiva del análisis de contenido. Los resultados evidenciaron una mayor frecuencia de trabajos que buscaban evaluar cuestiones relacionadas con el funcionamiento del juego y dejaban de lado preguntas sobre la evaluación que pudieran atestiguar si hubo algún aprendizaje durante el juego digital.

Palabras clave:
Aprendizaje basado en juegos; Educación química; Procesos de evaluación

ABSTRACT:

This study aims to investigate how the assessment process based on the use of digital games in chemistry teaching is being conducted, based on the analysis of academic production published in electronic databases. For this, data collection took place through a Systematic Literature Review, developed between the period from 2011 to 2021 in the SCOPUS, Web of Science, ACS Publications and Portal de Periódicos CAPES databases. 49 articles were collected and the analysis was carried out from the perspective of content analysis. The results showed a greater frequency of works that sought to evaluate issues related to the operation of the game and left aside questions about the evaluation that could attest if there was any learning during the digital game.

Keywords:
Game based learning; Chemical education; Assessment processes

INTRODUÇÃO

Os processos educativos vêm sofrendo mudanças ao longo dos anos, buscando adequar-se às transformações ocorridas em nossa sociedade, que está cada dia mais tecnológica e competitiva. Isto exige que os estudantes de hoje desenvolvam um conjunto de habilidades muito diferente daquela que seus pais e avós desenvolveram. No passado, a pessoa que adquiria habilidades de leitura básica, de escrita e de cálculo era considerada suficientemente alfabetizada. Nos dias atuais, tal cenário não condiz mais com a realidade e os estudantes precisam ler criticamente, escrever persuasivamente, pensar e raciocinar logicamente, além de resolver problemas cada vez mais complexos de matemática, ciências e de sua vida diária. A educação passou a ter como objetivo principal preparar os jovens para viver vidas independentes e produtivas. Porém, o sistema educacional por vezes não acompanha o ritmo dessas mudanças e demandas do ambiente mais complexo de hoje (Shute et al., 2010).

Dessa forma, passou a ecoar no meio educacional que deveriam haver mudanças no método de ensino considerado tradicional, principalmente no que diz respeito às aulas somente expositivas, que predominavam nas salas de aula. Muitos educadores criticam esse modelo tradicional, no entanto, é preciso observar que ele serviu ao seu propósito e foi efetivo até certo ponto. A chegada da internet e das mídias digitais proporcionou aos cidadãos o acesso universal à informação, e isso fez com que a sociedade mudasse a forma de se relacionar, consumir, trabalhar, aprender e, até mesmo, viver (Camargo & Daros, 2018).

Trazendo a discussão para o campo das ciências, percebe-se que estas disciplinas costumeiramente são vistas com menos apreço pelos estudantes, por serem consideradas um conjunto de conhecimentos estáticos, metódicos e precisos. Alinhando-se isso a uma formação pedagógica reprodutiva, formou-se uma prática conservadora, em que não existe a busca da transformação social dos processos educativos (Silva & Moradillo, 2002). Tais visões distorcidas das ciências acabam provocando o desinteresse e até mesmo a rejeição por parte de muitos estudantes, convertendo-se, assim, em um obstáculo para a aprendizagem (Cachapuz et al, 2005).

Diante desse cenário, destacam-se os jogos digitais, que passaram a ser amplamente utilizados no contexto educacional, principalmente por possuírem qualidades motivacionais, o que entusiasmou professores a introduzi-los em suas metodologias de ensino, uma vez que o desinteresse dos alunos na aprendizagem escolar vinha crescendo (Petry, 2016).

Para que a inserção do jogo nas aulas seja bem-sucedida, é necessário um planejamento que alinhe os objetivos de aprendizagem com as atividades de jogos, e principalmente com as atividades de avaliação. Uma vez que a avaliação é útil para determinar se o emprego do jogo digital foi favorável para aprendizagem dos alunos (Whitton, 2010). Porém, não existe um método geral que avalie o uso de jogos digitais, assim como existem poucas indicações de como avaliar a aprendizagem nesses casos. A experiência do professor em trabalhar a avaliação da aprendizagem irá contribuir para que ele avalie a eficácia da aplicação do jogo digital em sua sala de aula (Contreras-Espinosa & Eguia-Gómes, 2016).

Dentro do processo avaliativo, o professor possui um papel indispensável, uma vez que ele será o responsável por sua condução. Por conta disso, é muito importante que ele possua conhecimentos a respeito da avaliação da aprendizagem, entendendo que nesse caso, o seu papel na vida escolar é o de avaliador e não de examinador. Dessa forma, Luckesi (2018) propõe que o professor precisa “aprender a avaliar”. Segundo o autor, isto “significa aprender os conceitos teóricos sobre avaliação, mas, concomitante a isso, aprender a praticar a avaliação, traduzindo-a em atos do cotidiano. Aprender conceitos é fácil, o difícil mesmo é passar da compreensão para a prática” (p. 19).

Diante do exposto, é possível perceber que a avaliação em si já é um tema complexo que sempre carece de mais estudos a seu respeito. Quando a avaliação está relacionada à aplicação de jogos digitais no contexto do ensino de Química, torna-se ainda mais necessária, pois é a avaliação que vai dizer se determinado jogo é adequado para aquele cenário e principalmente se ele contribuiu para a aprendizagem dos estudantes que, de alguma forma, na relação didática mediada por jogos digitais, assumem papel de jogadores (Whitton, 2010).

Este trabalho apresenta uma Revisão Sistemática da Literatura (RSL) que, segundo Petticrew e Roberts (2006), é uma forma de dar sentido a um grande conjunto de informações, mapear áreas de incerteza e identificar lacunas de pesquisa, mostrando onde novos estudos são necessários. Este método foi utilizado neste trabalho porque considera os dados de pesquisa já realizados sobre o tema escolhido, reunindo e analisando evidências para que seja possível chegar a futuras conclusões a respeito da questão pesquisada.

A presente teve o objetivo de investigar de que forma ocorre o processo de avaliação para a aprendizagem baseada nos jogos digitais, a partir da análise dos artigos científicos obtidos com RSL entre os anos de 2011 e 2021. Como objetivos específicos, este trabalho se destinou a revelar o panorama de publicações de artigos científicos referentes à utilização dos jogos digitais no ensino de Química, por meio de buscas em bases de dados eletrônicas e identificar os pressupostos de avaliação utilizados para embasar os resultados provenientes da utilização do jogo digital.

FUNDAMENTAÇÃO TEÓRICA

Jogos Digitais

Segundo Michel e Chen (2006), os jogos são atividades voluntárias que são separadas do mundo real e, dessa forma, criam um mundo imaginário que pode ou não ter alguma relação com a vida real e que prende a atenção dos jogadores. De maneira resumida, porém abrangente, Schell (2011) define jogo como “uma atividade de solução de problemas, encarada de forma lúdica” (p. 37), entendendo que os jogos necessariamente precisam de regras, sob a condição de ser apenas um brinquedo caso não tenha, fazendo assim com que as regras sejam aspectos definidores dos mesmos.

Talvez uma das definições mais utilizadas ao se falar de jogos, por se tratar de uma referência na área, seja a de Huizinga (2019), que conceitua o jogo como sendo

Uma atividade de ocupação voluntária, exercida dentro de certos e determinados limites de tempo e espaço, segundo regras livremente consentidas, mas absolutamente obrigatórias, dotado de um fim em si mesmo, acompanhado de um sentimento de tensão e alegria e de uma consciência de ser diferente da “vida cotidiana” (Huizinga, 2019, p. 36).

Nessa definição, o autor também cita a necessidade das regras para que a atividade se configure como jogo. Corroborando com essas ideias, Salen e Zimmerman (2012) definem o jogo como “um sistema no qual os jogadores se envolvem em um conflito artificial, definido por regras, que resulta em um resultado quantificável” (p. 96). Na tentativa de construir uma definição, Suits (2005) também enfatiza a questão das regras em um jogo, ao concluir que

Jogar um jogo é engajar-se em uma atividade direcionada a produzir um determinado estado de coisas, usando apenas meios permitidos por regras, onde as regras proíbem meios mais eficientes em favor de meios menos eficientes, e onde tais regras são aceitas apenas porque possibilitam tal atividade (Suits, 2005, p. 48).

Trazendo a discussão para o âmbito dos jogos digitais, percebe-se que, com o passar dos anos, as experiências culturais e sociais das pessoas têm se tornado cada vez mais digitais. Segundo Beavis; Dezuanni e O’mara (2017), muitas pessoas passam, a maior parte do seu dia, imersas em ambientes digitais, construindo algum tipo de interação online, seja trabalhando, jogando, fazendo compras, conversando com amigos, dentre muitas outras. Os jogos digitais que são jogados em dispositivos móveis, consoles de jogo ou em computadores se tornaram parte central na vida de pessoas de várias idades ao redor do mundo (Beavis; Dezuanni & O’mara, 2017).

Embora as discussões sobre os jogos em geral ajudem a compreender o contexto dos jogos digitais, é importante destacar alguns pontos sobre eles. De acordo com Alves (2007):

O jogo é um elemento da cultura que contribui para o desenvolvimento social, cognitivo e afetivo dos sujeitos, se constituindo assim, em uma atividade universal, com características singulares que permitem a ressignificação de diferentes conceitos. Portanto, os diferentes jogos e em especial os jogos eletrônicos, podem ser denominados como tecnologias intelectuais (p. 63).

De acordo com Schuytema (2008), os jogos digitais ou jogos eletrônicos são atividades lúdicas constituídas por uma série de ações e decisões que culminam em uma condição final. Estas ações e decisões são limitadas por um conjunto de regras e pelo universo do jogo, que nesse caso, são regidos por programas de computador.

Apesar de reconhecer as vantagens dos jogos digitais para a aprendizagem, alguns autores também reconhecem a dificuldade existente em avaliar os resultados de seu uso, justamente por não haver um método geral que avalie a aprendizagem baseada em jogos (Contreras-Espinoza; Eguia-Gomez, 2016; Whitton, 2010, Mattar, 2010). Diante disto, é imprescindível que o tipo de avaliação seja apropriado às atividades realizadas e aos objetivos de aprendizagem que se deseja alcançar (Whitton, 2010).

Situando a Avaliação

De acordo com Luckesi (2018), “a avaliação pode ser caracterizada como uma forma de ajuizamento da qualidade do objeto avaliado, fator que implica uma tomada de posição a respeito do mesmo, para aceitá-lo ou transformá-lo” (p. 69), enfatizando assim a ideia de avaliação como um modo de estabelecer rumos ao processo de aprendizado.

No cotidiano escolar, nos discursos e escritos sobre a avaliação no âmbito educacional, encontramos muitos adjetivos que são dados a esse ato, baseados em diversos pontos de vista que geralmente são externos ao ato de avaliar, mas que merecem uma compreensão mais precisa (Luckesi, 2018). Diversos autores direcionaram seus estudos a respeito da construção de práticas avaliativas que pudessem de fato contribuir com melhorias na aprendizagem dos alunos, e cada um deles deu um nome ao processo avaliativo. Luckesi (2018, 2019) por exemplo, discute a avaliação como diagnóstica, Perrenoud (1999) já utiliza o termo “formativa”; Hoffmann (2014) fala da avaliação mediadora, enquanto Vasconcellos (2006) escreve sobre a avaliação dialética-libertadora; Romão (2008), por sua vez, define a avaliação como dialógica e Jorba e Sanmartí (2003) utilizam o termo “avaliação reguladora”. Embora todos eles usem adjetivos diferentes para a avaliação, suas ideias, em grande parte, se equivalem. Todos partem do pressuposto de que o resultado final deve ser a promoção das aprendizagens, algo que, no entendimento de Hoffmann (2001, p. 9), refere-se a “um patamar superior de aprendizagem, de acesso a um nível qualitativamente superior de conhecimento e de vida. ”

Cabe ressaltar ainda as percepções de autores como Fernandes (2008), Harlen (2006) e Villas Boas (2019) sobre as designações “avaliação da aprendizagem (assessment of learning) ” e “avaliação para a aprendizagem (assessment for learning) ” e suas semelhanças com os significados dos termos “avaliação somativa” e avaliação “formativa”, respectivamente. Para Harlen (2006, p. 104), a principal diferença é que a “avaliação para aprendizagem é usada na tomada de decisões que afetam o ensino e a aprendizagem no futuro de curto prazo, enquanto a avaliação da aprendizagem é usada para registrar e relatar o que foi aprendido no passado”. Em outras palavras, Fernandes (2008) pontua que a avaliação das aprendizagens se preocupa com os resultados da aprendizagem dos alunos, enquanto a avaliação para as aprendizagens dá preferência para os processos de aprendizagens. Colaborando com essa discussão, Villas Boas (2019) enfatiza que essa distinção vai além de um simples jogo de palavras pois, segundo a autora, o “para” indica uma movimentação em busca das aprendizagens e o “das” faz referência a um retrato da situação avaliada.

No entanto, mesmo reconhecendo a avaliação das aprendizagens e a avaliação para as aprendizagens como sendo processos que possuem conceitos diferentes, Harlen (2006) considera que, na prática, essas diferenças não são tão evidentes, o que permite descrevê-los como duas dimensões de um mesmo processo e não como uma dicotomia. Neste sentido, Fernandes (2008, p. 362) também considera esses dois processos como complementares, uma vez que ambos “contribuem de formas particulares para avaliar cabalmente o que os alunos sabem e são capazes de fazer”. Dessa forma, destaca-se que o entendimento de avaliação defendido neste artigo é aquele que vê o processo avaliativo como sendo uma forma de promover as aprendizagens dos estudantes, assemelhando-se ao entendimento de avaliação para as aprendizagens.

Avaliação e Jogos Digitais

A forma como qualquer jogo é avaliado é crucial para determinar se o seu uso foi significativo para a aprendizagem daquilo que se desejava. O jogo digital aplicado em um contexto escolar é bem-sucedido quando pelo menos auxilia no alcance dos objetivos de aprendizagem aos quais se propunha. Apesar disso, é importante não relacionar o desempenho do aluno no jogo como o desempenho na avaliação geral, isto porque um desempenho ruim no jogo, não significa necessariamente que o aluno não esteja aprendendo com ele. Um dos principais benefícios da aprendizagem baseada em jogos é a capacidade de cometer erros em um ambiente seguro e aprender com eles, e relacionar diretamente o desempenho com a avaliação estaria negando isto. Além de que, o baixo desempenho também poderia estar relacionado a outros fatores, como a dificuldade em navegar em um ambiente virtual ou mesmo a falta de experiência com determinado tipo de jogo. Com isso, os jogadores mais experientes teriam uma vantagem injusta sobre aqueles com menos experiência (Whitton, 2010).

Connolly et al. (2008) propõem alguns aspectos que devem ser examinados quando se quer determinar a aprendizagem baseada em jogos. São elas: a) performance do aluno, para verificar se a aprendizagem ocorreu e se há uma melhoria em seu desempenho; b) motivação, para observar o interesse e participação dos alunos no jogo; c) percepções, para avaliar os pontos de vista dos alunos para áreas relacionadas ao jogo; d) atitudes, para verificar os sentimentos dos alunos e professores em relação ao assunto em si e o uso de jogos para aprender dentro desse assunto; e) colaboração, observando a regularidade e eficácia da colaboração, no entanto, este aspecto é opcional e depende do design do jogo; f) preferências, que são inclinações dos alunos e professores para, por exemplo, diferentes estilos de aprendizagem ou modos de interação; g) ambiente de aprendizagem baseada em jogos, fatores associados ao jogo em si, como o design do ambiente, usabilidade, a forma como o jogo é implantado entre outros. Esta estrutura fornece uma visão global dos tipos de elementos que podem ser pesquisados a respeito da eficácia da aprendizagem baseada em jogos.

De acordo com Michael e Chen (2006), a maneira mais óbvia e também mais utilizada para avaliar o conhecimento dos conteúdos é o teste tradicional, com questões de múltipla escolha, seja dentro do jogo ou fora dele. Os autores também falam de outras opções que podem ser úteis, como as entrevistas baseadas em problemas específicos, a resolução de problemas gerais, as pesquisas tipo survey ou uma mistura de observação, testes e entrevistas.

Independentemente do instrumento utilizado pelo professor, é imprescindível que haja um planejamento que contemple os objetivos de aprendizagem e não somente a classificação dos alunos em bons ou ruins. Nesse caso planejar também é importante para que seja escolhido o jogo adequado ao público alvo e ao conteúdo que se pretende ensinar, para que os benefícios alcançados sejam mais do que apenas motivacionais e possam, de fato, contribuir com o ensino e a aprendizagem (Esteban, 2008; Whitton, 2010).

METODOLOGIA

A pesquisa relatada neste artigo foi desenvolvida por meio de uma Revisão Sistemática da Literatura (RSL) sobre o ensino de química através do uso de jogos digitais. De acordo com Felizardo et al. (2017), uma RSL tem o intuito de identificar, selecionar, avaliar e interpretar estudos disponíveis considerados relevantes sobre um tópico de pesquisa ou fenômeno de interesse. O recorte temporal adotado para a RSL compreendeu-se entre os anos de 2011 a 2021, considerando o aumento na utilização de jogos digitais e mídias de maneira geral para fins educativos, ao longo dos últimos anos (Camargo & Daros, 2018; Petry, 2016) e entendendo o período de uma década como amostra significativa para a execução de revisões sistemáticas (Felizardo et al., 2017).

Do ponto de vista da abordagem, esta pesquisa é qualitativa, pois buscou estudar os fenômenos envolvidos no processo avaliativo da aprendizagem baseada em jogos digitais, através de técnicas de tratamento e análise de dados de cunho qualitativo. Quanto aos procedimentos técnicos empregados, este trabalho se classifica como pesquisa bibliográfica, pois, foi elaborada com base em material já publicado. Foram analisados artigos publicados em periódicos que possuíssem revisões por pares, que abordassem o uso de jogos digitais voltados para o ensino de química (Gil, 2019; Severino, 2017).

Foram escolhidas bases de dados disponíveis na internet e que possuem trabalhos completos e revisados por pares. São elas: SCOPUS, Web of Science, ACS Publications e Portal de Periódicos CAPES. Após a definição e validação das fontes dos dados, foram definidas as strings de busca, que é a estratégia utilizada para procurar os estudos nas fontes estabelecidas. As buscas foram feitas pelo site das bases de dados, utilizando a máquina de busca disponível em cada uma delas. A string utilizada nesta pesquisa foi “ (chemistry OR química) AND (education OR learning OR teaching OR educação OR aprendizado OR ensino) AND (jogo OR game) ”.

Cabe destacar também que todas as pesquisas foram realizadas através do Acesso CAFe (Comunidade Acadêmica Federada). Este acesso, fornecido pela Rede Nacional de Ensino e Pesquisa (RNP), permitiu que o pesquisador utilizasse seu login e senha institucionais para acessar de forma remota o conteúdo assinado pelo Portal de Periódicos da CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior).

Não houve a necessidade de usar palavras no plural na string, pois no singular já conseguiu abranger as palavras-chave da pesquisa. A utilização de palavras em inglês e português se deve ao fato de que os pesquisadores julgaram importante considerar trabalhos nessas duas línguas, principalmente em inglês, devido à popularidade do idioma, uma vez que ele é adotado em inúmeros países e até mesmo trabalhos feitos no Brasil serem publicados em inglês. Também não foram utilizados termos referentes à avaliação nas strings de busca pois, durante os testes de busca, observou-se que a inclusão de termos referentes à avaliação restringia os resultados encontrados, retornando apenas trabalhos que estabelecessem alguma relação com os jogos digitais e a avaliação, ocasionando uma diminuição dos artigos recuperados pela RSL. Como observado, esta combinação de palavras-chave teve o intuito de buscar trabalhos que envolvessem a química e os jogos e suas relações com a educação, ensino ou aprendizagem. As questões referentes ao processo de avaliação da aprendizagem baseada nos jogos foram extraídas após as análises dos artigos coletados, partindo do entendimento de que a avaliação é parte indissociável do processo de ensino-aprendizagem que estava sendo proposto a partir do jogo digital.

Após a definição das fontes e strings, iniciou-se o processo de busca dos estudos nas bases, dando enfoque nos artigos científicos indexados nas bases selecionadas. Com o intuito de documentar esta etapa do processo, utilizou o programa StArt (State of the Art Through Systematic Review) para a organização e seleção inicial dos trabalhos encontrados nas buscas.

Após a compilação dos estudos retornados na busca, iniciou-se o que Felizardo et al. (2017) chamam de etapa zero da seleção dos estudos, que é a eliminação dos estudos duplicados, isso acontece porque algumas bases têm indexados periódicos em comum, o que faz com que hajam resultados duplicados entre as bases pesquisadas. Nessa pré-seleção, foram excluídos 69 trabalhos duplicados, restando 1753 trabalhos ao todo.

Em seguida, foi feita a seleção inicial, com base na leitura dos títulos e resumos dos trabalhos. Aqueles que não correspondiam ao tema de pesquisa eram excluídos. Dos 1753 estudos encontrados, 701 trabalhos foram selecionados. Nesta etapa, foram incluídos todos os trabalhos que envolviam jogos, independentemente do tipo ou da área de conhecimento a que se destinavam.

Em seguida, foi realizada a revisão da seleção, indicada para aumentar a confiabilidade da seleção e evitar que estudos relevantes sejam excluídos (Felizardo et al., 2017). Levando em consideração os critérios de inclusão e exclusão adotados, nesta etapa houve uma grande quantidade de trabalhos excluídos, dos 701 anteriormente selecionados, 617 não se adequavam aos critérios, restando assim 84 trabalhos que foram considerados para a pesquisa. Essa grande quantidade de exclusões se deve ao fato de que, ao analisar melhor alguns pontos importantes dos artigos como objetivos e metodologia, percebeu-se que a maioria deles abordavam jogos não digitais, como jogos de tabuleiro, jogos de cartas, dentre outros. Como a pesquisa tem o objetivo de estudar jogos digitais, somente estes foram selecionados.

Por fim, foi realizada a seleção final, baseando-se na leitura completa de todos os estudos primários selecionados para esta etapa. Nesse processo, foram excluídos ainda 35 trabalhos que, após lidos por inteiro, não se adequavam aos critérios de seleção adotados. Alguns não abordavam jogos de fato, por vezes, tratavam-se de aplicativos de celular ou programas de computador que não eram classificados como jogo pelos autores dos trabalhos. Também ainda haviam aqueles que não abordavam conteúdos de química, resultando em 49 artigos selecionados nesta última etapa de seleção.

Em suma, a busca nas bases de dados resultou em 1753 estudos disponíveis para análise (excluindo-se os 69 duplicados), sendo selecionados 701 por título e resumo. Destes, 84 foram selecionados após revisão da seleção. Por fim, após leitura completa, obteve-se um total de 49 estudos primários selecionados para a RSL. Os artigos selecionados foram identificados de A1 a A49 e os detalhes sobre a referência bibliográfica de cada um deles podem ser acessados no link presente na nota de rodapé¹.

Para o tratamento e análise dos dados obtidos com a RSL, os pesquisadores recorreram à técnica de Análise de Conteúdo proposta por Bardin (2016), por se tratar de um método de análise capaz de gerar inferências sobre o conteúdo analisado, a fim de produzir significado para os dados coletados e conseguir gerar resultados mais satisfatórios e posteriores discussões sobre o tema, de modo a atingir os objetivos e responder as questões de investigação.

O processo de análise dos dados foi dividido em duas etapas. A primeira, denominada exploração do material, consistiu na leitura dos artigos selecionados, a fim de coletar informações que atendessem aos objetivos e respondessem à questão de pesquisa. Essas leituras tinham o intuito de retirar as unidades de registro, que são trechos do texto que são capazes de produzir significado de forma codificada a respeito do conteúdo, visando a categorização e a contagem frequencial. Este processo é chamado de codificação, que consiste em uma transformação dos dados brutos do texto em uma forma representativa do conteúdo ou de sua expressão, com o objetivo de esclarecer ao pesquisador as características pertinentes do texto (Bardin, 2016).

Após a definição das unidades de registro, partiu-se para a definição das categorias. Para este trabalho, os pesquisadores não definiram categorias prévias de análise, pois isto poderia levar a uma simplificação e fragmentação do conteúdo analisado, uma vez que trechos relevantes poderiam ser deixados de fora da análise por não se encaixarem nas categorias, caso fossem estabelecidas previamente (Franco, 2008). Dessa forma, a partir da análise dos artigos, extração e agrupamento das unidades de registro temáticas, foi possível criar a categoria de análise intitulada “Formatação do Processo Avaliativo” e as suas respectivas subcategorias: Instrumentos utilizados, Momento da avaliação, Experiência Controlada e Análise dos Resultados (Qualitativa e Quantitativa).

Vale ressaltar que, para facilitar a organização dos dados, adotou-se o Mendeley, um software comumente utilizado no gerenciamento de referências bibliográficas. Apesar de não ser projetado especificamente para dar suporte à execução de RSL, assim como o StArt, o Mendeley foi muito útil para auxiliar na tarefa de leitura e extração das unidades de registro dos textos, assim como facilitar na hora de formar as categorias, por conter uma funcionalidade que agrupa os trechos selecionados.

A segunda etapa, chamada de interpretação dos dados, teve o objetivo de apresentar as inferências produzidas pelos autores a partir da análise dos dados. Realizou-se um processo manual de interpretação e compreensão sobre o tema investigado, relacionando-o com o referencial bibliográfico utilizado no estudo, que foi baseado em autores que tratam da avaliação, tendo Luckesi (2018, 2019) como referência principal, e autores que abordam os jogos digitais como Michael e Chen (2006), Whitton (2010), Mattar (2010), dentre outros; com o intuito de analisar as convergências e divergências identificadas nos dados obtidos e atingir os objetivos da pesquisa (Bardin, 2016).

RESULTADOS E DISCUSSÃO

Nos quadros a seguir, serão apresentados todos os dados obtidos nas análises que puderam ser agrupados na categoria “Formatação do Processo Avaliativo”, revelando como foram realizados os processos de avaliação da aprendizagem nos casos estudados, através dos instrumentos utilizados, formas de analisar os resultados, etc. Para melhor visualização e discussão, os quadros estão divididos em subcategorias, com as suas respectivas unidades de registro, bem como os trabalhos aos quais foram extraídas as unidades e as citações representativas das unidades de maior frequência. Neste ponto, cabe ainda ressaltar que a categorização não é feita através da classificação dos trabalhos individualmente, mas sim por meio do agrupamento das unidades de registro retiradas dos textos e, por conta disso, pode ocorrer de um mesmo artigo ser enquadrado em mais de uma unidade de registro.

Instrumentos utilizados

Esta subcategoria reuniu as unidades de registro que indicavam quais instrumentos os autores dos artigos utilizavam para realizar a avaliação. De acordo com o quadro 1, foram empregados vários instrumentos para a avaliação, sendo o questionário de múltipla escolha o mais frequente deles, aparecendo em 24 trabalhos, seguido daqueles que utilizaram questionários com Escala de Likert, com 20 trabalhos. Houve também aqueles que utilizaram a observação (8 trabalhos), questões abertas e fechadas (7 trabalhos) e entrevistas (6 trabalhos). Vale ressaltar que, em 13 artigos, foi utilizado mais de um instrumento para realizar a sua avaliação (A2, A6, A7, A9, A22, A23, A33, A38, A40, A43, A45, A46, A49).

Quadro 1
Descrição da subcategoria “Instrumentos utilizados”

Segundo Luckesi (2019), os instrumentos de coleta de dados para a avaliação devem estar em conformidade com os projetos da escola, assim como dos planos de ensino e das aulas ministradas pelo professor. Tais instrumentos precisam ser elaborados, aplicados e corrigidos levando estes pontos em consideração, pois são eles que irão informar se os objetivos foram alcançados ou não, e com que qualidade. Se os instrumentos da avaliação não fornecerem esses dados, eles serão insatisfatórios.

De acordo com Michael e Chen (2006), as formas mais tradicionais de avaliar o conhecimento do conteúdo são os testes com questões de múltipla escolha, mas também existem outras opções como entrevistas baseadas em um assunto específico, resolução de problemas e pesquisas survey. Como visto, muitos destes foram usados nos trabalhos desta subcategoria.

Os questionários de múltipla escolha, que foram os mais utilizados nos artigos analisados, assim como aqueles que possuem questões abertas e fechadas, por vezes são criticados dentro do meio educacional, por ser um método estruturado de coleta de dados quantitativos, considerado inadequado para a prática da avaliação para a aprendizagem. Tais afirmações não são totalmente verídicas, pois o que distorce a prática avaliativa não são os instrumentos utilizados, mas sim a forma com que os seus resultados são trabalhados. Os resultados podem servir apenas para a classificação dos alunos a partir das suas notas ou podem servir de ponto de partida para a tomada de decisão do educador rumo a melhorias na aprendizagem de seus alunos (Luckesi, 2019).

Dentre os trabalhos que utilizaram questionários, destaca-se o trabalho A18, em que os autores propuseram aos alunos uma pesquisa de avaliação que incluía feedback do conteúdo, facilidade de uso e aparência dos gráficos. Já o trabalho A37, realizou a coleta de dados para a avaliação através de um questionário semiestruturado, com questões abertas e fechadas elaborado com o auxílio do Google Forms, com o intuito de verificar se o jogo proposto era útil como estratégia avaliativa no ensino de química. A partir destes exemplos, é possível perceber que para cada instrumento utilizado, havia uma finalidade para as quais eles estavam sendo utilizados. Corroborando com este fato, Luckesi (2019) enfatiza que todos os instrumentos de coleta de dados para a avaliação são válidos e podem ser úteis, “desde que sejam adequados aos objetivos da avaliação, isto é, adequados às necessidades e ao objeto da ação avaliativa e elaborados segundo as regras da metodologia científica” (p. 297).

Em relação aos trabalhos agrupados nesta subcategoria, também houve aqueles que utilizaram os questionários com escala de Likert e observações como instrumentos para a avaliação. A escala de Likert não é uma ferramenta comumente utilizada nos processos de avaliação da aprendizagem, mas foram bastante utilizadas nos artigos analisados, principalmente por aqueles que focaram na avaliação do jogo baseados nas opiniões dos estudantes que o jogavam. Trata-se de uma escala de mensuração desenvolvida nos Estados Unidos em 1932 por Rensis Likert (1903-1981), um professor de sociologia e psicologia, que também foi diretor do Instituto de Pesquisas Sociais de Michigan. Muito indicada para realizar pesquisas de opinião e pesquisas de satisfação, a escala de Likert permite que se descubra diferentes níveis de intensidade da opinião a respeito de um mesmo assunto ou tema. Em geral, as questões presentes na escala de Likert se apresentam na forma de uma afirmação e como opção de resposta, existe uma escala de pontos com descrições que contemplam extremos como “concordo totalmente” e “discordo totalmente”, por exemplo (Vieira & Dalmoro, 2008).

Como exemplo dos trabalhos que utilizaram a escala de Likert, no trabalho A26, os alunos avaliaram o jogo respondendo uma pesquisa eletrônica com 15 afirmações, com respostas na forma de uma escala de Likert, englobando quatro áreas de interesse: design, conteúdo, jogabilidade e utilidade do jogo. Já no trabalho A24, os autores aplicaram um questionário de 25 questões com escala de Likert para medir a motivação dos estudantes para aprender química antes e depois de participar das atividades de aprendizado. Como visto, as escalas de Likert foram utilizadas para colher as opiniões dos estudantes a respeito de suas experiências com os jogos digitais aplicados. Com esse mesmo intuito de coletar as opiniões dos jogadores a respeito da experiência com os jogos, os autores dos artigos incluíram as entrevistas em seus instrumentos, pois assim, recebiam feedbacks que lhes seriam muito úteis para futuras melhorias em seus jogos.

Por último, houve ainda oito trabalhos que afirmaram utilizar as observações como instrumento de coleta de dados para a avaliação. Whitton (2010) afirma que grupos focais e observações são importantes métodos quando se trabalha com jogos digitais no contexto educacional. Luckesi (2019) também pontua que uma simples observação sistemática é um instrumento importante para avaliação, desde que seja baseada em um conjunto de indicadores intencionalmente selecionados para isso. Diante do exposto, percebe-se a ampla gama de instrumentos que podem ser utilizados quando se quer realizar algum tipo de avaliação, e como alguns autores dos trabalhos analisados utilizaram esses instrumentos combinados para que pudessem ter mais detalhes nos dados coletados e, assim, obter resultados que retratassem a realidade avaliada de forma mais fidedigna. Isto mostra que todos esses instrumentos foram úteis e podem ser utilizados em diversos contextos, desde que se adequem aos objetivos do avaliador e que sejam construídos de forma sistemática e planejada (Luckesi, 2019).

Ainda neste contexto de avaliação, vale ressaltar que, embora praticamente todos os artigos tenham utilizado os jogos digitais com o intuito de ensinar algum conteúdo de química, durante as análises foi possível perceber que alguns autores se preocuparam em descrever como foi o funcionamento do jogo e, assim, as questões relacionadas à avaliação da aprendizagem proveniente dele, ainda que presentes, ficaram em segundo plano. Conhecer o desempenho do jogo é de suma importância quando se quer desenvolver um jogo voltado para a educação, pois como Salen e Zimmerman (2012) pontuam, o design de jogos não deve ser algo puramente teórico, pois os designers aprendem também durante o processo de construção do jogo, experimentando as coisas que criam e recebendo feedbacks, que nesses casos eram dados pelos alunos que experimentavam o jogo. Esse processo é chamado de design iterativo e permite que as decisões relacionadas à construção do jogo sejam tomadas a partir da experiência de jogar um jogo durante seu desenvolvimento (Salen & Zimmerman, 2012). Portanto, para que um jogo educativo possa resultar na aprendizagem de quem os joga, ele deve ser bem construído e testado, para que depois seja possível observar o que o jogo realmente pode agregar em relação aos conhecimentos de química dos estudantes (Michael & Chen, 2006).

Contudo, a avaliação da aprendizagem proveniente do jogo também precisa ser levada em consideração durante sua aplicação no contexto educacional. O tema avaliação já é considerado complexo e necessita de planejamento para que possa ocorrer de forma satisfatória. Quando está atrelado ao contexto de jogos digitais, o cenário muda um pouco, pois o ambiente de aprendizado proporcionado pelo jogo se adapta aos estudantes ao longo do tempo e varia de um para o outro, e isso dificulta avaliar o que o jogador aprendeu ou quanto tempo ele levou para aprender algo e assim por diante (Luckesi, 2018; Michael & Chen, 2006).

Neste ponto, é importante frisar que os jogos, assim como as mídias digitais de modo geral, não são a “salvação” das aulas, especialmente daquelas com falhas de planejamento e que não possuem objetivos bem delineados (Cruz Junior, 2018). Para o educador que pretende mudar um pouco a sua forma de ensinar química através da inserção de um jogo digital em sua metodologia, faz-se necessário também repensar os outros aspectos de sua prática, para que haja uma mudança por completo e não de forma fragmentada, e a forma de avaliar a aprendizagem de seus alunos é uma das coisas mais importantes nesse processo. Neste sentido, Whitton (2010) enfatiza que “se usar um game em si é uma inovação, você pode se sentir desconfortável também fazendo uma inovação em avaliação, mas é importante que o tipo de avaliação seja apropriado às atividades realizadas e a aprendizagem desejada” (p. 104).

Momento da avaliação

Esta subcategoria reuniu as unidades de registro que mostravam em que momento os autores dos artigos realizavam a avaliação em seus trabalhos. Conforme apresentado no quadro 2, a maior frequência se deu naqueles trabalhos que realizavam o pré-teste e o pós-teste, isto é, realizaram um teste com os alunos antes e depois da aplicação do jogo, aparecendo em 25 trabalhos, seguidos daqueles que realizaram somente o pós-teste, presente em seis trabalhos. Os demais trabalhos que não se enquadraram nesta subcategoria eram trabalhos teóricos ou não tinham sido aplicados, ou ainda aqueles em que os autores usaram a observação e entrevistas e não mencionaram isto como sendo testes em seus trabalhos.

Quadro 2
Descrição da subcategoria “Momento da avaliação”

Embora existam vários métodos e técnicas utilizadas para a avaliação da aprendizagem baseada em jogos, Bellotti et al. (2013) pontuam que o uso do pré e pós-teste ainda é comumente utilizado, sendo uma prática bem presente em pesquisas sobre o tema. Ainda segundo os autores, esta prática visa “medir as mudanças nos resultados educacionais após modificações no processo de aprendizagem, como testar o efeito de um novo método de ensino” (Bellotti et al., 2013, p. 3). Nos casos analisados, os autores dos trabalhos queriam analisar as contribuições da inserção dos jogos digitais nas aulas de química para o aprendizado dos alunos. Nestes estudos experimentais, essa forma de fazer os testes pode ajudar a mensurar a eficácia de uma inovação educacional, pois ao final é feita a comparação dos testes e as diferenças nas pontuações do pré e pós-teste podem indicar que a intervenção ocasionou algum tipo de aprendizagem nos alunos (Whitton, 2010).

De acordo com Michael e Chen (2006), estes testes possuem grande importância, uma vez que, sem instrumentos que possam mensurar de alguma forma o conhecimento ou habilidades dos alunos antes e/ou depois das atividades, torna-se ainda mais difícil saber se algo foi aprendido. Pesquisas de opinião, por exemplo, para esse momento não são muito adequadas, pois o fato de o jogador achar que ele aprendeu algo não significa que ele realmente aprendeu. No entanto, Whitton (2010) aponta alguns problemas que podem ser enfrentados quando se decide adotar esta prática e que devem receber atenção especial. Segundo a autora

Se os objetivos de aprendizagem são baseados em conhecimento e envolvem a memorização de fatos, então eles podem ser fáceis de avaliar com algo como um teste simples, mas eu diria que o melhor uso de jogos [...] não é focar nesses resultados de aprendizagem de nível inferior, mas em resultados de nível superior que envolvem síntese, avaliação e pensamento crítico - resultados que não são tão diretos ou rápidos para testar. Há também a questão da equivalência entre os dois testes (que não podem ser idênticos porque então seria impossível distinguir entre aprender com o jogo e aprender por ter completado anteriormente o mesmo teste) e como você pode garantir que eles sejam da mesma dificuldade e avaliar exatamente os mesmos aspectos da aprendizagem (Whitton, 2010, p. 108).

Corroborando com as ideias de Whitton (2010) sobre as limitações do uso do pré e pós-teste para avaliação no caso dos jogos digitais, Bellotti et al. (2013), também pontuam que o principal problema desse tipo de teste é que há dificuldades em determinar se o ato do pré-teste influenciou algum dos resultados do pós-teste, ou seja, se houve melhoria nas pontuações do pós-teste, tais resultados não são considerados suficientes para afirmar que tal progresso foi proveniente da utilização do jogo, ou se foi apenas por conta da realização do mesmo teste anteriormente.

Dos artigos que utilizaram o pré e pós-teste, por exemplo, é possível citar o trabalho A23, em que foi aplicado um pré-teste com 18 questões de múltipla escolha sobre nomenclatura de compostos orgânicos para avaliar os conhecimentos prévios, já o pós-teste aplicado buscava coletar informações sobre os pensamentos dos estudantes a respeito do jogo utilizado. Neste caso, observou-se uma diferenciação entre os testes como uma forma de diminuir as chances dos resultados do segundo teste serem afetados pelo primeiro, além do fato de que os testes buscavam avaliar objetos diferentes: os conhecimentos prévios dos alunos sobre o conteúdo abordado e as opiniões dos estudantes sobre sua experiência ao utilizar o jogo proposto.

De forma semelhante, no trabalho A27, os estudantes preencheram um pré-teste sobre o conteúdo de configuração eletrônica e, após a atividade, fizeram um novo teste, similar ao primeiro com um novo conjunto de elementos químicos. Neste artigo, os autores fizeram os dois testes com dois grupos: um deles utilizou a versão digital do jogo proposto e o outro jogou uma versão que faz uso de papel e caneta. O cálculo das médias dos testes mostrou um aumento de 25,6% no grupo que fez uso do jogo digital e 22,3% naqueles que utilizaram a “versão clássica” do jogo. Essa diferença não foi considerada significativa pelos autores e, por conta disso, concluíram que ambas as versões do jogo trazem benefícios para a performance dos alunos no conteúdo de configuração eletrônica. Tais exemplos ilustram como a utilização do pré e pós-teste pode ser prejudicada quando o que se quer avaliar é a aprendizagem, recaindo no risco de que os dados coletados não retratem a realidade e, portanto, não indiquem se houve a aprendizagem e se ela foi proveniente da utilização do jogo digital.

Em sua obra “Avaliação da aprendizagem: componente do ato pedagógico”, Luckesi (2019), discute sobre os modelos de avaliação que precisam ser abordados quando o assunto é o processo avaliativo. Estabelecendo paralelos com os resultados obtidos nesta pesquisa, as práticas de pré e pós-teste se assemelham ao que Luckesi (2019) chama de modelo “antes e depois” que, segundo o autor, “diz que devemos proceder a uma avaliação do nosso objeto de estudo antes de qualquer intervenção e depois dela, a fim de verificar seus efeitos” (Luckesi, 2019, p. 366). Da mesma forma, aqueles que utilizaram somente o pós-teste, utilizaram o modelo “somente depois”, que “se destina ao diagnóstico do produto pronto, seja esse produto um objeto ou uma instituição ou a capacidade de agir adquirida por uma pessoa” (Luckesi, 2019, p. 366). Cabe ainda ressaltar que essas semelhanças dizem respeito ao momento de aplicação dos testes, sejam eles antes ou depois da intervenção, que nesse caso é a utilização do jogo digital. No entanto, a finalidade destes testes possui diferenças, uma vez que o pré e pós-teste visam apenas medir pontuação de respostas corretas entre eles, buscando validar o jogo digital proposto; enquanto os modelos de avaliação propostos por Luckesi (2019) acima citados, buscam realizar um acompanhamento da aprendizagem do educando, em uma espécie de “avaliação processual”, tomando como entendimento que “a certificação é consequência da aprendizagem; por isso, o que temos que buscar é a aprendizagem, e é para isso que serve o processo avaliativo” (Luckesi, 2019, p. 369).

Experiência controlada

Esta subcategoria foi criada a partir da frequência das unidades de registro que apontavam uma tendência dos autores dos trabalhos na forma como eles desenvolviam o experimento apresentado no artigo. Conforme apresentado no Quadro 3, 14 trabalhos utilizaram a experiência controlada e dividiram os participantes da pesquisa, que nesses casos foram os alunos, em um grupo teste ou grupo experimental e grupo controle, para poder comparar o desempenho dos dois grupos e gerar resultados a respeito do uso dos jogos digitais nas aulas de química.

Quadro 3
Descrição da subcategoria “Experiência controlada”

Dentre os trabalhos que utilizaram a experiência controlada, destacam-se alguns trabalhos, como o A34, em que os autores utilizaram duas turmas de terceiro ano do ensino médio, que foram divididos em grupo experimental e grupo controle, para que eles pudessem avaliar o papel instrucional do jogo. Já no trabalho A27, o jogo foi testado por estudantes universitários do primeiro ano e a turma também foi dividida em dois grupos, sendo que um estudou o conteúdo de configuração eletrônica com o auxílio do jogo de realidade virtual desenvolvido por eles e o outro realizou a mesma atividade, mas sem fazer uso do jogo. Com isso, os autores também queriam saber se existia alguma diferença nos resultados dos testes feitos por esses dois grupos. Em ambos os casos, os grupos foram avaliados com pré e pós-teste no formato de questionário de múltipla escolha sobre o assunto de química estudado e as opiniões dos jogadores sobre suas experiências ao utilizar o jogo.

Em experimentos científicos, a experiência controlada é aquela em que dois grupos ou amostras são comparadas para testar uma hipótese. Um desses grupos é chamado de grupo de controle, que não irá sofrer nenhuma alteração, e o outro é o grupo experimental, no qual é introduzida alguma interação. De maneira geral, ao utilizar esse método o pesquisador parte do princípio de que os grupos apresentam características semelhantes em relação ao objetivo da pesquisa e que as mudanças observadas serão devido à inserção da variável experimental. Tal raciocínio se revela verdadeiro quando os sujeitos que serão mensurados são inanimados, mas quando se trata de seres humanos, como foi o caso dos artigos analisados neste trabalho, limitações podem ocorrer (Lakatos & Marconi, 1991).

Tais limitações podem acontecer pelo fato de que, quando a pesquisa é realizada com pessoas, não há como garantir semelhanças em todos os aspectos em relação aos grupos e, justamente por isso, os autores dos artigos buscaram pontos em comum em relação aos indivíduos, como a série que se encontravam e a faixa de idade dos mesmos, pois como o que estava sendo avaliado era a aprendizagem dos conteúdos de química, partia-se do ponto de que se as turmas eram da mesma série, estariam também em níveis equivalentes de aprendizado, o que justificaria o agrupamento. Lakatos e Marconi (1991), chamam a atenção para um efeito de interação que pode ocorrer nesses casos, como o que as autoras chamam de “efeito educacional”, que é aquele que sensibiliza as pessoas, fazendo-as reparar mais no objeto de investigação, o que também pode afetar o grupo de controle e, consequentemente, afetando também os resultados provenientes deste experimento. Dessa forma, observa-se que há a necessidade de uma atenção redobrada ao proceder o estudo com a divisão de grupos entre os estudantes, com o intuito de reduzir esse possível efeito que pode prejudicar os resultados da pesquisa. Vale ressaltar que todos os trabalhos listados nesta subcategoria são trabalhos publicados em inglês e produzidos em outros países, o que pode representar uma prática mais comum nas pesquisas educacionais internacionais, uma vez que nenhum artigo do Brasil, dentre os selecionados nesta pesquisa, utilizou este método.

Análise dos Resultados (Qualitativa e Quantitativa)

Nesta subcategoria foram reunidas as unidades de registro que apontavam para a forma como os autores dos trabalhos analisaram os resultados provenientes das avaliações por eles realizadas. Conforme apresentado no quadro 4, a maior parte dos artigos trabalhou os seus resultados através de uma perspectiva mais quantitativa (23 trabalhos), fazendo uso de testes estatísticos que envolviam cálculos de desvio padrão e de frequências, teste t e teste de confiabilidade, além de alguns também utilizarem softwares de tratamento de dados estatísticos com o SPSS (A5, A23, A24) e o Sigma Plot 11.0 (A20).

Como exemplo, o trabalho A24 trouxe que as pontuações do pré e pós-teste foram analisadas com teste t em amostras independentes e as medidas também foram submetidas ao teste de análise de variância para avaliar se havia alguma diferença entre as médias dos diferentes grupos. Vale ressaltar que todas as análises do artigo citado foram realizadas no programa SPSS Statistics.

Quadro 4
Descrição da subcategoria “Análise dos resultados”

Por outro lado, houve também aqueles que utilizaram técnicas de cunho qualitativo no momento de analisar seus resultados para apresentá-los no artigo. Quatro artigos trabalharam com análise de conteúdo, enquanto três artigos utilizaram uma técnica chamada análise SWOT. A análise de conteúdo pode ser entendida como um conjunto de técnicas que servem para analisar as comunicações, buscando dar sentido a um texto, através de procedimentos sistemáticos e objetivos de descrição do conteúdo, que permitam realizar inferências de conhecimentos relativos ao tema analisado (Bardin, 2016). Vale ainda ressaltar que nenhum dos trabalhos que usou as técnicas quantitativas de análise eram em português; além disso, dois trabalhos que utilizaram a análise de conteúdo eram em português e ou outros dois em inglês. Isso pode indicar uma tendência na produção acadêmica voltada para o ensino de química sobre a forma como os resultados de aprendizagem são analisados e apresentados, os artigos publicados no exterior convertem em números o que os alunos aprenderam ou não, enquanto os trabalhos aqui do Brasil revelam uma maneira de análise que engloba também os fenômenos envolvidos no processo de aprendizagem.

Já a análise SWOT é uma abreviação das palavras em inglês strengths, weakness, opportunities e threats (em português: forças, fraquezas, oportunidades e ameaças). Esta técnica é comumente utilizada no ambiente corporativo e serve principalmente para avaliar os ambientes interno e externo de uma empresa, buscando caminhos para o seu crescimento no mercado, bem como otimizar o seu desempenho (Silva et al., 2011). Neste caso, a técnica foi adaptada pelos autores para avaliar os pontos fracos e fortes dos jogos digitais, a partir das concepções dos alunos que o jogaram. Houve ainda um trabalho (A31) que utilizou o software MAXQDA, que serve principalmente para realizar análise de dados qualitativos em pesquisas. Neste trabalho, os autores utilizaram entrevistas com professores e alunos para coletar dados a respeito da utilização do framework que eles desenvolveram para organizar o design de ambientes digitais de aprendizagem de maneira padronizada, algo semelhante a uma sequência didática. O conteúdo das entrevistas foi analisado qualitativamente com o auxílio do MAXQDA.

CONSIDERAÇÕES FINAIS

A respeito do processo avaliativo, percebe-se que não há uma unanimidade em relação aos objetos avaliados nos artigos, uma vez que a maior parte deles se preocupou em avaliar questões referentes ao funcionamento do jogo e deixou de lado questões sobre a avaliação que pudesse atestar se houve algum aprendizado durante a aplicação do jogo digital. Isso foi percebido principalmente pelos trabalhos que desenvolveram o próprio jogo, em que a maior parte do artigo se destinava a descrever como o jogo digital havia sido construído. Cabe destacar que não se quer diminuir a importância da avaliação do jogo, entretanto, é importante incluir no processo elementos que também avaliem a ocorrência das aprendizagens, pois, de acordo com Whitton (2010), a aplicação de um jogo digital só será bem-sucedida se houver contribuído de alguma forma para a aprendizagem dos alunos.

Ainda em relação ao processo de avaliação, a variedade de instrumentos de coleta de dados utilizados indica que, além de diversificar a forma de ensinar química através da inserção dos jogos digitais, os professores também buscaram outras ferramentas de coleta de dados para avaliação, embora nem sempre o objeto da avaliação fosse a aprendizagem. Apesar disso, ao longo das análises, foi possível perceber que, dentro do universo de pesquisa, a principal causa para a inserção dos jogos digitais foi a necessidade de uma ferramenta que pudesse auxiliar os alunos na aprendizagem de química, o que nos permite inferir que haviam processos de avaliação para a aprendizagem envolvidos ainda que isso não estivesse explícito em todos os artigos. Nesse sentido, destaca-se a importância do uso dos jogos na tentativa de superar a “cultura da nota”, tão presente nas salas de aula de Química, valorizando, assim, o processo de aprender por meio de uma avaliação com função formativa, incentivando os estudantes a refletir sobre os seus resultados em termos de êxitos e dificuldades (Ramos & Moraes, 2015).

Por fim, vale ressaltar que este artigo não teve a pretensão de esgotar as discussões aqui presentes. Acredita-se que o presente estudo possa servir de suporte para que as pesquisas acerca deste tema possam ser continuadas e/ou aprofundadas, considerando que as discussões envolvendo as problemáticas do ato de avaliar são essenciais para que ocorram mudanças significativas no processo de ensino e aprendizagem de química.

AGRADECIMENTOS

Os autores agradecem à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) pela bolsa concedida para o desenvolvimento desta pesquisa e à Fundação de Amparo à Pesquisa e ao Desenvolvimento Científico e Tecnológico do Maranhão (FAPEMA) pelo apoio com o processo UNIVERSAL-06789/22.

REFERÊNCIAS

• Alves, L. (2007). Jogos eletrônicos e SCREENAGENS: possibilidades de desenvolvimento e aprendizagem. In: Silva, E.; Moita, F.; Sousa, R. O. Jogos eletrônicos: construindo novas trilhas. Campina Grande: EDUEPB.
• Bardin, L. (2016). Análise de Conteúdo Lisboa: Edições 70.
• Beavis, C.; Dezuanni, M.; O’mara, J. (2017). Serious play: literacy, learning and digital games. New York: Routledge.
• Bellotti, F.; Kapraios, B; Lee, K.; Moreno-Ger, P. & Berta, R. (2013). Assessment in and of serious games: an overview. Advances in Human-Computer Interaction, v. 2.
• Cachapuz, A; et al. (2005). A Necessária Renovação do Ensino das Ciências São Paulo: Cortez.
• Camargo, F.; Daros, T. (2018). A sala de aula inovadora: estratégias para fomentar o aprendizado ativo. Porto Alegre: Penso.
• Conolly, T. M.; Boyle, E. A.; MacArthur, E.; Hainey, T. & Boyle, J. M. (2012). A systematic literature review of empirical evidence on computer games and serious games. Computers & Education, 59, 661-686.
• Contreras-Espinoza, R.S; Eguia-Gómez, J. L. (2016). Pesquisa da avaliação e da eficácia da aprendizagem baseada em jogos digitais e reflexões em torno da literatura científica. In: Alves, L.R.G; Coutinho, I.J. (Orgs.) Jogos Digitais e Aprendizagem: Fundamentos para uma prática baseada em evidências. Campinas: Papirus, 61-76.
• Cruz Junior, G. (2018). A aprendizagem em jogo e o jogo na aprendizagem (ou cinco coisas que você precisa saber sobre games e educação). In: Ramos, D. K.; Cruz, D. M. (orgs.). Jogos digitais em contextos educacionais 1 ed. Curitiba, PR: CRV.
• Esteban, M. T. (2008). Avaliação no cotidiano escolar. In: Esteban, M. T. (Org.). Avaliação: uma prática em busca de novos sentidos. 5. ed. Petrópolis: DP et Alii, 7-24.
• Felizardo, K.R.; Nakagawa, E. Y.; Fabbri, S. C. P. F. & Ferrari, F. C. (2017). Revisão Sistemática da Literatura em Engenharia de Software: Teoria e Prática. Elsevier.
• Fernandes, D. (2008). Para uma teoria da avaliação no domínio das aprendizagens. Estudos em Avaliação Educacional v. 19, n. 41, set./dez., p. 347-387.
• Franco, M. L. P. B. (2008). Análise de conteúdo 3. ed. Brasília: Líber Livro.
• Gil, A. C. (2017). Como elaborar projetos de pesquisa 6. Ed. São Paulo: Atlas.
• Harlen, W. (2006). On the relationship between assessment for formative and summative purposes. In: gardner, J. (Ed.). Assessment for learning London: Sage Publications.
• Hoffmann, J. (2001). Avaliar para promover: as setas do caminho. Porto Alegre: Mediação.
• Hoffmann, J. (2014). Avaliação Mediadora: uma prática em construção da pré-escola à universidade. 34 ed. Porto Alegre: Editora Mediação.
• Huizinga, J. (2019). Homo Ludens: o jogo como elemento da cultura. São Paulo: Perspectiva.
• Jorba, J.; Sanmartí, N. (2003). A Função Pedagógica da Avaliação. In: BALLESTER M. et al Avaliação como apoio à aprendizagem Porto Alegre: Artmed.
• Lakatos, E. M.; Marconi, M. (1991). Metodologia científica 2 ed.São Paulo: Atlas.
• Luckesi, C. C. (2018). Avaliação da Aprendizagem Escolar: estudos e proposições. 22. ed. São Paulo: Cortez Editora.
• Luckesi, C. C. (2019). Avaliação da Aprendizagem: componente do ato pedagógico. 1. ed. 7 reimp. São Paulo: Cortez Editora.
• Mattar, J. (2010). Games em educação: como os nativos digitais aprendem. São Paulo: Pearson Prentice Hall.
• Michael, D.; & Chen, S. (2006). Serious games that educate, train, and inform Boston: Thomson Course Technology PTR.
• Pettycrew, M. & Roberts, H. (2006). Systematic reviews in the social the social sciences: a practical guide. Reino Unido: Backwell Publishing.
• Petry, L.C. (2016). O conceito Ontológico de Jogo. In: Alves, L.R.G. & Coutinho, I. J. (Org.). Jogos Digitais e Aprendizagem: fundamentos para uma prática baseada em evidências. Papirus, Campinas, 105-122.
• Perrenoud, P. (1999). Avaliação: Da excelência à regulação das aprendizagens - entre duas lógicas. São Paulo: Artmed.
• Romão, J. E. (2008). Avaliação dialógica: desafios e perspectivas. 7 ed. São Paulo: Cortez: Instituto Paulo Freire.
• Salen, K. & Zimmerman, E. (2012). Regras do jogo: fundamentos do design de jogos. v. 1São Paulo: Blucher.
• Schell, J. (2011). A arte de game design: o livro original. Trad. Edson Furmankiewicz. Rio de Janeiro: Elsevier.
• Schuytema, P. (2008). Design de games: uma abordagem prática. São Paulo: Cengage Learning.
• Severino, A. J. (2017). Metodologia do trabalho científico Cortez editora.
• Shute, V. J.; Masduki, I.; Donmez, O.; Dennen, V. P.; Kim, Y. J.; Jeong, A. C.; Wang, C. Y. (2010). Modeling, assessing, and supporting key competencies within game environments. In: Infenthaler, D.; Pirnay-Dummer, P.; Seel, N. M. (Orgs.). Computer-based diagnostics and systematic analysis of knowledge Springer US, 281-309.
• Silva, J. L. P. B.; Moradillo, E. F. de. (2002). Avaliação, Ensino e Aprendizagem de Ciências. ENSAIO: Pesquisa em Educação em Ciências, Belo Horizonte, 4(1), 1-12.
• Silva, A. A. et al. (2011). A utilização da matriz swot como ferramenta estratégica - um estudo de caso em uma escola de idioma de São Paulo. VIISimpósio de Excelência em Gestão e Tecnologia. Anais Resende - RJ.
• Suits, B. (2005). The grasshopper: fames, life and utopia Canadá: Broadview Press.
• Vasconcellos, C. dos S. (2006). Avaliação: concepção dialética-libertadora do processo de avaliação escolar. 16 ed. São Paulo: Libertad.
• Vieira, K. M.; Dalmoro, M. (2008). Dilemas na contrução de escalas tipo Likert: o número de itens e a disposição influenciam nos resultados? XXXIIEncontro da ANPAD. Anais, Rio de Janeiro.
• Villas Boas, B. M. (2019). Esmiuçando a avaliação. In: Villas Boas, B. M. (org.). Conversas sobre avaliação Campinas, SP: Papirus.
• Whitton, N. (2010). Learning with digital games: a practical guide to engaging students in higher education. New York: Routledge.

• 1
  Para acessar a lista com a identificação e referências bibliográficas dos artigos analisados, vide ANEXO 1.

• O CECIMIG agradece ao CNPq (Conselho Nacional de Desenvolvimento Científico) e à FAPEMIG (Fundação de Amparo à Pesquisa do Estado de Minas Gerais) pela verba para a editoração deste artigo.

Errata

• 6
  Neste artigo acrescenta-se a seguinte declaração:
• 7
  Declaração sobre disponibilidade de dados:

• Data Availability Statement

  Todo o conjunto de dados que dá suporte aos resultados deste estudo foi disponibilizado no Scielo Dataverse e pode ser acessado em https://data.scielo.org/dataset.xhtml?persistentId=doi:10.48331/scielodata.SWI7Q5

ADENDO

• 6
  Este documento possui um adendo: http://doi.org/10.1590/1983-21172022240150

ANEXO 1

QUADRO 1
TRABALHOS SELECIONADOS APÓS REVISÃO FINAL

Quadro 1
continuação

Quadro 1
continuação

QUADRO 2
REFERÊNCIA DOS TRABALHOS SELECIONADOS PELA REVISÃO SISTEMÁTICA DA LITERATURA

Quadro 2
continuação

Quadro 2
continuação

Editado por

Editor responsável: Geide Rosa Coelho

Disponibilidade de dados

Todo o conjunto de dados que dá suporte aos resultados deste estudo foi disponibilizado no Scielo Dataverse e pode ser acessado em https://data.scielo.org/dataset.xhtml?persistentId=doi:10.48331/scielodata.SWI7Q5

Datas de Publicação

• Publicação nesta coleção
  10 Jun 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  20 Dez 2022
• Aceito
  09 Maio 2023