Open-access Online Peer Assessment no ensino superior: uma revisão sistemática da literatura em práticas educacionais

Online peer assessment in higher education: a systematic review of literature in educational practices

Resumo:

Neste artigo procedemos a uma revisão sistemática da literatura sobre Online Peer Assessment (OPA) no Ensino Superior, mediada por Tecnologias Digitais de Informação e Comunicação (TIC). Identificamos suas características centrais e opcionais e mapeamos exemplos práticos (procedimentos e TIC) de OPA que poderão ser transversais, adaptáveis e aplicáveis em diversas unidades curriculares e regimes educacionais. Os resultados apontam para a utilização da OPA como uma estratégia que potencializa a “avaliação para a aprendizagem”. Os referenciais teóricos subjacentes, os métodos de avaliação e os tipos de TIC utilizados indicam seu direcionamento para um maior envolvimento e responsabilidade do aluno na sua aprendizagem. Evidenciamos na literatura que se busca desenvolver essas competências, dando ao aluno oportunidades com alguma regularidade, para autoavaliar-se e avaliar seus pares por meio de feedback construtivo. Há também evidências de que dar ou produzir feedback é mais benéfico para a aprendizagem do que apenas recebê-lo, como também é cognitivamente mais exigente e envolve os alunos de forma mais ativa e os direciona ao pensamento crítico e a processos metacognitivos. A partir dos resultados alcançados, consideramos que a OPA, enquanto ferramenta cognitiva, contribui para a construção do conhecimento e para a reflexão sobre a aprendizagem. Um desafio que se coloca diz respeito ao desenvolvimento criativo com foco na diversificação e na inovação das práticas de avaliação no sentido de potenciar aprendizagens e resultados acadêmicos, em atenção às necessidades de aprendizagem que se manifestam frente as expectativas da educação atual e futura e às exigências da sociedade.

Palavras-chave: Avaliação no ensino superior; Online peer assessment; Avaliação digital

Abstract:

In this research a systematic review of literature about Online Peer Assessment (OPA) in higher education, mediated by Information and Communication Technology (ICT), was carried out. Optional and central characteristics and its practices (procedures and ICT) were identified and mapping. These procedures and practices may be transversal, adaptable and applied in several curriculum units and educational regimes. The results point to the use of OPA as a strategy that enhances “assessment for learning”. The theoretical framework, the methods of assessment and the kinds of ICT used indicate directions for greater involvement and responsibility from the part of the student in his/her learning. Theoretical framework identifies the need to develop students’ skills, providing them with opportunities for self-assessment and peer assessment on a regular basis through constructive feedback. There is also evidence that to give or receive feedback is more beneficial for learning than just receiving it. It is also cognitively more demanding and directs the students to critical thinking and metacognitive processes. From the results obtained, OPA is seen as a cognitive tool, contributing to the building of knowledge and to reflection about learning. Issues for further reflection are also identified such as the creative development of assessment methods with a focus on diversity and innovation in order to enhance students’ learning and academic results, taking into account their learning needs in face of the expectations of current and future education and the demands of society.

Key words: Online peer assessment; Assessment in higher education; Digital assessment

Introdução

É notável a relevância que se tem atribuído, atualmente, à aprendizagem ao longo da vida e ao desenvolvimento de competências, bem como cenários onde os alunos aprendam a tomar o controle e gerenciar a sua própria aprendizagem, conduzindo-os a pensar criticamente e a avaliar a qualidade do seu próprio resultado de aprendizagem, tanto durante quanto após sua formação (COUTINHO, 2009; UNESCO, 2009). Assim, se o propósito do Ensino superior não é somente promover a aquisição de conhecimentos, de aptidões e de compreensão da disciplina, mas igualmente desenvolver nos alunos a capacidade de acompanhar, avaliar e regular sua própria aprendizagem (NICOL; MACFARLANE-DICK, 2006), então deve haver uma mudança na trinômia regulação-envolvimento-responsabilidade do professor para a do aluno, ao longo do seu percurso formativo com implicações na função docente. Um dos caminhos para que isso se estabeleça é envolver o aluno ativamente nos processos de avaliação da sua própria aprendizagem, a qual tem evoluído na linha da “avaliação para a aprendizagem” (DOCHY; MCDOWELL, 1997), em oposição a uma perspectiva de certificação. Há estudos (GIBBS, 1999; SCOULLER, 1998; LIGHT; COX, 2001) que demonstram a relação entre a avaliação e a aprendizagem, pois o modo como os alunos entendem a avaliação determina o modo como aprendem (WATERING et al., 2009). Biggs (2003) salienta que o quê e como os alunos aprendem depende, em grande medida, do modo como pensam que serão avaliados e, por isso, as práticas de avaliação devem dar sinais claros sobre o quê e como devem aprender.

Nos países Europeus, a avaliação no Ensino Superior tem sido objeto de investigação, devido não só ao chamado processo de Bolonha, mas também ao desenvolvimento de métodos de avaliação mais diversificados, pois trata-se de um elemento curricular fundamental para a concretização do processo de aprendizagem (BROWN et al., 1995; BROWN; KNIGHT, 1994). Tem-se discutido um “novo” paradigma que coloca a ênfase na centralidade do aluno e nos objetivos de formação, colocando o enfoque na aprendizagem e no papel ativo do aprendente (VEIGA SIMÃO; SANTOS; COSTA, 2003), o que remete para papéis diferenciados para o aluno e para o professor com implicações nas metodologias de ensino-aprendizagem e de avaliação. Nessa direção, encontra-se a Online Peer Assessment (OPA) a qual, desenvolvida por meio de Tecnologias de Informação de Comunicação (TIC), se constitui como uma ferramenta cognitiva em ascensão. Com ela busca-se promover a aprendizagem significativa (LEVIN-PELED; KALI; DORI, 2007), incentivar o desenvolvimento de novas ideias e do pensamento crítico (DOMINGUEZ; GONÇALO CRUZ, 2012; ISSA, 2012; NICOL, 2008), favorecer um aumento significativo no volume de feedback construtivo que o aluno dá e recebe (GREZ; VALCKE, 2013; CHEN; WEI; WUA; UDEN, 2009), aumentar o envolvimento dos alunos em interações sociais e na aprendizagem colaborativa (BOUCHOUCHA; WOZNIAK, 2010), promover a autoaprendizagem (GREZ; VALCKE, 2013) e desenvolver competências relacionadas com o diagnóstico, a autoavaliação, a síntese, a comunicação, a gestão do tempo e a resolução de problemas, habilidades exigidas nos contextos profissionais atuais (POMBO, 2014; JIMENEZ-ROMERO; JOHNSON; CASTRO, 2013; WING-SHUI, 2012). Não obstante, a OPA não é um tema isento de críticas e, portanto, temos que considerar suas fragilidades. Questões de validade e confiabilidade são citadas como argumento contra a sua utilização, apontando, por exemplo, a qualidade do feedback emitido entre alunos e a capacidade do aluno para julgar o trabalho de um outro aluno. Assim, incorporar OPA nos sistemas educativos têm sido considerados um grande desafio em relação ao uso das TIC e às estratégias didático-pedagógicas (POMBO, 2014; POMBO; MOREIRA; LOUREIRO, 2009; ANDERSON, 2008). Tal desafio envolve não somente sua integração ao currículo, mas também a ênfase em pesquisas sobre avaliação online.

No sentido de dar um contributo para o estado da arte, apresentamos neste artigo os resultados de uma Revisão Sistemática da Literatura (RSL), que teve como objetivo identificar processos e métodos de desenvolvimento (concepção, implementação e avaliação) de práticas de OPA. As TIC utilizadas, os métodos de avaliação e os referenciais teóricos subjacentes são apresentados e analisados. Salientamos que, numa primeira pesquisa bibliográfica, não encontramos artigos que sintetizassem práxis desta natureza. Assim, consideramos necessário investigar resultados em pesquisas afins com implicações práticas e teóricas para a concepção de atividades avaliativas em ambientes online que podem ser adaptadas e estendidas aos modelos de educação presencial, blended learning ou de educação online. Estes resultados se constituirão como uma base fundamental para nossas pesquisas futuras, nas quais participaremos de projetos de implementação de OPA em cursos de nível superior no Brasil e em Portugal. Além disso, os resultados poderão ser úteis para outros professores ou pesquisadores com perspectivas afins. Assim, incentivamos a exploração e o uso de OPA como uma estratégia de aprendizagem com vista ao desenvolvimento de competências consideradas com potenciadoras da melhoria da qualidade educacional, em consonância com as expectativas e exigências atribuídas à educação atual e futura frente ao uso das TIC pela sociedade.

A organização deste artigo se constitui de uma introdução seguida de uma visão geral sobre OPA no Ensino Superior. Na segunda parte, apresentamos a metodologia utilizada, os resultados da pesquisa empírica, incluindo exemplos práticos de diferentes áreas de conhecimento, diferentes países e particularidades contextuais e finalizamos com a discussão e análise dos resultados alcançados.

Online peer assessment no ensino superior

A presente pesquisa tem uma componente ligada aos processos de avaliação, concretamente de avaliação no Ensino Superior, quer no que diz respeito às suas funções, quer às modalidades e métodos utilizados. A avaliação é, de fato, um elemento do currículo que é crucial no processo de aprendizagem (BROWN et al., 1995; BROWN; KNIGHT, 1994), já que o modo como os alunos a entendem determina o modo como aprendem (WATERING et al., 2009). Alguns autores chamam a atenção para a necessidade de os sistemas educacionais precisarem de ser cada vez mais criativos no que diz respeito às práticas de avaliação adotadas (STUFFLEBEAM; SHINKFIELD, 1987; STRUYVEN; DOCHY; JANSSENS, 2005) bem como para a importância da sua renovação. Há estudos empíricos, por exemplo, que demonstram que o uso de métodos alternativos de avaliação permite uma aprendizagem mais eficaz e uma maior motivação por parte dos estudantes (TANG et al., 1999; SEGERS; GIJBELS; THURLINGS, 2008). Por outro lado, o modo como a avaliação é operacionalizada influencia a motivação e a aprendizagem dos alunos (BIRENBAUM; FELDMAN, 1998; FERNANDES; FLORES; LIMA 2012; WEBBER, 2012; FLORES et al., 2014; PEREIRA; FLORES, 2012), sendo vista como “uma ferramenta para a aprendizagem” (DOCHY; MCDOWELL, 1997).

Tradicionalmente, as práticas avaliativas no ensino superior incluem as provas escritas ou exames enfatizando, sobretudo, a classificação, pois, tal como refere Perrenoud (1999, p. 15), “permite dar boas e más notas, criando uma hierarquia”, não informando “como se operam a aprendizagem e a construção dos conhecimentos”. Estes testes ou exames são naturalmente adequados em determinados contextos e para atingir determinados objetivos, mas há autores que chamam a atenção para a necessidade de diversificação e inovação das práticas de avaliação no sentido de potenciar aprendizagens e resultados acadêmicos (WEN; TSAI, 2006). Estudos empíricos têm demonstrado que a utilização de métodos alternativos proporciona uma aprendizagem mais eficaz e motivadora (TANG et al., 1999; BIRENBAUM; FELDMAN, 1998). Outros estudos reportam a sua relevância, mas destacam a ligação entre métodos alternativos de avaliação e aspetos ligados à autonomia dos estudantes e ao papel do feedback (FLORES et al., 2014).

Na literatura há indicações de que OPA, enquanto método de avaliação alternativa, está ocupando espaços relevantes no Ensino Superior, sendo uma das suas finalidades aumentar a interação aluno-aluno, aluno-professor e aluno-conteúdo por meio de feedback construtivo, bem como envolver o aluno nos processos de avaliação da sua própria aprendizagem (POMBO, 2014). Relatada em uma vasta gama de áreas de conhecimento como, por exemplo, na psicologia, na geografia, no ensino de línguas, nas ciências exatas, sociais e da computação, na medicina e na engenharia, a OPA tem sido incentivada por possibilitar o anonimato da autoria de forma mais eficiente (WEN; TSAI, 2006) ao permitir que os estudantes expressem livremente as suas ideias sobre o trabalho dos seus pares; por reduzir restrições relacionadas ao horário e localização (ISSA, 2012); por favorecer uma avaliação mais honesta e justa (JIMENEZ-ROMERO; JOHNSON; CASTRO, 2013; BOUCHOUCHA; WOZNIAK, 2010); por ajudar a resolver problemas relacionados com o volume de trabalho dos professores e de turmas com grande número de estudantes; e por permitir poupar tempo na classificação (FAGERHOLM; VIHAVAINEN, 2013).

A OPA no ensino superior tem demonstrado ser uma estratégia propícia para promover a aprendizagem (FALCHIKOV; GOLDFINCH, 2000), porque pode aumentar competências de trabalho colaborativo essenciais para o desenvolvimento profissional (BRYAN, 2006) e dar maior sentido de responsabilidade e de motivação ao aluno (FALCHIKOV, 2005). Alunos que dela participam emitem maiores níveis de compreensão dos assuntos abordados e de reflexão sobre sua própria compreensão, fato que resulta em níveis de aprendizagem profundos em vez de aprendizagens superficiais (BLOXHAM; BOYD, 2007). Pombo, Moreira e Loureiro (2009), Pombo (2014) têm desenvolvido pesquisas sobre OPA em cursos de nível superior em regime blended learning, considerando as orientações inerentes à Declaração de Bolonha, com destaque para a inclusão de avaliações formativas. Estes investigadores defendem que é importante dar aos alunos a oportunidade de se envolverem nos processos de avaliação o que implica fazê-los entender os critérios de avaliação utilizados. Orientados pelo professor, torna-se importante dar abertura às negociações com e entre eles, utilizando, para isso, espaço presencial e/ou online e concebendo feedback formativo com intervenções e respostas aos questionamentos do aluno, bem como dando sugestões construtivas sobre o que mudar, como e porquê.

Na próxima seção, apresentamos os resultados da RSL sobre práticas de OPA, nomeadamente, seus referenciais teóricos subjacentes, seus métodos de avaliação e os tipos de TIC utilizados.

Metodologia

Esta pesquisa, de natureza qualitativa, baseia-se no estudo de um problema, com a finalidade de interpretar fenômenos a partir da exploração de informações aferidas por pessoas que, de alguma maneira, deles participam ou com eles estão envolvidos (DENZIN; LINCOLN, 2005; COUTINHO, 2011). Para tal, consideramos um caminho promissor desenvolvê-la à luz do significado da experiência (educacional) vivida por professores e/ou pesquisadores de cursos de nível superior, em suas próprias realidades mediante seus projetos de Ensino e Pesquisa. Assim, na base ontológica desta pesquisa, predomina a construção do conhecimento a partir da experiência desses professores/pesquisadores, cujo resultado constituiu a essência dos dados empíricos, conforme expomos a seguir.

A presente pesquisa consiste na realização de uma RSL (GOUGH; OLIVER; THOMAS, 2012) pela qual buscamos identificar estratégias pedagógicas e recursos tecnológicos que corroborem programas curriculares de Ensino Superior e potenciem OPA. Questionamos: Quais são os procedimentos, as TIC e os referenciais teóricos subjacentes a práticas de OPA desenvolvidas no Ensino Superior? Como ocorre a formação dos pares? Quais são os métodos de avaliação que estão sendo utilizados em OPA?

Protocolo da Revisão Sistemática da Literatura

Para efeitos da RSL, foram incluídos artigos disponibilizados nas bases de dados SCOPUS, ISI Web of Science e ACM Digital Library. Esta escolha se deu por sua relevância, sendo que as duas primeiras são as bases de dados de referência para as agências de financiamento Europeia, nomeadamente, a Fundação para a Ciência e Tecnologia (FCT), já a ACM é uma referência mundial em pesquisas relacionadas as TIC. Para a busca foram definidas as seguintes palavras-chave condutoras da pesquisa: “Peer assessment”, “Higher Education” e “Information and Communication Technology” (ICT). Entretanto, a concatenação destas 3 palavras-chave (no título e ou nas palavras-chave dos artigos) resultou num número muito limitado de artigos e pressupomos que a inclusão da palavra-chave ICT ocultou pesquisas potenciais para nossa pesquisa. Em função disso, elencamos, para uma segunda busca, apenas as palavras-chave: “Peer assessment” e “Higher Education” e, a partir dos resultados obtidos, realizamos a leitura dos artigos encontrados (n=118, sendo: SCOPUS = 37, Web of Science = 54 e ACM = 27), todos no idioma Inglês, com o objetivo de identificar os que se relacionavam com as ICT. A busca foi realizada entre os meses de janeiro e março de 2015 e nela foram incluídas pesquisas entre 2005 e 2015.

Critérios de inclusão e exclusão

Este primeiro levantamento (n=118), apresentado na subseção anterior, nos conduziu a uma análise inicial de adequação dos artigos relacionados com as ICT (n=35), que indicaram possibilidades em contribuir para nossa pesquisa. Entretanto, para Sampaio e Mancini (2007), o pesquisador que realiza uma RSL deve certificar-se de que todas as comunicações importantes ou que possam causar um impacto relevante para a pesquisa sejam incluídas. Ao contrário, as que não estiverem de acordo com os objetivos da pesquisa devem ser excluídas.

Dyba e Dingsoyr (2008) apresentam três pontos principais a serem considerados na elaboração dos critérios de inclusão ou exclusão e facilitar o processo de revisão sistemática: o rigor científico, a credibilidade e a relevância. Na presente pesquisa elencamos os seguintes critérios:

  1. Os objetivos e os procedimentos da OPA foram claramente expostos?

  2. O contexto foi descrito adequadamente?

  3. As TIC utilizadas foram apresentadas pelos autores, ou pelo menos, indicaram se relacionaram com esse tipo de recurso?

Seguindo estas orientações, elegemos os artigos que cumprem os critérios supracitados e como resultado, dos 35 artigos pré-selecionados, 23 foram excluídos permanecendo um total de 12 artigos. Os principais motivos das exclusões foram: artigos com títulos diferentes, porém com a apresentação de uma mesma experiência com a OPA; com foco na Educação básica; o mesmo artigo publicado em duas bases de dados distintas; artigos que avaliavam os resultados de uma OPA, mas não a descreviam; que descreviam quais ICT foram utilizadas, mas não descreviam os procedimentos da OPA; e com descrições insuficientes para a compreensão dos procedimentos da OPA.

Caracterização do corpus documental

No Quadro 1, apresentamos a caracterização do corpus documental da presente pesquisa:

Quadro 1
- caracterização do corpus documental

Conforme o Quadro 1, os artigos se encontram em diversos países: Áustria (1), Austrália (2), Bélgica (1), Espanha (1), China (Honk-Kong, 2; Taiwan 3), Israel (1) e Portugal (1). Os cursos/disciplinas representados/as são: Sistemas de Informação, Inglês, Bacharelado em Enfermagem, Informática na educação, Engenharias, Ciência da Computação, Física, Biologia, Filosofia Educacional, Aprendizagem e Ensino em Ambientes online e Avaliação de projetos educativos. Pressupomos que esta diversidade indica a possibilidade e o interesse do desenvolvimento da OPA em diferentes áreas de conhecimento e tipos de conteúdo distribuídos em diversos contextos epistemológicos, onde há necessidade de expandir estratégias e meios de “avaliação para a aprendizagem”.

Categorias de análise

A definição das categorias de análise resultou de uma revisão da literatura sobre peer assessment no ensino superior (NICOL, 2008, 2009, 2011, 2013; POMBO; MOREIRA; LOUREIRO, 2009; POMBO, 2014; JIMENEZ-ROMERO; JOHNSON; CASTRO, 2013; NICOL; MACFARLANE-DICK, 2006). Por meio dela, identificamos pontos relevantes que pudessem contribuir com nosso principal propósito de pesquisa o qual, conforme já mencionamos, consiste em: identificar processos de desenvolvimento (concepção, implementação e avaliação) de práticas de OPA. Esta revisão inicial nos conduziu à definição, a priori, de 4 categorias de análise e nos possibilitou elaborar alguns pressupostos, conforme apresentamos a seguir:

Categoria 1: Referenciais teóricos subjacentes. Nesta categoria, a partir de uma leitura exploratória dos 12 artigos selecionados, identificamos referenciais teóricos explicitados por seu (s) autor (es) ao longo dos artigos. Partimos do pressuposto de que, quando uma prática pedagógica é concebida, fundamentada e sustentada em uma ou mais abordagens teóricas, os processos, os recursos e o método didático-pedagógico são melhor definidos e, consequentemente, os resultados de aprendizagem podem ser potenciados. Salientamos que não foi nosso objetivo, no presente artigo, discutir e analisar estes referenciais teóricos, mas apenas identificá-los para que, em pesquisas e desenvolvimento futuros, tenhamos direcionamentos teóricos para conceber OPA de acordo com os contextos que se estabelecerão.

Categoria 2: organização e distribuição dos pares. Nesta categoria, questionamos: Qual a melhor estratégia de organização (em pares ou em grupos de pares)? Como decidir sobre isso? Tendo em vista a estratégia de organização definida, como proceder com a distribuição dos pares: os alunos decidem quem serão seus pares, o professor forma grupos heterogêneos (por exemplo, de acordo com notas anteriores), ou o professor procede a uma distribuição aleatória dos alunos? Estes questionamentos e suas respectivas respostas contribuirão com as definições relacionadas com o processo de organização e distribuição dos pares em aplicações práticas de OPA.

Categoria 3: método de avaliação. Nesta categoria, identificamos quais foram os métodos de avaliação adotados nas OPA: quantitativo, qualitativo ou misto. Biggs (2003) salienta que o que e como os alunos aprendem depende, em grande medida, do modo como pensam que serão avaliados e, por isso, as práticas de avaliação devem dar sinais claros sobre o quê e como devem aprender. Neste sentido, identificar e analisar o(s) método(s) de avaliação utilizados nas práticas de OPA torna-se fundamental para nosso propósito de pesquisa.

Categoria 4: TIC. Nesta categoria tivemos o objetivo de identificar quais foram as TIC utilizadas nas OPA nos artigos selecionados, nas fases de: (a) desenvolvimento, que ocorre quando o aluno-avaliado está envolvido no processo de implementação da atividade e utiliza uma ou mais TIC para gerar um produto (um texto colaborativo, um relatório, um programa de computador, um curso, etc.); (b) e na avaliação dos resultados, resultante do engajamento do aluno nas tarefas e no processo de avaliação pelos pares (por exemplo, com feedback oral ou escrito ou com atribuição de classificações de desempenho). Esta última fase, mediada por uma ou mais TIC (fórum, chat, e-mail, ou outros recursos de hardware ou software específicos ou adaptados), se estabelece na interação entre os pares e é realizada tanto durante, quanto após a fase de desenvolvimento. Assim, identificar exemplos práticos do uso de TIC e como elas podem apoiar as diferentes fases de uma OPA são os objetivos nesta categoria de análise.

Apresentação de resultados

Nesta seção apresentamos a análise dos resultados alcançados seguindo as diretivas expostas na Metodologia de pesquisa. No Quadro 2 constam os 12 artigos selecionados para análise incluindo: dados relacionados com os referenciais teóricos subjacentes; com o método de avaliação; com a forma de organização de distribuição dos alunos, incluindo a quantidade de alunos participantes; e a(s) TIC utilizada(s):

Quadro 2
Artigos selecionados relacionados a OPA na Educação superior

Passamos à apresentação e análise dos resultados dos dados do Quadro 2, de acordo com as categorias de análise:

Categoria 1: Referencial teórico subjacente

Com relação aos referenciais teóricos subjacentes, identificamos artigos com referência ao pensamento crítico (ISSA, 2012; DOMINGUEZ et al., 2012); às concepções de aprendizagem (fragmentada e coesa) e às abordagens à aprendizagem profundas e superficiais (WEN; TSAI, 2006); à comunidade de aprendizagem mediada por comunicação assíncrona (BOUCHOUCHA; WOZNIAK, 2010); à avaliação para a aprendizagem (EUGENIA, 2014); ao feedback (LEVIN-PELED; KALI; DORI, 2007; CHEN et al., 2009; AL-SMADI; GUETL; KAPPE, 2009; BERNS et al., 2012); aos jogos sérios (BERNS et al., 2012); à aprendizagem baseada em projetos e orientada por problemas (DOMINGUEZ et al., 2012; CHANG et al., 2011); aos ambientes de aprendizagem construtivista (CHANG et al., 2011); à organização de “condições de aprendizagem” e aos “prompts de reflexão”, constituídos de avisos incluídos nos materiais online com mensagens de alerta ou perguntas rápidas (CHEN et al., 2009); aos princípios de design de banco de dados que suportem aprendizagem significativa (LEVIN-PELED; KALI; DORI, 2007); e finalmente, à autoavaliação da aprendizagem (GREZ; VALCKE, 2013; WING-SHUI, 2012).

No Quadro 3, sintetizamos os referenciais teóricos subjacentes e o(s) autor(es) que os utilizaram:

Quadro 3
- Referenciais teóricos subjacentes

A partir da análise dos artigos com vista à elaboração da síntese apresentada no Quadro 3, constatamos que há autores que utilizam mais de um referencial teórico para conceber suas avaliações (LEVIN-PELED; KALI; DORI, 2007; CHEN et al., 2009; DOMINGUEZ et al., 2012; BERNS et al., 2012). Há os que enfatizaram referenciais para o desenvolvimento de TIC específicas para OPA (AL-SMADI; GUETL; KAPPE, 2009; CHEN et al., 2009; BERNS et al., 2012; CHANG et al., 2011) e os que enfatizaram referenciais de abordagem didático-pedagógica (CHEN et al., 2009; ISSA, 2012; DOMINGUEZ et al., 2012; EUGENIA, 2014) e, por fim, os que enfatizam ambos: no desenvolvimento de TIC e na abordagem didático-pedagógica (LEVIN-PELED; KALI; DORI, 2007; BOUCHOUCHA; WOZNIAK, 2010).

A identificação, a análise e a escolha destes referenciais teóricos tornam-se essenciais para a credibilidade, a longo prazo, e para o desenvolvimento de práticas de campo de OPA. Abertos à discussão crítica e à confirmação, referenciais desta natureza são fundamentais para compreender e comunicar a finalidade educacional pretendida e, como resultado, podem influenciar diretamente as práticas, sugerindo alternativas para a resolução de situações ou de problemas e contextos específicos.

Categoria 2: Organização e distribuição dos pares

Nos artigos analisados, a quantidade de alunos participantes de cada OPA foi de 27 a 312 (n= 27, 69, 76, 93, 95, 157, 163, 267, 312). A organização dos pares (aluno-avaliado e aluno-avaliador) ocorreu de formas distintas: em grupos de 2 a 6 alunos-avaliadores (WEN; TSAI, 2006; CHANG et al., 2011; GREZ; VALCKE, 2013; EUGENIA, 2014); em pares, com troca de papéis entre um aluno-avaliado e um aluno-avaliador (DOMINGUEZ et al., 2012; WING-SHUI, 2012); e onde o aluno-avaliado recebeu avaliação de todos os alunos da turma (BERNS et al., 2012). Houve 4 artigos nos quais não foram informadas as formas de organização dos pares (BOUCHOUCHA; WOZNIAK, 2010; AL-SMADI; GUETL; KAPPE, 2009; CHEN et al., 2009; LEVIN-PELED; KALI; DORI, 2007).

No Quadro 4 sintetizamos as estratégias de organização dos pares:

Quadro 4
- Síntese de estratégias de organização dos pares

A organização dos pares em grupo influencia a integração da avaliação com o trabalho cooperativo, visando possibilitar o desenvolvimento de competências de comunicação, liderança, gestão de tempo, resolução de problemas, tomada de decisão e aumentar a responsabilidade do aluno frente aos resultados que devem ser gerados pelo seu grupo. Além disso, devido à sua dinâmica, a organização em grupo pode proporcionar experiências de aprendizagem mais interessantes do ponto de vista do aluno e mais eficazes do ponto de vista do professor, assim como gerar novas ideias de diferentes perspectivas, fato que conduz a mais ocorrências de discussões e de debates construtivos (GUEST et al., 2011; NULTY, 2011; WEAVER; ESPOSTO, 2012).

Quanto à distribuição de alunos, três artigos mencionaram-na e apresentaram estratégias distintas: a partir da escolha de um par pelo próprio aluno (ISSA, 2012); aleatoriamente em grupos definidos por temas/diretivas (BOUCHOUCHA; WOZNIAK, 2010); e em grupos com integrantes heterogêneos de acordo com suas notas obtidas em avaliações anteriores (CHEN et al., 2009).

Em casos em que haja turmas com um grande número de alunos (mais de 30), a formação de grupos (de 3 ou mais alunos) reduz a quantidade de trabalhos finais a serem avaliados pelo professor e dão melhores condições para que ele avalie e desenvolva feedback para cada grupo com mais qualidade. Uma alternativa para situações similares é considerar que a avaliação pelos pares seja o indicador de desempenho do par-avaliado e o professor apenas um mediador durante o processo de desenvolvimento da OPA. Neste caso, há que se investir na preparação do aluno sobre como avaliar, considerando fatores éticos, de responsabilidade, de criticidade, entre outros. Já em turmas com um pequeno número de alunos (abaixo de 30), torna-se favorável desenvolver OPA na qual a avaliação do professor é adotada como o único método de indicador de desempenho de aprendizagem, ou ainda, considerar uma alternativa mista como a proposta por Eugenia (2014), na qual a OPA representou 50% da nota final atribuída ao aluno, somada aos outros 50% da nota do professor.

Pelo exposto acima, consideramos que tanto a organização, quanto a distribuição dos pares, são fatores fundamentais na concepção de OPA, sendo que esta escolha deverá estar relacionada com os objetivos de aprendizagem e com os contextos estabelecidos.

Categoria 3: Método de avaliação da OPA

No presente artigo, as OPA voltaram-se para a discussão de um paradigma que coloca a ênfase na centralidade do aluno e nos objetivos de formação, colocando o enfoque na aprendizagem e no seu papel ativo, o que remete para funções diferenciadas para o aluno e para o professor com implicações no método de avaliação. Segundo Topping (1998), a avaliação pelos pares é uma estratégia em que os alunos julgam o desempenho de um par quantitativamente, fornecendo uma nota com pontuações e/ou qualitativamente, fornecendo um feedback escrito ou oral.

O método de avaliação mais comum nos 12 artigos analisados foi a classificação quantitativa (n=7), em segundo a classificação qualitativa (n=4) e, em terceiro, a avaliação mista (n=1). Conforme apresentamos no Quadro 5, cada método possui estratégias de organização distintas:

Quadro 5
- Método de avaliação

Apresentamos abaixo os três métodos de avaliação supracitados e suas respectivas estratégias de classificação e de organização:

Artigos com método de avaliação quantitativa:

Os artigos com método de avaliação quantitativa utilizaram maneiras distintas para suas composições: escalas de 0 a 5 pontos com classificação por estrelas (BOUCHOUCHA; WOZNIAK, 2010; GREZ; VALCKE, 2013), escalas de 1 a 6 (CHANG et al., 2012), e escalas de 0 a 1 (DOMINGUEZ et al., 2012); rubricas de avaliação (EUGENIA, 2014, GREZ; VALCKE, 2013); marcas com identificadores especiais (AL-SMADI; GUETL; KAPPE, 2009); e notas numéricas (BERNS et al., 2012).

Na proposta de Bouchoucha e Wozniak (2010), a avaliação foi composta por mensagens postadas em fóruns de discussão em escalas de 0 a 5 pontos com classificação por estrelas em uma ferramenta do ambiente virtual de aprendizagem Blackboard, baseadas em 4 critérios: originalidade, argumento, tipo de interações e demonstração de habilidades de pensamento crítico. As pontuações foram atribuídas pelos pares-avaliadores, embora, quando necessário, os alunos poderiam solicitar a mediação do professor para reavaliá-las ou confirmá-las.

Grez e Valcke (2013) utilizaram uma rubrica baseada em 9 critérios (três critérios relacionados com o conteúdo, cinco critérios relacionados com a entrega e um critério geral). Os alunos-avaliadores atribuíram classificações de 0 a 5 pontos aos alunos-avaliados. Cada aluno fez uma autoavaliação da sua apresentação antes da avaliação dos seus pares. No final, o aluno-avaliado foi obrigado a elaborar um pequeno relatório sobre suas avaliações (a autoavaliação e a dos pares). Eugenia (2014) utilizou rubricas de avaliação elaboradas pelo professor para uso dos alunos, relacionadas com o conteúdo, o design, a organização e a credibilidade. Tanto Grez e Valcke (2013) quanto Eugenia (2014) utilizaram rubricas de avaliação ou critérios de julgamento. Elaboradas pelo professor, com ou sem a participação dos alunos, elas servem como um instrumento orientador para alcançar os níveis de qualidade que se deseja em uma OPA, bem como facilitar a comunicação e o feedback entre professores e alunos, tornar público os critérios-chave e detalhar os critérios de avaliação (PIEDRA et al., 2010). Com elas o aluno-avaliado recebe informações mais detalhadas sobre quais os aspectos do seu trabalho que necessita melhorar e, por outro lado, o aluno-avaliador sente-se mais confiante sobre sua avaliação.

Chang et al. (2012) conjugaram dois tipos de avaliadores: um especialista do conteúdo e os pares-avaliadores (os alunos), ambos com atribuição de pontuações em uma escala de 1 a 6 pontos para cada item da atividade. Já na proposta de Dominguez et.al. (2012), o par-avaliador atribuiu notas ao trabalho do par-avaliado numa escala de 0 e 1. Em seguida, o professor avaliou, utilizando mesma escala, tanto a avaliação do par-avaliador quanto o trabalho do par-avaliado e atribui uma nota a ambos. Uma segunda nota foi atribuída pelo professor ao par-avaliado após ajustes no seu trabalho de acordo com as considerações da avalição do par-avaliador e do professor. Deste modo, a avaliação não foi estanque, pois houve um processo de re-submissão e o aluno-avaliado teve oportunidade para melhorar seu desempenho, conforme sugere Boud (2000). A nota final desta atividade foi constituída pela média das duas notas atribuídas ao par-avaliado pelo professor, ou seja, somente o par-avaliado recebe a nota final que é atribuída pelo professor.

Já AL-Smadi, Guetl e Kappe (2009) propuseram um método em que para cada resposta do aluno-avaliado, o aluno-avaliador foi responsável por atribuir marcas com identificadores especiais: destacar a resposta (significa que está errada), sublinhar algumas partes da resposta (significa que estão corretas) ou mudar para itálico (significa que são irrelevantes). Uma nota com as indicações de "0" (muito ruim) a "10" (muito bom) também foi atribuída pelo aluno-avaliador ao seu par avaliado. Na proposta de Berns et al. (2012), os trabalhos do aluno-avaliado recebem notas (numéricas) dos demais alunos para servirem como indicadores da sua qualidade.

Artigos com método de avaliação qualitativa:

Todos os artigos que utilizam o método de avaliação qualitativa optaram fazê-lo por meio de feedback oral (WING-SHUI, 2012), escrito (LEVIN-PELED; KALI; DORI, 2007; CHEN et al., 2009) ou ambos: oral e escrito (ISSA, 2012).

Chen et al. (2009), Wing-Shui (2012) e Issa (2012) optaram por um método de avaliação por pares realizada como uma componente colaborativa (feedback oral e escrito), sem atribuição de notas. Já Levin-Peled; Kali; Dori (2007) utilizaram métodos distintos em 3 cursos nos quais aplicaram OPA: no primeiro, os alunos desenvolveram critérios e participaram na avaliação pelos pares, com feedback escrito, no projeto intitulado "Escola Ideal"; no segundo curso os alunos avaliam o desempenho de seus pares como instrutores de um minicurso emitindo feedback (escrito); e no terceiro curso os alunos foram envolvidos no desenvolvimento dos critérios de avaliação e sua aplicação no curso e, em seguida, cada aluno foi submetido a uma avaliação multidimensional baseada em seu contributo para o debate no fórum online, tanto como líder quanto como participante, apresentando um resumo em sala de aula, incluindo uma comparação com outros dois artigos e um projeto final.

Artigos com método de avaliação mista: qualitativa e quantitativa

Apenas um artigo utilizou o método de avaliação mista. Proposta por Wen e Tsai (2006), em cada etapa da OPA, os trabalhos dos alunos foram avaliados qualitativamente por seus pares por meio de feedback escrito e quantitativamente pelo professor com classificações de 1 a 7, considerando três rubricas: viabilidade, criatividade e conhecimento. Usando as mesmas diretivas do professor, com o objetivo de realizar um teste de fiabilidade, um especialista experiente na área de conhecimento do curso avaliou uma amostra constituída dos trabalhos de 20 dos 163 alunos participantes.

Vale a pena ressaltar que, nos três métodos de avaliação apresentados acima (qualitativa, quantitativa e mista), houve aqueles em que a avaliação pelos pares foi considerada como um indicador de desempenho na avaliação de aprendizagem do aluno (BOUCHOUCHA, WOZNIAK, 2010) e em outros não (ISSA, 2012; WING-SHUI, 2012; BERNS et al., 2012; CHEN et al., 2009); houve situações em que somente a pontuação do professor foi considerada (WEN; TSAI, 2006; DOMINGUEZ et al., 2012); um no qual o resultado da OPA representou 50% da nota final de cada aluno-avaliado (EUGENIA, 2014); e finalmente, outros não esclareceram se estas avaliações foram ou não consideradas como um indicador de desempenho do aluno (CHANG et al., 2011; AL-SMADI; GUETL; KAPPE, 2009; LEVIN-PELED; KALI; DORI, 2007).

Categoria 4: Tecnologia de Informação e Comunicação

O uso de TIC na educação deve ser sustentado por objetivos bem definidos. Em contextos de OPA, há que perguntar se a tecnologia a ser utilizada se destina a melhorar a pedagogia, ou seja, a intenção educativa, através de comentários, de marcação, de classificação, da colaboração e/ou da cooperação no desenvolvimento de um produto. Este cuidado deve ser tomado juntamente com o projeto de avaliação e utilização das TIC, se a meta é assegurar que esses objetivos se cumpram. Diferentes formatos e uso de TIC podem apoiar OPA para proporcionar: mais flexibilidade relacionada com os horários e locais e oferecer oportunidades para o aluno gerenciar, rever e avaliar sua própria aprendizagem; possibilitar a manutenção de registros das diferentes fases de um trabalho/atividade; dispor de ferramentas de monitoramento das alterações feitas após o feedback do(s) par(es) as quais podem ser mais facilmente identificadas, bem como fazer uso de sistemas computacionais com tutores inteligentes que permitem ao aluno obter feedback dinâmico durante o ato da produção de uma resposta.

No desenvolvimento das OPA nos artigos analisados, foram utilizadas as seguintes TIC: Ambiente Virtual de Aprendizagem construtivista (CHANG et al., 2011) e com uma referência ao Blackboard (ISSA, 2012); Google Docs (BOUCHOUCHA; WOZNIAK, 2010; DOMINGUEZ et al., 2012); Wiki (LEVIN-PELED; KALI; DORI, 2007; WING-SHUI, 2012; EUGENIA, 2014); fóruns de discussão (LEVIN-PELED; KALI; DORI, 2007; ISSA, 2012; EUGENIA, 2014); documentos do office da Microsoft (LEVIN-PELED; KALI; DORI, 2007; BOUCHOUCHA; WOZNIAK, 2010; DOMINGUEZ et al., 2012); softwares desenvolvidos especificamente para OPA: o aplicativo para o sistema operacional Android intitulado “Guess It!” (BERNS et al., 2012) e um sistema intitulado PASS (AL-SMADI; GUETL; KAPPE, 2009). Além desses recursos, foram relatados outros, porém, sem identificação: sistema de OPA (WEN; TSAI, 2006), páginas online (CHEN et al., 2009), plataforma para programação de computadores (WING-SHUI, 2012); e um Sistema de Resposta ao Aluno (GREZ; VALCKE, 2013).

Sintetizamos no Quadro 6, as TIC citadas acima e os autores relacionados:

Quadro 6
- TIC utilizadas nas OPA

O uso das TIC, enquanto ferramenta cognitiva, que permite desenvolver OPA, encontra-se em dois patamares: por um lado, são exploradas as já existentes e desenvolvidas para finalidades diversificadas (google docs, wiki, editores de textos, os ambientes virtuais de aprendizagem, sistema de resposta ao aluno), por outro lado, com o aumento das pesquisas e das práticas de OPA, têm-se desenvolvido ferramentas para atender a necessidades específicas como, por exemplo, o “PASS” proposto por Al-Smadi, Guetl e Kappe (2009), projetado para possibilitar um ambiente que permita ao aluno-avaliador selecionar partes específicas das respostas dos seus pares e marcá-las por meio de combinações de teclas usadas como identificadores especiais: destacar a resposta (significa que está errada), sublinhar algumas partes da resposta (significa que estão corretas) ou mudar para itálico (significa que são irrelevantes); e o “Guess it!” proposto por Berns et al. (2012), cuja finalidade é explorar a inteligência coletiva na aprendizagem de línguas utilizando dispositivos de comunicação móvel. Assim, tal como o “Guess it!”, outros aplicativos móveis para OPA têm sido investigados no âmbito da inovação de meios de apoio à avaliação formativa, para permitir aos alunos refletir sobre sua própria aprendizagem utilizando imagens ou arquivos de áudio e vídeo, trocando mensagens entre pares (NICOL, 2008) e permitindo maior flexibilidade de tempo e de espaço.

Nas práticas de OPA, consideramos que as TIC podem ajudar os professores a construir estratégias de avaliação, fazer julgamentos válidos do progresso da aprendizagem do aluno, facilitar a troca de feedback e apoiar a aprendizagem colaborativa. Alguns dos princípios de avaliação propostos com o uso das TIC podem ser utilizados para contribuir como um ponto de equilíbrio entre a avaliação enquanto um instrumento de medição do desempenho do aluno (avaliação da aprendizagem) e uma avaliação que envolva o aluno ativamente nos processos de avaliação da sua própria aprendizagem (avaliação para a aprendizagem). Para Nicol (2011), esta mudança de pensamento é necessária, não somente para garantir ao professor uma forma de avaliar o desempenho do aluno em relação ao que é aprendido, mas também para garantir que, quando os alunos saem da universidade, eles sejam capazes de continuar a aprender sem a necessidade da supervisão de professores.

Considerações Finais

Ao longo deste artigo, conforme expomos, procedemos a uma RSL sobre OPA no Ensino Superior, seus fundamentos e procedimentos, usando TIC e identificamos suas características, centrais e opcionais. Mapeamos exemplos práticos que poderão ser transversais, adaptáveis e aplicáveis em diversas unidades curriculares, para contribuir com equipes pedagógicas, no que tange à seleção e organização de recursos, tendo em conta a avaliação online e a sua integração nas propostas curriculares no Ensino Superior.

A OPA é uma estratégia educacional que faz uso de TIC e cuja finalidade é envolver os alunos nas suas próprias avaliações e na dos seus colegas e classificar o nível, o valor ou a qualidade de um produto resultante de uma atividade. Sua concepção e seu desenvolvimento devem considerar vários contextos de ensino, os quais se estabelecem de acordo com os propósitos de aprendizagem, aliada aos referenciais teóricos subjacentes e às condições organizacionais e de infraestrutura que se manifestam. Geralmente, é realizada com grupos ou pares de alunos do mesmo nível de ensino, com competências similares ou distintas. Os produtos avaliados podem incluir: resenhas, artigos, texto, apresentações orais, programas de computadores, cursos, etc. Os métodos de avaliação do par-avaliador podem incluir feedback oral e/ou escrito, podem ser quantitativos, qualitativos ou mistos. Todos estes elementos juntos, aliados a outros não explorados no presente artigo, conduzem à concepção de modelos de aprendizagem bem definidos para estabelecer uma integração significativa da OPA no Ensino Superior.

Os referenciais teóricos subjacentes, os métodos de avaliação e os tipos de TIC utilizados nos artigos analisados indicam que estratégias de OPA podem promover maior envolvimento e responsabilidade do aluno na sua aprendizagem. Como resultado, são desenvolvidas competências essenciais para sua vida profissional, onde ele terá que, constantemente, definir metas e avaliar por conta própria seus objetivos, suas estratégias e suas decisões. Nas propostas de OPA por nós analisadas, a experiência pessoal do aluno, construída por meio de estratégias de avaliação pelos pares, contribui para a construção de conhecimento, tornando o conhecimento mais como uma sabedoria do que um objetivo puro. Assim, se busca desenvolver habilidades desta natureza, dando ao aluno oportunidades, com alguma regularidade, para avaliar-se e avaliar seus pares. Há, também, evidência de que dar ou produzir feedback (uma das principais componentes que constituem OPA) é mais benéfico para a aprendizagem do que apenas recebê-lo, como também é cognitivamente mais exigente e envolve os alunos de forma mais ativa e os direciona para o pensamento crítico. Este feedback representa a principal estratégia de interação, cuja intenção é inserir os alunos em ambientes de aprendizagem de colaboração e cooperação, nos quais eles possam ajudar uns aos outros a identificar seus pontos fortes e fracos e as áreas-alvo para as ações de melhoria, bem como desenvolver competências pessoais e profissionais metacognitivas.

A RSL no campo da OPA revelou uma preocupação com aspectos organizacionais e estruturais. No entanto, indicou também que o desenvolvimento teórico desse campo está progredindo para questões didático-pedagógicas mais aprofundadas tendo em vista a diversidade dos referenciais teóricos subjacentes identificados. Uma questão que se apresenta para novas investigações é se, atualmente, a OPA tem fundamentação teórica e prática para levá-la a ocupar um espaço mais relevante na Educação atual e futura, tanto no que diz respeitos aos processos didático-pedagógicos quanto às TIC para apoiá-los.

Nossas considerações são de que estratégias de OPA, enquanto ferramenta cognitiva, contribuem para a construção do conhecimento. Um desafio que se coloca está no desenvolvimento criativo com foco na diversificação e na inovação das práticas de avaliação no sentido de potenciar aprendizagens e resultados acadêmicos, em atenção às necessidades de aprendizagem que se manifestam frente as expectativas da educação atual e futura e ao uso das TIC pela sociedade.

Ponderamos que as pesquisas futuras em OPA ou em avaliação apoiada pelas TIC são suscetíveis de ocorrer nos diversos níveis de ensino (Educação Básica, Superior, Educação continuada) e nos diversos regimes educacionais (presencial, blended learning, online). Um desafio que se coloca está em compreender como as TIC podem apoiar práticas de avaliação e como suas concepções de uso podem inseri-las no contexto de “ferramentas cognitivas”, considerando os variados contextos educativos. Além disso, importa pôr em prática a OPA com o objetivo de adaptar e analisar as tecnologias já existentes para fins de avaliação, bem como investir na pesquisa e no desenvolvimento de recursos específicos para prover OPA.

No que tange aos processos pedagógicos, torna-se necessário investir no desenvolvimento de metodologias para práticas de OPA relacionadas com as abordagens teóricas que conduzem a mudanças nas capacidades de análise e de decisão dos alunos e que os direcione ao rigor, à coragem de questionar, à empatia para ouvir seu(s) par(es) e ao julgamento e tomada de decisão mais acertada. Investigações desta natureza serão bem-vindas, sobretudo, no sentido de contribuir para desenvolver nos alunos a capacidade de acompanhar, avaliar e regular sua própria aprendizagem ao longo da vida acadêmica e profissional.

Referências

  • AL-SMADI, M.; GUETL, C.; KAPPE, F. PASS: peer-assessment approach for modern learning settings. In: SPANIOL, M. et al. (Eds.). Advances in Web Based Learning - ICWL 2009, Aachen, Germany, LNCS 5686, p. 44-47, 2009.
  • ANDERSON, T. The theory and practice of online Learning. Athabasca: Athabasca University, 2008.
  • Berns A., Palomo-Duarte M., Dodero J.M., Cejas A. Guess It! Using Gamificated Apps to Support Students Foreign Language Learning by Organic Community-Driven Peer-Assessment. In: Rensing C., de Freitas S., Ley T., Muñoz-Merino P.J. (eds) Open Learning and Teaching in Educational Communities. EC-TEL 2014. Lecture Notes in Computer Science, vol 8719. Springer, Cham. 2012.
  • BIRENBAUM, M.; FELDMAN, R. A. Relationships between learning patterns and attitudes towards two assessment formats. Educational Research, Londres, v. 40, n. 1, p. 90-97, 1998.
  • BIGGS, J. Aligning Teaching and assessing to course objectives. Teachind and learning in HE: New trends and inovations. Aveiro: University of Aveiro, 2003.
  • BLOXHAM, S.; BOYD, P. Developing effective assessment in higher education. New York: Maidenhead; McGraw Hill, 2007.
  • BOUCHOUCHA, S.; WOZNIAK, H. Is PA of asynchronous group discussions fostering skills relevant to our future graduates? Proceedings ascilite Sydney, Sydney, 2010.
  • BOUD, D. Sustainable assessment: rethinking assessment for the learning society. Studies in Continuing Education, Taylor & Francis, London, v. 22, n. 2, p. 151-167, 2000.
  • BRYAN, C. Developing group learning through assessment. In: BRYAN, C.; CLEGG, K. (Eds.). Innovative assessment in higher education. Oxon: Routledge, 2006.
  • BROWN, K.; GERSTBERGER, S.; CARLSON, L.; FRANZOSO, G.; SIEBENLIST, U. Control of IκB-a proteolysis by site-specific, signal-induced phosphorylation. Science, Bethesda, n. 267, p. 1485-148, 1995.
  • BROWN, S.; KNIGHT, P. Assessing Learners in Higher Education. London: Kogan Page, 1994.
  • CHANG, S-H.; CHEN, M-L.; KUO, Y-K.; SHEN, Y-C. A Simulation-Based LED Design Project in Photonics Instruction Based on Industry-University Collaboration. IEEE Transactions on Education2011, v. 54, no. 4, 2011.
  • CHEN, N-S.; WEI, C-W.; WUA, W-T.; UDEN, L. Effects of high-level prompts and PA on online learners' reflection levels. Computers & Education, Amsterdã, v. 52, p. 283-291, 2009.
  • COUTINHO, C. Metodologias de investigação em ciências humanas. Coimbra: Almedina, 2011.
  • COUTINHO, C. Web 2.0: desafios para o E-Learning. In: CARVALHO V., M. L. LLAMAS; SILVEIRA, R. (Eds.). TICAI 2008: TICs para a Aprendizagem da Engenharia. Porto: Fundação Instituto Politécnico do Porto, 2009. p. 105 - 110.
  • DENZIN, N. K.; LINCOLN, Y. S. (Eds.). The sage handbook of qualitative research. 3. ed. Thousand Oaks: Sage, 2005.
  • DYBA, T.; DINGSOYR, T. Empirical studies of agile software development: a systematic review, inform. Software Technology, 2008. Disponível em: http://alarcos.inf-cr.uclm.es/doc/MetoTecInfInf/Articulos/dyba.pdf Acesso em: 20 jun. 2016.
    » http://alarcos.inf-cr.uclm.es/doc/MetoTecInfInf/Articulos/dyba.pdf
  • DOCHY, F. J. R. C.; MCDOWELL, L. Introduction: Assessment as a Tool for Learning. Studies in Educational Evaluation, Netherlands, v. 23, n. 4, p. 279-298, 1997.
  • DOMINGUEZ, C.; NASCIMENTO, M.; MAIA, A.; PEDROSA D.; CRUZ, G. Insights on web-based peer review: a case study with energy engineering students. INTERNATIONAL CONFERENCE OF THE PORTUGUESE SOCIETY FOR ENGINEERING EDUCATION - CISPEE, 1a., Porto, 2012.
  • DOMINGUEZ, C.; GONÇALO CRUZ, A. M. PEDROSA, D., GRAMS, G. Online PA: an exploratory case study in a higher education civil engineering course. IEEE, 2012.
  • EUGENIA, M.W. Using a mixed research method to evaluate the effectiveness of formative assessment in supporting student teachers’ wiki authoring. Computers & Education, Amsterdã, v. 73, p. 141-148, 2014.
  • FAGERHOLM, F.; VIHAVAINEN, A. Peer Assessment in Experiential Learning: Assessing Tacit and Explicit Skills in Agile Software Engineering Capstone Projects. IEEE. 2013.
  • FALCHIKOV, N. Improving assessment through student involvement. London: Routledge, 2005.
  • FALCHIKOV, N.; GOLDFINCH, J. Student peer assessment in higher education: a meta-analysis comparing peer and teacher marks. Review of Educational Research, Pennsylvania, v.70, n. 3, p. 287-322, 2000.
  • FERNANDES, S.; FLORES, M. A.; LIMA, R. Students’ Views of Assessment in Project-Led Engineering Education: Findings from a Case Study in Portugal. Assessment and Evaluation in Higher Education, London, p. 163-178, 2012.
  • FLORES, M. A.; VEIGA SIMÃO, A. M.; BARROS, A.; PEREIRA, D. Perceptions of effectiveness, fairness and feedback of assessment methods: a study in higher education. Studies in Higher Education, London, 2014.
  • GIBBS, R. Speakers' intuitions and pragmatic theory. Cognition, Bethesda, USA, v. 69, p. 355-359, 1999.
  • GOUGH, D.; OLIVER, S.; THOMAS, J. An introduction to systematic reviews. London: SAGE Publications Inc, 2012.
  • GREZ, L.; VALCKE, M. Student Response System and How to Make Engineering - Students Learn Oral Presentation Skill. International Journal of Engineering Education, v. 29, n. 4, p. 940-947, 2013.
  • ISSA, T. Promoting learning skills through teamwork assessment and self/ peer evaluation in higher education. IADIS INTERNATIONAL CONFERENCE ON COGNITION AND EXPLORATORY LEARNING IN DIGITAL AGE- CELDA. Madrid, 2012.
  • JIMENEZ-ROMERO, C.; JOHNSON, J.; CASTRO, R. D. Máquina e sistemas peer-avaliação inteligentes sociais para avaliar populações estudantis grandes na educação massivo online aberta. In: CONFERÊNCIA EUROPEIA SOBRE E-LEARNING - ECEL - THE FUTURE OF GLOBAL LEARNING ENGINEERING EDUCATION, 2013. Anais. 2013.
  • LEVIN-PELED, R.; KALI, Y; DORI, Y.J. Promoting collaborative learning in higher education: Design principles for hybrid courses. In: INTERNATIONAL CONFERENCE ON COMPUTER SUPPORTED COLLABORATIVE LEARNING, 8a., 2007, New Jersey CSCL’07 Proceedings. 2007. p. 421-430.
  • LIGHT, G.; COX, R. Learning and teaching in higher education: the reflective professional. London: Paul Chapman, 2001.
  • NICOL, D. Technology-supported assessment: a review of research. University of Strathclyde. 2008. Disponível em: Disponível em: http://www.reap.ac.uk/portals/101/documents/reap/technology_supported_assessment.pdf Acesso em: 5 maio 2016.
    » http://www.reap.ac.uk/portals/101/documents/reap/technology_supported_assessment.pdf
  • NICOL, D.; MACFARLANE-DICK, C. Rethinking technology-supported assessment in terms of the seven principles of good feedback practice. In: BRYAN, C.; CLEGG, K. Innovative Assessment in Higher Education, Routledge, London: Taylor and Francis Group, 2006.
  • NULTY, D. D. Peer and Self-Assessment in the First year of University. Assessment & Evaluation in Higher EducationLondon v. 36, n. 5, 2011.
  • PEREIRA, D.; FLORES, M. A. Percepções dos estudantes universitários sobre a avaliação das aprendizagens: um estudo exploratório. Avaliação, Campinas; Sorocaba, v. 17, n. 2, p. 529-556, 2012.
  • PERRENOUD, P. H. Avaliação: da excelência à regulação das aprendizagens. Porto Alegre: Artmed, 1999.
  • PIEDRA, N.; CHICAIZA, J.; LÔPEZ, J.; ROMERO, A.; TOVAR, E. Measuring collaboration and creativity skills through rubrics - experience from UTPL collaborative social networks course. IEEE Engineering Education 2010 - The Future of Global Learning in Engineering Education, Madrid/Spain, 2010.
  • POMBO, L. Avaliação em contextos de blended learning no ensino superior. Tese (doutorado) - Universidade de Aveiro, Aveiro, 2014. 2014
  • POMBO, L.; LOUREIRO, M. J.; MOREIRA, A. Estratégias de Ensino e de Avaliação em contextos online: boas práticas em avaliação de Software Educativo. In: HUET, I.; COSTA, N.; TAVARES, J.; BAPTISTA, A. V. (Coords.). Docência no ensino superior: partilha de boas práticas. Aveiro: Ed. da Universidade de Aveiro, 2009. p. 33-44.
  • SAMPAIO, R.F.; MANCINI M.C. Estudos de revisão sistemática: um guia para síntese criteriosa da evidência científica. Revista Brasileira de Fisioterapia, São Carlos, v. 11, n. 1, p. 83-89, 2007.
  • SCOULLER, K. M. The influence of assessment method on students' learning approaches: Multiple choice question examination versus assignment essay. Higher Education, Netherlands, v. 35, p. 453-472, 1998.
  • SEGERS, M.; GIJBELS, D.; THURLINGS, M. The relationship between students’ perceptions of portfolio assessment practice and their approaches to learning. Educational Studies,London, v. 34, n. 1, p. 35-44, 2008.
  • STRUYVEN, K.; DOCHY, F.; JANSSENS, S. Students‘perceptions about evaluation and assessment in higher education: a review. Assessment & Evaluation in Higher Education, London v. 30, n. 4, p. 331-347, 2005.
  • STUFFLEBEAM, D. L.; SHINKFIELD, A. J. Evaluación sistemática. Guía teórica y práctica. Barcelona: Paidós-MEC, 1987.
  • TANG, Y. P.; SHIMIZU, E.; DUBE, G. R.; RAMPON, C.; KERCHNER, G. A.; ZHUO, M.; LIU, G.; TSIEN, J. Z. Genetic enhancement of learning and memory in mice. Nature, London, p. 63-69, 1999.
  • TOPPING, K. Peer Assessment Between Students in Colleges and Universities. Review of Educational Research, Pennsylvania v. 68, n. 3, p. 249-276, 1998.
  • UNESCOOrganização das Nações Unidas para a Educação, a Ciência e a Cultura. Educação e aprendizagem para todos: olhares dos cinco continentes. Brasília: Ministério da Educação, 2009.
  • WATERING, VAN DE, G.; GIJBELS, D.; RIJDT, VAN DER, J.; DOCHY, F.; DE RIJDT, C. Students’ assessment preferences, perception of assessment their relationships to study results. Higher Education, Netherlands v. 56, n. 6, p. 645-658, 2009.
  • WEAVER, D.; ESPOSTO, A. Peer Assessment as a Method of improving student engagement. Assessment & Evaluation in Higher Education, London p. 1-12, 2012.
  • WEBBER, K. L. The Use of Learner-Centered Assessment in US Colleges and Universities. Research in Higher Education, Netherlands, v. 53, p. 201-228, 2012.
  • WEN, M. L; TSAI, C. C. University Students’ Perceptions of and Attitudes Toward (Online) PA.PA. Higher Education, Netherlands v. 51, n. 1, p. 27-44, 2006.
  • WING-SHUI, NG. The Impact of PA and Feedback Strategy in Learning Computer Programming in Higher Education. Issues in Informing Science and Information Technology, Santa Rosa, California, v. 9, 2012.
  • VEIGA SIMÃO, J.; MACHADO DOS SANTOS, S.; ALMEIDA COSTA, A. Ensino superior: uma visão para a próxima década. Lisboa: Gradiva, 2003.

Referências do Quadro 1

AL-SMADI, M.; GUETL, C.; KAPPE, F. PASS: Peer-ASSessment Approach for Modern Learning Settings. M. Spaniol et al. (Eds.): ICWL 2009, LNCS 5686, Aachen, p. 44-47, 2009.

BERNS, A.; PALOMO-DUARTE, M.; DODERO, J.M.; CEJAS, A. Guess it! Using gamicated apps to support students foreign language learning by organic community-driven peer-assessment. Open Learning and Teaching in Educational Communities, Austria, v. 8719 of the series Lecture Notes in Computer Science, p. 482-485, 2012.

BOUCHOUCHA, S.; WOZNIAK, H. Is PA of asynchronous group discussions fostering skills relevant to our future graduates? Proceedings ascilite Sydney, Sydney, 2010.

CHANG, S-H.; CHEN, M-L.; KUO, Y-K.; SHEN, Y-C. A Simulation-Based LED Design Project in Photonics Instruction Based on Industry-University Collaboration. IEEE Transactions on Education, Texas, v. 54, no. 4, 2011.

CHEN, N-S.; WEI, C-W.; WUA, W-T.; UDEN, L. Effects of high-level prompts and PA on online learners' reflection levels. Computers & Education, Amsterdã, v. 52, p. 283-291, 2009.

DOMINGUEZ, C.; GONÇALO CRUZ, A. M. PEDROSA, D., GRAMS, G. Online PA: an exploratory case study in a higher education civil engineering course. IEEE, Villach, 2012.

EUGENIA M.W. Using a mixed research method to evaluate the effectiveness of formative assessment in supporting student teachers’ wiki authoring. Computers & Education, Amsterdã, v. 73, p. 141-148, 2014.

GREZ, L.; VALCKE, M. Student Response System and How to Make Engineering - Students Learn Oral Presentation Skill. International Journal of Engineering Education, London, v. 29, n. 4, p. 940-947, 2013.

ISSA, T. Promoting learning skills through teamwork assessment and self/peer evaluation in higher education. IADIS International Conference on Cognition and Exploratory Learning in Digital Age. CELDA. Madrid, 2012.

LEVIN-PELED, R.; KALI, Y; DORI, Y.J. Promoting collaborative learning in higher education: Design principles for hybrid courses. CSCL'07 Proceedings of the 8th international conference on Computer supported collaborative learning, New Jersey, p. 421-430, 2007.

WEN, M.L; TSAI, C.C. University Students’ Perceptions of and Attitudes Toward (Online) PA.PA. Higher Education, New York, v. 51, Issue 1, p. 27-44, 2006.

WING-SHUI, NG. The Impact of PA and Feedback Strategy in Learning Computer Programming in Higher Education. Issues in Informing Science and Information Technology, Califórnia, v. 9, 2012

Datas de Publicação

  • Publicação nesta coleção
    Jan-Apr 2017

Histórico

  • Recebido
    21 Maio 2015
  • Aceito
    15 Maio 2016
location_on
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br
rss_feed Stay informed of issues for this journal through your RSS reader
Acessibilidade / Reportar erro