Acessibilidade / Reportar erro

Avaliação em ambientes virtuais de aprendizagem

Evaluation in virtual learning environments

Resumos

A demanda por avaliações de projetos de aprendizagem virtual a distância tem requerido o emprego de conceitos e métodos que transcendem o campo exclusivo da Educação, destacando-se a multiplicidade de marcos teóricos e abordagens técnicas empregados nas estratégias avaliativas de aprendizagem online. A despeito da hegemonia dos métodos quantitativos na avaliação das tecnologias de informação e comunicação, o emprego de métodos qualitativos nas avaliações de ambientes virtuais tem crescido ao longo das duas últimas décadas. A combinação de métodos quali-quantitativos possibilita uma melhor compreensão dos fenômenos subjacentes ao uso das tecnologias para a aprendizagem online. Dado que a educação em ambientes virtuais refere-se a experiências de aprendizagem que utilizam recursos hipermidiáticos em ambientes apoiados por uma tecnologia de comunicação online, optou-se neste artigo enfocar alguns tópicos relativos à avaliação de tecnologias de informação e de aprendizagem nesses ambientes, aprofundando a discussão no que tange aos métodos relevantes à avaliação tanto dos ambientes virtuais de aprendizagem quanto da aprendizagem nesse meio. Essa opção se deve tanto ao reconhecimento das especificidades das práticas pedagógicas da EaD que colocam em evidência a relação entre educação e comunicação, viabilizadas por meio das tecnologias de informação e comunicação, quanto aos diversos papéis, negativos e positivos, atribuídos às tecnologias de comunicação e informação na Educação.

Avaliação; Ambiente virtual de aprendizagem; Tipos de avaliação; Métodos quali-quantitativos


The demand for evaluations of projects of virtual distance learning has required the use of concepts and methods that go beyond the strictly educational field, with emphasis on the multiplicity of theoretical frameworks and technical approaches employed in the assessment strategies of online learning. Despite the hegemony of quantitative methods in the evaluation of the technologies of information and communication, the use of qualitative methods in the assessment of virtual environments has increased throughout the last decades. The combination of qualitative-quantitative methods allows a better understanding of the phenomena underlying the use of technologies for online learning. Given that education in virtual environments relates to learning experiences that make use of hypermediatic resources within environments supported by an online communication technology, we have opted in the present article for focusing on topics associated to the evaluation of information and learning technologies in these environments, furthering the discussion concerning the methods relevant to the assessment both of the virtual learning environments and of the learning within this medium. This choice is due to the recognition of the specificities of the practices of distance learning, which stress the relationship between education and communication, made possible through the new information and communication technologies. It also recognizes the various roles, positive and negative, attributed to the information and communication technologies in education.

Evaluation; Virtual learning environment; Types of evaluation; Qualitative-quantitative methods


ARTIGOS

Avaliação em ambientes virtuais de aprendizagem

Evaluation in virtual learning environments

Josué Laguardia; Margareth Crisóstomo Portela; Miguel Murat Vasconcellos

Fundação Osvaldo Cruz

Correspondência Correspondência: Josué Laguardia Rua do Russel, 404 apto. 504 22210-010 – Rio de Janeiro – RJ e-mail: jlaguardia@cict.fiocruz.br

RESUMO

A demanda por avaliações de projetos de aprendizagem virtual a distância tem requerido o emprego de conceitos e métodos que transcendem o campo exclusivo da Educação, destacando-se a multiplicidade de marcos teóricos e abordagens técnicas empregados nas estratégias avaliativas de aprendizagem online. A despeito da hegemonia dos métodos quantitativos na avaliação das tecnologias de informação e comunicação, o emprego de métodos qualitativos nas avaliações de ambientes virtuais tem crescido ao longo das duas últimas décadas. A combinação de métodos quali-quantitativos possibilita uma melhor compreensão dos fenômenos subjacentes ao uso das tecnologias para a aprendizagem online. Dado que a educação em ambientes virtuais refere-se a experiências de aprendizagem que utilizam recursos hipermidiáticos em ambientes apoiados por uma tecnologia de comunicação online, optou-se neste artigo enfocar alguns tópicos relativos à avaliação de tecnologias de informação e de aprendizagem nesses ambientes, aprofundando a discussão no que tange aos métodos relevantes à avaliação tanto dos ambientes virtuais de aprendizagem quanto da aprendizagem nesse meio. Essa opção se deve tanto ao reconhecimento das especificidades das práticas pedagógicas da EaD que colocam em evidência a relação entre educação e comunicação, viabilizadas por meio das tecnologias de informação e comunicação, quanto aos diversos papéis, negativos e positivos, atribuídos às tecnologias de comunicação e informação na Educação.

Palavras-chave: Avaliação – Ambiente virtual de aprendizagem – Tipos de avaliação – Métodos quali-quantitativos.

ABSTRACT

The demand for evaluations of projects of virtual distance learning has required the use of concepts and methods that go beyond the strictly educational field, with emphasis on the multiplicity of theoretical frameworks and technical approaches employed in the assessment strategies of online learning. Despite the hegemony of quantitative methods in the evaluation of the technologies of information and communication, the use of qualitative methods in the assessment of virtual environments has increased throughout the last decades. The combination of qualitative-quantitative methods allows a better understanding of the phenomena underlying the use of technologies for online learning. Given that education in virtual environments relates to learning experiences that make use of hypermediatic resources within environments supported by an online communication technology, we have opted in the present article for focusing on topics associated to the evaluation of information and learning technologies in these environments, furthering the discussion concerning the methods relevant to the assessment both of the virtual learning environments and of the learning within this medium. This choice is due to the recognition of the specificities of the practices of distance learning, which stress the relationship between education and communication, made possible through the new information and communication technologies. It also recognizes the various roles, positive and negative, attributed to the information and communication technologies in education.

Keywords: Evaluation – Virtual learning environment – Types of evaluation – Qualitative-quantitative methods.

As mudanças na ordem econômica e social, o desenvolvimento de novas tecnologias de informação e comunicação, a relativização e revitalização das culturas locais e a padronização e homogeneização política, cultural e tecnológica são apontadas como agentes de transformação dos sistemas de ensino e das modalidades educacionais (Belloni 2002; 2003). No campo econômico, as demandas sobre o sistema educacional se voltam para a produção de um conhecimento descontextualizado, orientado ao capital humano e com estudantes criativos, inovadores, flexíveis e dispostos a aprender ao longo de toda a vida (Löfsted et al., 2001). Além disso, a constituição de uma economia pós-industrial baseada no conhecimento requer que os níveis individuais e coletivos de conhecimento disponíveis sejam desenvolvidos e gerenciados de modo que os processos orga-nizacionais e de trabalho alcancem uma combinação sinérgica entre os dados, o poder de processamento da informação das tecnologias de informação e a capacidade criativa e inovadora dos seres humanos.

Essas mudanças nos processos de trabalho que exigem o desenvolvimento de habilidades metacognitivas e de competências para aprender cooperativamente, apoiadas em conteúdos contextualizados e na experiência individual, afinam-se com os propósitos da educação a distância e impulsionam o seu crescimento (Wentling et al., 2000; Carvalho; Misoczky, 2001; Struchiner; Giannella, 2002). Nesse cenário, a educação a distância (EaD) constitui "parte de um processo de inovação educacional mais amplo que é a integração das novas tecnologias de informação e comunicação nos processos educacionais" (Belloni, 2002; p. 123), uma modalidade de aprendizagem mais flexível, apoiada nos pressupostos de autonomia individual e liberdade intelectual. Ela também se mostra mais adequada à realidade do aluno adulto inserido no mercado laboral, atendendo às diferentes necessidades de formação e capacitação dos profissionais sem retirá-los do local de trabalho. Por sua vez, tais características requerem a ampliação da acessibilidade, do controle e da responsabilidade do estudante sobre os seus processos de aprendizagem e da flexibilização das instituições, estruturas administrativas, currículos, estratégias e métodos de aprendizagem (Peters, 2004).

Mena, Rodríguez e Diez (2001) destacam que o contexto atual de reestruturação da administração pública requer a adequação das estruturas e dos processos de capacitação aos requerimentos institucionais e o desenvolvimento de programas de aprendizagem sob uma perspectiva situacional. Na visão desses autores, o papel destacado da EaD nesse novo enfoque de capacitação profissional deriva da sua capacidade de oferecer respostas apoiadas em uma avaliação precoce e permanente dos problemas ou das necessidades detectados, da impossibilidade de dispor de capacitadores peritos que englobem todas as áreas do conhecimento e regiões geográficas no marco da administração pública e, principalmente, do fato de que os agentes públicos devem ser formados e capacitados em seus lugares de trabalho, aproveitando a possibilidade de refletir sobre suas próprias experiências cotidianas, transferindo permanentemente os conhecimentos e construindo espaços de aprendizagem. No âmbito da saúde, as mudanças no modelo assistencial e no desenho institucional, com alterações na clientela-alvo, na escala de oferta e na definição de competências profissionais, demandam uma reforma pedagógica baseada nos pressupostos da educação aberta e a distância (Torrez, 2005).

Todavia, a expansão dos cursos em EaD digital não é acompanhada por uma avaliação dessas iniciativas. O relatório do Word Bank Institute (Valcke; Leeuw, 2000) destaca que o número de avaliações de cursos, treinamentos de curta duração, seminários e oficina de especialistas na área de Educação digital a distância é limitado, sendo ainda mais reduzido nos países em desenvolvimento. Esse relatório sublinha a ausência de estudos que avaliem a articulação entre os cenários pedagógicos e os modelos de aprendizagem subjacentes; o impacto das avaliações nos tomadores de decisão; o gerenciamento de redes de aprendizagem; e a importância dos mecanismos de capital social, compromisso e confiança, bem como os cursos de curta duração e os programas de capacitação. Dyson e Campelo (2003) argumentam que as restrições de tempo e a ausência de um conhecimento especializado são fatores impeditivos para que a maioria dos formuladores de iniciativas de EaD através da internet empreenda estudos mais detalhados de avaliação.

No Brasil, a exigüidade de estudos ava-liativos das experiências em EaD tem limitado a constituição de um conhecimento mais apro-fundado sobre a adequação das abordagens pedagógicas, os custos de investimento em tecnologia, especialmente nas modalidades virtuais, assim como os fatores associados, diretamente ou não, ao desempenho dos alunos. Faz-se assim premente a discussão sobre as questões teóricas envolvidas nesses estudos. A integração entre as diversas disciplinas que tratam da avaliação de tecnologias de informação e a sua interface com a Educação, bem como a necessidade de orientar os profissionais envolvidos na avaliação de projetos de aprendizagem virtual a distância, definiram o objetivo desse artigo, que é apontar, a partir de uma revisão da literatura nacional e internacional em periódicos especializados e sítios de busca na internet, os aspectos conceituais e metodológicos que norteiam os protocolos de estudo nesse campo. Por se tratar de experiências de aprendizagem que utilizam recursos hipermidiáticos em ambientes apoiados por uma tecnologia de comunicação online, optou-se enfocar alguns tópicos relativos à avaliação de tecnologias de informação e de aprendizagem, aprofundando a discussão no que tange aos métodos relevantes à avaliação tanto dos ambientes virtuais de aprendizagem quanto da aprendizagem nesse meio. Essa opção se deve tanto ao reconhecimento das especificidades das práticas pedagógicas da EaD que colocam em evidência a relação entre educação e comunicação, viabilizadas através das tecnologias de informação e comunicação (Sartori, 2002), quanto aos diversos papéis, negativos e positivos, atribuídos às tecnologias de comunicação e informação na Educação (Barreto, 2004).

Avaliação de tecnologia de informação e educacional

A avaliação pode ser definida como a aplicação sistemática de procedimentos metodológicos para determinar, a partir dos objetivos propostos e com base em critérios internos e/ou externos, a relevância, a efetividade e o impacto de determinadas atividades com a finalidade de tomada de decisão. Em comum, as definições de avaliação a vêem como um julgamento de valor a respeito de uma intervenção ou sobre qualquer um de seus componentes, tomando como referência um padrão estipulado e cujo propósito é auxiliar os processos decisórios. Vale ressaltar que essa intervenção pode ser constituída por um "conjunto de meios (físicos, humanos, financeiros, simbólicos) organizados em um contexto específico, em um dado momento, para produzir bens ou serviços com o objetivo de modificar uma situação problemática" (Contandriopoulos et al., 1997, p. 31). Para esses autores, o modelo teórico-conceitual vigente considera a avaliação como um processo de negociação entre os atores envolvidos na intervenção a ser avaliada.

Na avaliação de tecnologias, suas diversas definições contemplam, de acordo com Panerai e Mohr (1989), as repercussões das tecnologias nos seus distintos níveis e o grau de planejamento dessas repercussões, com destaque para a natureza benéfica ou adversa das suas conseqüências. Brender (1998) vê a avaliação de tecnologia como uma atividade prévia à tomada de decisão acerca da sua aplicação e/ou difusão, sublinhando seu papel como instrumento político que busca preencher a brecha entre o potencial tecnológico e as necessidades e os desejos econômicos e sociais. Ammenwerth et al. (2003) ressaltam que no campo das tecnologias de informação e comunicação (TIC), ademais do seu caráter político, a avaliação não deve ficar restrita apenas à tecnologia, mas se estender à interação entre TIC e os usuários no processamento da informação dentro de um dado contexto socioambiental, pois essa interação determina como ocorre a incorporação das tecnologias aos processos de trabalho. Por essa razão, a avaliação de um recurso de informação deve ser orientada pelos problemas apontados pelos usuários, cobrir todo o ciclo de vida do recurso, articular a metodologia aos propósitos e objetivos da investigação, apontar os efeitos esperados e inesperados e gerar informações que sejam úteis à tomada de decisão. Brender (1998) sugere uma avaliação construtiva de ciclo de vida cujos usuários-alvo dessa meto-dologia são aqueles sob o domínio de aplicação do sistema futuro ou seus representantes e que sua aplicabilidade deve ser independente da abordagem de desenvolvimento do sistema, provendo aos usuários a informação necessária para a tomada de decisão quanto ao seu uso.

Todavia, na seleção das estratégias e técnicas mais adequadas ao estudo de avaliação, os pesquisadores se defrontam com questões que têm sido debatidas há décadas no campo da avaliação de tecnologias de informação, tais como qualitativo versus quantitativo, pragmatismo versus preocupações metodológicas, avaliador como árbitro versus avaliador como facilitador (Oliver, 2000). A investigação quantitativa (objetivista ou positivista) baseia-se nos pressupostos da existência de um modelo válido do mundo, explicável pelo conhecimento de alguns dos seus componentes, e da existência da verdade, medida a partir dos atributos dos componentes dos modelos (Moehr, 2002). A investigação quantitativa requer, além da escolha do desenho de estudo (o experimento laboratorial é tido como ideal), a definição da pergunta de pesquisa e do sistema sob investigação, a seleção de métodos, o desenvolvimento de instrumentos de mensuração, a coleta dos dados e a análise e divulgação dos resultados. Entretanto, a definição das perguntas do estudo depende tanto da habilidade em respondê-las quanto da disponibilidade de instrumentos capazes de medir as características que definem os construtos, de pessoal capacitado para usá-los e de recursos para a execução do estudo. Ammenwerth, Iller e Mansmann (2003) argumentam que esses estudos estão, em geral, restritos a variáveis predefinidas, valorizando a significância estatística e simplificando as relações mais amplas e complexas encontradas na realidade, o que resultaria em uma limitação na compreensão dos eventos causais e intervenientes. As abordagens quantitativas se apóiam em formulações derivadas da teoria da variância estatística e da concepção de agência causal que requer a identificação de alguns elementos como antecedentes, necessários e suficientes para a ocorrência de outros elementos tidos como resultado. Em decorrência disso, a visão dos resultados da tecnologia nas organizações está vinculada ao pressuposto de que tanto a tecnologia (imperativo tecnológico) quanto os seres humanos (imperativo organizacional) são os antecedentes ou agentes de mudanças e não que as mudanças emergem das interações complexas e indeterminadas entre esses agentes (perspectiva emergente). As características tecnológicas, organizacionais e dos usuários, bem como as necessidades da informação, são percebidas como estáticas, independentes e objetivas, em vez de construtos interativos e dinâmicos, como conceitos com atributos e sentidos que mudam ao longo do tempo e que podem ser definidos diferentemente de acordo com a visão e a vivência dos participantes individuais.

Kaplan e Duchon (1998) destacam que a pesquisa norte-americana em sistemas de informação caracteriza-se pela abordagem experimental, com a formulação de hipóteses testadas em experimentos controlados sob o pressuposto que a ciência só progride por meio de teste de hipóteses (ganhos incrementais) e pelo uso de estratégias de controle experimental e estatístico. Na opinião desses autores, essas pesquisas removem os efeitos contextuais que são importantes para o entendimento da ação dos fatores intervenientes no sucesso ou fracasso de uma intervenção com o propósito de gerar resultados generalizáveis e reprodutíveis. As análises desses estudos tratam os objetos da pesquisa de duas maneiras: tomando a tecnologia como um fator determinante e os usuários como entes passivos ou assumindo que os usuários e as organizações são atores em um consórcio racional para alcançar determinados resultados por meio do uso da tecnologia. Em ambos os casos, a natureza da tecnologia e dos usuários é considerada estática e possuidora de um caráter essencial e imutável, e o ganho de objetividade é obtido às expensas de uma compreensão mais profunda do que ocorre.

Por sua vez, a abordagem qualitativa (interpretativa ou subjetivista) busca descobrir o que as pessoas querem ou necessitam saber por meio de uma descrição do sistema, do ambiente e dos efeitos da interação sistema-usuário-ambiente, tal como são percebidos pelas pessoas, tomando como base o raciocínio indutivo e a observação cuidadosa e detalhada. As críticas ao enfoque subjetivista baseiam-se na afirmação de que suas interpretações são dependentes do pesquisador (subjetividade) e que os resultados são válidos, na maioria das vezes, apenas para casos individuais.

A incorporação de pressupostos objetivistas e subjetivistas na avaliação resulta em quatro tipos de abordagens: experimental, pragmática, econômica e naturalística (Puma, 1999). A avaliação experimental incorpora a idéia positivista de aplicar a metodologia das ciências naturais à engenharia dos programas, utilizando um desenho de estudo do tipo ensaio clínico para alocação randômica de grupos percebidos como similares e comparação dos grupos a partir da exposição de um deles a uma estratégia ou programa. A avaliação pragmática enfoca a utilidade, a viabilidade política, a oportunidade e o custo dos programas, é direcionada aos objetivos e práticas de trabalho dos tomadores de decisão e emprega desenhos de estudo quasi-experimental ou estudo de caso. A avaliação econômica, freqüentemente conduzida de maneira separada da avaliação geral, introduz a informação sobre os custos do programa como um critério e suas ferramentas incluem análises de custo-benefício e custo-efetividade. Por fim, a avaliação naturalística rejeita as avaliações experimentais e econômicas, alegando que a sociedade está em constante construção pela interação dos indivíduos.

A propósito dos desenhos de estudo, vale destacar a classificação utilizada por Friedman e Wyatt (1997), que agrupa os diversos tipos de desenho em duas categorias, objetivistas e subjetivistas, cada uma contendo quatro tipos de abordagens. No grupo dos estudos objetivistas, encontram-se as abordagens baseadas na comparação e nos objetivos, a abordagem de facilitação da decisão e a abordagem livre de metas. A abordagem baseada na comparação emprega estudos experimentais ou quasi-experimentais, na qual o recurso sob estudo é comparado a uma condição controle ou de contraste e a relação causal é atribuída a partir da associação estatística. O ensaio randomizado é tido como o único método que permite estimar pequenos benefícios atribuíveis à intervenção e o número de participantes depende da variação interindividual das medidas utilizadas, do efeito mínimo esperado, da significância estatística e do poder do estudo. Os usuários são selecionados e alocados a um dos dois grupos: usa ou não determinada tecnologia (Wyatt; Wyatt, 2003). Embora os estudos experimentais pareçam definitivos quando propostos, eles se apóiam em uma escolha intuitiva, arbitrária ou política das questões e o que é medido é freqüentemente o que pode ser medido. Além disso, as variáveis medidas e avaliadas de maneira mais acurada nesses estudos e utilizadas para estimar as medidas de resultado são aquelas que mais dificilmente estão relacionadas aos efeitos do recurso sob estudo. Na abordagem baseada em objetivos, busca-se determinar se o recurso atende aos objetivos estipulados no início do seu desenvolvimento, enquanto que, na abordagem de facilitação da decisão, a avaliação está orientada para a solução de questões importantes pelas pessoas que podem tomar decisões sobre o futuro do recurso. Na abordagem livre de metas, a avaliação é propositalmente cega aos efeitos esperados do recurso.

No grupo subjetivista, os estudos são classificados em abordagem quase-legal, crítica de arte, revisão profissional e responsiva/iluminadora. A abordagem quase-legal estabelece um julgamento do recurso em que proponentes e oponentes do recurso oferecem testemunhos que são examinados à maneira de um tribunal. A abordagem de crítica de arte se sustenta em métodos formais de crítica e no princípio do crítico como conhecedor experiente e respeitado que aponta os benefícios e as limitações do recurso. A abordagem de revisão do profissional emprega um painel de pares experientes que avalia o recurso tecnológico no ambiente onde se encontra instalado. A abordagem responsiva/iluminadora busca representar os pontos de vista dos usuários do recurso ou outras partes significativas do ambiente onde opera o recurso, tem como meta compreender, em vez de julgar, e seus métodos derivam da etnografia. As vantagens das abordagens subjetivistas residiriam no menor tempo gasto para a realização desses estudos, a adequação para a compreensão do modo como funciona um recurso em um determinado ambiente, o porquê desse funcionamento e como é utilizado pelos usuários (aspectos cognitivos).

No que diz respeito às tecnologias educacionais, Almenara (1998) destaca que a sua avaliação, assim como as TIC, apresenta um caráter processual que envolve a tomada de decisões progressivas acerca da determinação do objeto a ser avaliado, a temporalização, especificação dos motivos e das necessidades e a determinação das técnicas e estratégias a serem empregadas, bem como a sua execução e concretização em um produto. A avaliação de uma tecnologia educacional pode contemplar os critérios para a sua utilização didática, as possibilidades cognitivas proporcionadas, os aspectos técnicos e estéticos, a adequação aos usuários, a rentabilidade econômica e o aperfeiçoamento do projeto ergonômico. Essa avaliação pode ser realizada a partir da análise das características técnicas e didáticas intrínsecas à tecnologia (avaliação do produto), comparando-a com outras tecnologias a partir de critérios de viabilidade para o alcance de objetivos, as potencialidades técnicas e a análise do custo do projeto e da sua produção (avaliação seletiva) ou então para conhecer o comportamento da tecnologia em um determinado contexto de aprendizagem e suas possibilidades de inter-relação com outros elementos curriculares (avaliação relativa ao contexto). Para Pons (1998), a abor-dagem empírico-analítica na tecnologia educacional, com descrições da realidade objetivadas e explicações funcionais que buscam estabelecer uma tipologia de relações causais, tem resultado em uma tipificação dos fenômenos e das situações estudados, uma visão instrumental da ciência aplicada à realidade educacional, um entendimento dos meios de aprendizagem como dispositivos utilizados para uma finalidade instrutiva e uma opção eficientista da educação.

Oliver (2000) afirma que a adoção de abordagens utilitárias que enfatizam a avaliação de tecnologias educacionais como um meio e não um fim em si mesma, a descrição das vantagens e limitações dos métodos qualitativos e quantitativos, a preocupação com a autenticidade da avaliação e a mudança para um modelo situado de aprendizagem têm fomentado o uso de metodologias híbridas. Essas metodologias combinam abordagens qualitativas e quantitativas com a triangulação dos resultados, fortalecendo a credibilidade dos achados dos estudos avaliativos. A triangulação na avaliação significa o emprego de múltiplas fontes de dados, observadores, métodos ou teorias na investigação de um mesmo fenômeno, apoiando um achado com a ajuda de outros (validação), complementando os dados com novos resultados, encontrando novas informações e adicionando peças ao quebra-cabeça geral (completude). Ammenwerth, Iller e Mansmann (2003) dividem a triangulação em quatro tipos que podem ser aplicados ao mesmo tempo: de dados, de investigador, de teorias e de métodos. A triangulação de dados utiliza várias fontes de dados com respeito ao tempo, ao espaço ou às pessoas – por exemplo, profissionais entrevistados em diferentes locais ou questionários aplicados em períodos distintos de tempo. A triangulação de investigador ocorre quando vários observadores ou entrevistadores com formações metodológicas e profissionais específicas tomam parte em um estudo, coletando e analisando os dados juntos. A triangulação de teorias é a análise dos dados com base em várias perspectivas, hipóteses ou teorias. A triangulação de métodos utiliza vários métodos para coleta e análise dos dados. A triangulação pode ser classificada também em dois subtipos – triangulação intramétodo, combinando abordagens dentro da mesma tradição de pesquisa, e intermétodo, combinando abordagens qualitativas e quantitativas.

O uso de abordagens quantitativas pode ser útil quando se baseiam em uma teoria estabelecida e quando é importante que as relações individuais sejam quantificadas e validadas. Em contrapartida, a abordagem qualitativa é mais adequada quando não há uma teoria disponível, quando novas relações devem ser descobertas e sua aplicação está referida à avaliação de estruturas organizacionais, resistência do usuário, definição de papéis ou padrões de comunicação. Uma visão integradora dos paradigmas subjetivista e objetivista na avaliação de uma tecnologia educacional é proposta por Jones (2004) com o uso da abordagem fenomenográfica na avaliação da aprendizagem em rede (networked learning). Essa abordagem associa entrevistas individuais (dados qualitativos) e inventários de aprendizagem (dados quantitativos), combinando na análise as diferentes experiências e compreensões que são caracterizadas em categorias de descrição, logicamente relacionadas entre si e formando uma hierarquia em relação a um dado critério. Esse conjunto ordenado de categorias de descrição é denominado o espaço de resultado para as concepções do fenômeno.

A fim de dispor das vantagens dessas duas estratégias, recomenda-se que sejam combinadas de modo que os métodos qualitativos sejam usados para preparar estudos quantitativos e as medidas quantitativas apóiem a argumentação qualitativa. Pope e Mays (2000) destacam o caráter complementar dessas abordagens, nas quais as análises de dados qualitativos podem tanto servir de base para formulação de questionários estruturados quanto para a validação da pesquisa quantitativa, provendo diferentes perspectivas do mesmo fenômeno social. Além disso, o pesquisador deve estar atento às modificações ocorridas no contexto no qual foi implementada uma tecnologia educacional e que podem ter implicações no resultado da avaliação. Como aponta Almenara (1998), as vantagens de uma dada tecnologia educacional podem ser devidas às

[...] modificações paralelas que haviam sido feitas no currículo e no programa acadêmico, no papel dos professores ou simplesmente na análise e tratamento que haviam sido feitos dos conteúdos para apresentá-los e readaptá-los às características do novo meio e dos alunos que receberiam a informação. (p. 263)

Tipos de avaliação de ambientes virtuais de aprendizagem

De modo geral, a avaliação de ambientes virtuais de aprendizagem pode tomar como base para sua investigação as condições em que a aprendizagem se realiza (estrutura), os modos pelos quais os estudantes são capazes de interagir sendo apoiados nas suas atividades (processos) e o alcance dos objetivos e das metas propostos (resultados). Contudo, a mediação da tecnologia na aprendizagem propicia formas inovadoras de conhecimento e possibilidades de documentação e análise para a avaliação. Esses ambientes oferecem os meios para avaliações das habilidades metacognitivas, das estratégias de aprendizagem e do histórico das mudanças ocorridas no desempenho dos estudantes ao longo do curso, provendo evidências acerca dos processos envolvidos nas atividades educativas em espaços digitais e subsídios sobre a efetividade das tecnologias educacionais (Gibson, 2003; University of Warwick, 2004).

As avaliações de ambientes virtuais de aprendizagem podem ser classificadas, de acordo com Valcke e Leeuw (2000), em cinco tipos. Na avaliação interna e análise do desempenho, as estratégias mais utilizadas são os inquéritos e a construção de indicadores relacionados à atuação do aluno ao longo do curso e as modificações resultantes da aprendizagem, embora poucos indicadores sejam específicos para Educação digital a distância ou adequados para avaliar o impacto das tecnologias no desempenho dos alunos. Para Valcke e Leeuw (2000), esses indicadores refletem muitas vezes a perspectiva dos países industrializados, havendo a necessidade de se desenvolver indicadores mais específicos ao contexto dos países em desenvolvimento e com metas mais coletivas.

Na avaliação interna e no monitora-mento das atitudes e percepções dos estudantes juntamente com a avaliação do desempenho da equipe, os estudos têm utilizado estratégias quantitativas (por exemeplo, inquérito) ou qualitativas (entrevista ou grupos focais) com questionários estruturados, semi-estruturados e roteiros para caracterizar a satisfação do usuário, a participação e interação e as opiniões e atitudes com respeito ao uso das tecnologias. Considerados como um fator crítico no sucesso da aprendizagem baseada na tecnologia, os níveis de interação podem ser analisados sob as perspectivas aprendiz-aprendiz, aprendiz-tutor, aprendiz-conteúdo e aprendiz-interface (Hill et al., 2003). Um destaque especial deve ser dado à interação aprendiz-tutor, a retroalimentação do tutor às dúvidas do aprendiz e a habilidade desse tutor para o desenvolvimento de um alto nível de presença social, pois essas ações contribuem significativamente para a efetividade instrucional e a satisfação do usuário, com impactos na motivação e aprendizagem. O desenho do currículo, o ambiente de aprendizagem e a interface de aprendizagem são itens a serem considerados nas avaliações internas. A análise do desenho curricular deve contemplar os aspectos relativos à organização dos conteúdos, à vinculação entre atividades prescritas e os temas abordados e à adequação dos conteúdos aos objetivos propostos. A avaliação do ambiente de aprendizagem deve considerar a abordagem teórica que orienta o seu desenho, as oportunidades oferecidas aos alunos para discussão e trabalho em grupo, a organização e o acesso ao conteúdo, a facilidade de navegação e o controle do aprendiz. Na avaliação do desenho da interface de aprendizagem, a sincronia/assincronia das comunicações, o aspecto intuitivo no uso, a disponibilidade da barra de navegação e o layout da tela são alguns dos aspectos a serem investigados.

A satisfação do usuário e a usabilidade (avaliação ergonômica) têm ganhado a atenção nas avaliações de tecnologias devido à carga de trabalho mental e prático a que está submetido o usuário quando opera fisicamente um sistema de TIC – por exemplo, o número de teclas digitadas para completar uma determinada ação; o montante de informação memorizada necessária para realizar uma operação ou recuperar uma informação; dificuldade para realização de correções nos dados existentes. Os aspectos cognitivos (compatibilidade de um sistema TIC com os processos cognitivos reais envolvidos na capacidade do usuário de realizar uma atividade) e de funcionalidade (adequação de um sistema de TIC dentro dos processos de trabalho da organização) são também elementos importantes na avaliação ergonômica.

Wentling et al. (2000) vê a informação sobre a satisfação do usuário como um componente importante da efetividade da aprendizagem online e recomenda a sua coleta porque essas medidas dão subsídios às equipes de produção e organização do curso, permitem uma análise discriminada segundo determinados subgrupos de alunos e as reações positivas ao curso ajudam a ganhar ou a manter o apoio organizacional para futuras capacitações. Além disso, a aquisição de conhecimento no processo de aprendizagem está baseada nas expectativas dos alunos – mais/menos útil no processo de aprendizagem, no alcance ou não dos objetivos do curso e os fatores associados a isso, a relevância e aplicação do que foi aprendido, ao desempenho nos exames e testes, o tempo para completude do curso.

Vale ressaltar que no tocante à adequação da tecnologia aos usuários, os profissionais que desenvolvem e implementam ambientes virtuais de aprendizagem se defrontam com desafios similares aos enfrentados pelos construtores de sistemas de TIC. Esses desafios dizem respeito à configuração de um ambiente de aprendizagem segundo um modelo pedagógico associado a uma determinada concepção de educação, à construção de um sistema tendo em mente um usuário-prototípico, que pode corresponder ou não ao estilo cognitivo e de aprendizagem, ao padrão de uso do sistema e às necessidades dos usuários atuais ou para situações de aprendizagem que têm lugar em contextos diversificados, rapidamente modificáveis e com resultados incertos. Mesmo em um ambiente de aprendizagem cuidadosamente elaborado, as percepções dos aprendizes podem não ser compatíveis com as intenções dos formuladores do ambiente. Nos ambientes virtuais de aprendizagem, a causa dessa incompatibilidade é associada à contraposição, por um lado, entre o conhecimento relacionado às teorias de aprendizagem, os princípios de desenho instrucional e a pesquisa na aprendizagem dos estudantes de nível superior e, do outro lado, ao corpo de conhecimento relativo ao uso das tecnologias de aprendizagem online.

O terceiro tipo de avaliação, externa com enfoque no ambiente sociocultural, tem como objetivo a identificação da formação de uma rede interinstitucional de recursos intelectuais e físicos e a participação de agentes locais na constituição de comunidades de aprendizagem vinculadas a canais de comunicação e interação. Esse tipo de avaliação contempla análises de custo-benefício e custo-efetividade em que se comparam as experiência de EaD com métodos tradicionais, com diferentes definições e perspectivas de custo e benefício, identificação dos custos ocultos e estimativa de modelos de cálculo que podem influenciar os resultados dos estudos. Valcke e Leeuw (2000) afirmam que as instituições de EaD digital, quando comparadas às instituições convencionais, apresentam menor custo por estudante, porém o custo-efetividade em termos de custos por graduado é menor do que seria esperado devido à baixa taxa de conclusão e ao maior tempo médio de estudo.

Na avaliação externa com abordagem dos coordenadores e promotores (stakeholders), os objetos de estudo são a variedade de níveis, os conflitos de interesses e o envolvimento dos responsáveis pelos cursos dentro da proposta de EaD digital. O quinto tipo engloba outros métodos e abordagens de avaliação, tais como a seleção e o uso de mídias adequadas à EaD digital; avaliação da qualidade para garantia de disponibilidade de acesso, igualdade de oportunidades, relevância e adequação dos cursos e dos materiais; análise dos escores dos aprendizes, taxas de conclusão ou evasão. Outras estratégias empregadas na avaliação de EaD digital são a certificação ISO; auditorias; análise de parceiros; revisão de especialistas; análise de impacto e investigações psicológicas em comunicações mediadas por computador em ambientes virtuais, que estão relacionadas à efetividade ou aos processos de grupo.

Freqüentemente empregado na avaliação da aprendizagem em programas de treinamento empresarial, o modelo de quatro níveis de Kirkpatrick (1998) tem sido utilizado na avaliação da aprendizagem em ambientes virtuais de aprendizagem (Dixon, 2001), particularmente nas experiências de eLearning. No nível 1 (reação), que mede a satisfação do aluno com os distintos aspectos do curso, o aluno deve ser inquirido com perguntas que possibilitem determinar se as suas expectativas foram alcançadas, se o que foi aprendido no curso é importante para o seu trabalho e se o instrutor foi um facilitador efetivo para a aprendizagem. A importância dessa avaliação deve-se à reação dos estudantes que pode influenciar a transferência do que aprenderam para o seu trabalho e o interesse dos seus colegas em participarem de treinamentos futuros. Na avaliação do nível 1 de um curso online, podem ser empregados questionários online, votação dos conteúdos do curso pelos estudantes, discussão na internet sobre os materiais e métodos do curso, comentários anônimos depositados em uma caixa de sugestão virtual ou remetidos por correio eletrônico aos tutores e coordenadores ao longo do curso. No nível 2 (aprendizagem), busca-se avaliar, por meio de pré e pós-testes objetivos e pareados, as competências estipuladas pelo curso, se a aprendizagem teve lugar e se as metas do curso foram atingidas. Nos ambientes virtuais de aprendizagem, essa avaliação pode ser realizada com o uso de testes, simulações e jogos que devem ser incluídos como materiais requeridos do curso. A análise de cada um dos itens do teste pode apontar onde houve ou não uma mudança de conhecimento ou atitude. A avaliação de nível 3 (aplicação), realizada em um período posterior ao término do curso, determina em que extensão os novos conhecimentos, habilidades e atitudes aprendidos no curso foram transferidos para o trabalho e identifica as questões que poderiam estar impedindo essa transferência. Benigno e Trentin (2000) assinalam que esse nível da avaliação é crucial quando os conteúdos do curso são de natureza metodológica, uma vez que as avaliações feitas em períodos anteriores apreendem apenas o nível de compreensão e não a capacidade de transferir a aprendizagem para o local de trabalho. As razões para que o conhecimento aprendido não seja aplicado podem ser devidas ao esquecimento, a falhas na aplicação, a falta de incentivo ou oportunidade para utilizá-lo. Nos cursos online, a avaliação de nível 3 pode tomar a forma de observações, opiniões de futuros instrutores ou registros de desempenho. O nível 4 (resultado) mede os resultados do treinamento, tais como retorno do investimento, melhoria organizacional, redução do absenteísmo e melhoria da motivação. Nos níveis 3 e 4, Kirkpatrick (1998) recomenda o uso de grupos de comparação, o controle dos fatores ambientais, a avaliação antes e depois do curso e em períodos regulares, uma vez que as mudanças podem ocorrer em períodos distintos.

Dois aspectos significativos da avaliação de cursos online – a avaliação da aprendizagem e a avaliação do desempenho dos participantes – são cotejados no modelo proposto por Benigno e Trentino (2000). O nível 1 (reação e ação planejada) corresponde às fases de avaliação intermediária e final do curso e tem o intuito de conhecer a satisfação dos participantes e como eles pretendem aplicar o que foi aprendido no curso. O nível 2 (aprendizagem) mede o que o participante aprendeu por meio de testes, ensaios individuais, atividades práticas, simulações e desenvolvimento de projetos. O nível 3 (aplicação no local de trabalho) é realizado após o término do curso. Os benefícios ganhos pela organização corresponderiam ao quarto nível e podem ser vistos de diferentes ângulos – econômicos, na satisfação do usuário de um serviço, nos custos da produção. Entretanto, esses autores destacam que os níveis de satisfação detectados não garantem que o conhecimento e as habilidades ensinados tenham sido realmente aprendidos nem tampouco os resultados positivos no nível da aprendizagem asseguram que os participantes sejam capazes de aplicar corretamente o que eles aprenderam.

Métodos de avaliação de ambientes virtuais de aprendizagem

Na avaliação de ambientes virtuais de aprendizagem, é necessário dispor de dados sobre as características individuais dos participantes, do ambiente de aprendizagem, da participação, da comunicação, dos materiais e da tecnologia utilizados (Benigno; Trentin, 2000). O uso de questionários é provavelmente o método mais amplamente utilizado nos diversos tipos de avaliação de cursos online. Eles podem ser aplicados no momento da matrícula para obter os dados sobre as características sociodemográficas dos alunos, as experiências e os conhecimentos prévios adquiridos nos assuntos cobertos pelo curso, experiência prévia em cursos a distância e/ou online, razões para se matricular, expectativas com respeito ao curso, condições do ambiente de aprendizagem (logística) e conhecimento em tecnologia de informação e comunicação. Um dos achados mais importantes desse questionário de entrada é a informação sobre natureza do ambiente de aprendizagem onde o estudante participará no curso a distância, pois dá ao tutor uma imagem do cenário físico onde ocorre essa aprendizagem.

O questionário aplicado no final do curso aborda as questões relativas a conteúdos, abordagem educacional adotada, materiais usados, aspectos organizacionais (logística) dos alunos, aspectos técnicos relativos ao uso da Internet e de outras tecnologias e o desempenho do tutor. As respostas podem ser obtidas por meio de questões abertas e fechadas, escalas de pontuação (Likert ou smile sheets), listas de checagem ou uma combinação de diversos estilos e as respostas detalham os principais aspectos que influenciam a satisfação do usuário.

Os questionários podem ser aplicados presencialmente, enviados pelo correio, preenchidos online ou por telefone e apresentam as seguintes vantagens: facilidade de codificação das respostas fechadas, rapidez na coleta dos dados, uso de grandes amostras, menor custo de administração e processamento, uso de abordagens padronizadas e taxas de retorno mais altas (Dixon, 2001). As principais desvantagens são o atraso ou vieses de memória que podem distorcer os dados, má interpretação por problemas de desenho das questões, dificuldades de processamento e análise de questões abertas, recusa na resposta ao questionário e extensão do questionário que pode torná-lo cansativo, aborrecido e comprometer a qualidade das respostas.

Além dos fatores relacionados ao contexto físico e conhecimentos/experiências prévios, outros elementos do ambiente de aprendizagem influenciam a aquisição de novos conhecimentos e habilidades e podem servir como variáveis preditoras no estabelecimento da relação entre o ambiente em si e os resultados cognitivos e afetivos obtidos, tais como a interação e comunicação entre os participantes. A avaliação quantitativa da participação dos estudantes no ambiente virtual de aprendizagem pode limitar-se à constatação de quais exercícios foram realizados e as notas obtidas ou estender-se à avaliação das mensagens trocadas e aos níveis de participação, que podem ser mensurados por meio de técnicas sociométricas – por exemplo: o índice de participação e o índice de centralidade (Benigno; Trentin, 2000). A análise qualitativa dessa participação deve ir além da simples verificação (sim/não) ou do modo como ele lidou com os principais tópicos em uma dada unidade do curso online para incluir a observação geral do desempenho do grupo na aprendizagem para alcançar uma interação construtiva. Além das técnicas específicas de análise de conteúdo, Benigno e Trentin (2000) sugerem um instrumento menos rigorosamente científico, mas prático e fácil para uso pelos tutores – o grid qualitativo. Quatro elementos são considerados nessa ferramenta: o número de mensagens enviadas por cada estudante, as características de interatividade das mensagens, a extensão na qual a mensagem cobre os tópicos que os peritos do curso identificaram como significativos, e a profundidade (granularidade) em que os tópicos foram explorados. Os dois primeiros elementos cobrem a qualidade da participação do ponto de vista da presença e interação com outros estudantes, e os dois últimos abordam os conteúdos estudados, sendo necessária uma compilação, pelos especialistas de cada área, de uma lista de tópicos relevantes na análise do conteúdo. A participação dos alunos no curso também pode ser avaliada com a aplicação de um questionário final que aborde questões relativas à interação do aluno com o tutor e com outros estudantes.

As estratégias de avaliação qualitativa na educação caracterizam-se em geral pela coleta de dados descritivos por meio do contato direto e prolongado do pesquisador com o ambiente e a situação estudada, com uma ênfase maior nos processos do que no produto e uma preocupação em retratar a situação a partir da perspectiva dos participantes (Lüdke; André, 1986). Para Moehr (2002), a abordagem mais adequada para o contexto de avaliação de um sistema de informação e comunicação é a etno-gráfica, que consiste na identificação de temas e perguntas baseadas em observações e investigações iniciais, desenvolvidas iterativamente, com maior detalhamento e ajustes. Dois pressupostos embasam a pesquisa etnográfica: a hipótese naturalista-ecológica que destaca a influência do contexto no comportamento humano e a hipótese qualitativo-fenomenológica que vincula a compreensão do comportamento humano ao quadro referencial dentro do qual os indivíduos interpretam seus sentimentos, pensamentos e ações. Os critérios para utilização da abordagem etnográfica ressaltam que o problema inicial da pesquisa deve ser desenvolvido pelo pesquisador no trabalho de campo com a coleta de dados primários por meio de observação direta e entrevistas com informantes, com enfoque naquilo que é observável, evitando abstrações e generalizações precoces e fazendo do senso comum um tópico e não apenas um recurso tácito. A avaliação de ambientes de aprendizagem online por meio da abordagem etnográfica, de acordo com Jones (1998), revela os processos dinâmicos que orientam os seus usuários na construção do contexto de suas ações e comunicações e no uso dos recursos técnicos e pedagógicos desses sistemas educativos.

O estudo de caso, segundo Lüdke e André (1986), pode variar seu objeto, do específico ao abstrato e complexo, portando ao mesmo tempo semelhanças e singularidades. As descobertas do estudo se dão à medida que a investigação avança e se refina, sustentadas por uma interpretação contextualizada da realidade, por meio de uma variedade de fontes de informação que representam pontos de vista divergentes ou conflitantes, que revelam a experiência e permitem generalizações naturalísticas.

As entrevistas de grupo focal têm sido empregadas nas avaliações de ambientes virtuais de aprendizagem como uma técnica para coleta de dados qualitativos sobre percepções, crenças, atitudes e idéias dos usuários de cursos online. Os grupos focais são entrevistas estruturadas de grupo, conduzidas por um facilitador, nos quais as pessoas compartilham suas visões em um espectro de questões. Os grupos focais combinam elementos de entrevista e observação participante, e a idéia por detrás dessa técnica é a de que os processos de interação do grupo ajudam os participantes a explorar e quantificar suas visões por vias que seriam pouco acessíveis em uma entrevista individual (Mahoney, 1997; Pope; Mays, 2000). Robley et al. (2004) descrevem a avaliação de um curso de enfermagem online com o uso de grupos focais e da fenomenologia hermenêutica para análise das narrativas dos participantes. A teoria hermenêutica vê a compreensão como processo dinâmico de construção de significado, um desenvolvimento por meio de um movimento contínuo entre o todo e as partes em que o significado é modificado à medida que mais relações são estabelecidas (Hill et al., 2003). Desse modo, no estudo de Robley et al. (2004), a análise das narrativas dos alunos foi realizada por meio da leitura e interpretação, de maneira iterativa, para a identificação de sete grandes temas que representavam a experiência dos estudantes.

A realização de grupos focais online, apesar de ser uma estratégia pouco utilizada no meio acadêmico, apresenta as vantagens de maior congruência com o ambiente sob estudo, maior facilidade de comunicação entre os participantes, maior igualdade de participação na discussão, incluindo os estudantes com restrições de distância e tempo, anonimato dos participantes, economia de custos e habilidade para recrutar populações diversas e abordar temas controversos (Burton; Goldsmith, 2002). As desvantagens dos grupos focais online estariam relacionadas à perda de recursos não-verbais/verbais/paraverbais durante a comunicação, problemas de proteção da privacidade da discussão, alta taxa de não-comparecimento entre os participantes, redução no número de palavras usadas pelos participantes de grupos focais síncronos quando comparados aos grupos focais presenciais e assíncronos e à sub-representação da população geral, pois somente são incluídos aqueles que possuem conexão com a internet. Oringderff (2004) recomenda aos pesquisadores interessados em desenvolver grupos focais online que critérios de seleção, procedimentos e limitação do tempo a serem seguidos pelo moderador e os participantes devem ser bem estabelecidos ao longo da duração do grupo focal e que os participantes devem sentir-se confortáveis em um meio eletrônico.

Na avaliação da aprendizagem em ambientes virtuais, os métodos utilizados podem estar relacionados à modalidade de avaliação (Benson, 2003). A avaliação diagnóstica, cuja atividade antecede a formação e permite um ajuste tanto do programa aos conhecimentos e às competências atuais dos aprendizes quanto destes em relação aos programas de formação, pode ser realizada por meio de inquéritos eletrônicos (web surveys) que abordam os aspectos relacionados às expectativas dos alunos, seus estilos de aprendizagem, abordagens de estudo e medidas de auto-eficácia computacional.

A avaliação formativa, que aponta a adequação entre os objetivos e os processos de aprendizagem, o grau assimilação dos conceitos pelos alunos, sua capacidade de avaliação crítica e aplicação à realidade, pode ser feita por meio de atividades reflexivas, uso de ferramentas síncronas e assíncronas, mapeamento conceitual e criação de portifólios. Além da análise tradicional de respostas selecionadas (múltipla escolha, falso-verdadeira e pareamento de questões) e de respostas construídas (preenchimento de lacunas), a retroalimentação informal dos estudantes mediante respostas resumidas dos principais pontos da lição pode fornecer aos instrutores indicações para mudanças estruturais no curso.

O uso da ferramenta síncrona de bate-papo (chat) permite que se avalie o aluno tanto na capacidade de resposta imediata a questões levantadas pelo tutor e colegas quanto no acompanhamento do desenvolvimento de habilidade de síntese, análise, avaliação e senso crítico do aluno. Zaina, Bressan e Ruggiero (2003) realizaram um chat com alunos sobre um texto selecionado em que foram definidas as questões a serem abordadas e o tempo médio de discussão para cada questão. A sua análise, por meio do arquivo de log, serviu como fonte material para avaliação da compreensão dos conceitos expostos pelo referido texto e sua aplicação na prática. Os alunos também foram avaliados sobre a experiência de participar do chat a partir das respostas a uma mensagem de correio. Nessa mensagem, os alunos foram inquiridos sobre as dificuldades de expressar as idéias, como se sentiam ao conversar em um evento virtual e como eles comparavam a avaliação em um chat com uma avaliação tradicional. Os pontos positivos apontados foram a possibilidade de desenvolver a habilidade da escrita na expressão de idéias coerentes e a interação que permitiu a troca de informação e a construção de uma conclusão coletiva enquanto que as interrupções provocadas por outros colegas ou por problemas de conexão à internet são assinaladas como pontos negativos. A avaliação da discussão virtual assíncrona (lista de discussão, fórum) é reveladora de níveis de aprendizagem de alta-ordem porque provê a oportunidade para os aprendizes lerem as respostas dos seus colegas, prepararem uma resposta mais elaborada e a postarem posteriormente.

A técnica de mapeamento de conceitos permite que os alunos diagramem sua compreensão estrutural de idéias e delineie a relação entre os componentes, assinalando para o tutor as mudanças na compreensão e os pontos que requerem uma discussão mais aprofundada. A avaliação de portifólio, considerado como uma coleção intencional dos trabalhos realizados pelo aprendiz ao longo de um período de tempo, fornece uma ferramenta que integra a aprendizagem à avaliação e dá pistas ao aluno e ao avaliador acerca da aquisição do conhecimento nas áreas cobertas pelo portifólio. Ele tem um caráter dinâmico e interativo, colaborando para que o professor e o estudante atuem conjuntamente na avaliação do desenvolvimento e das conquistas do aprendiz. Dochy e Segers (2001) classificam os portifólios em: (i) exemplar – coleção dos melhores e mais representativos trabalhos ou produtos produzidos ao longo de um dado período de tempo; (ii) holístico ou de processo – exemplos do desenvolvimento e progresso do aluno; (iii) combinado – uma combinação dos dois anteriores; (iv) produto – consiste apenas do produto do estudante. Otsuka e Rocha (2002) destacam o uso de tecnologias de agente de interface e mineração de dados como recursos empregados para avaliação formativa alternativa.

A avaliação somativa tem função classifi-catória e é realizada para saber se os alunos alcançaram os níveis de aprendizagem previamente estabelecidos. Na avaliação somativa online, as técnicas utilizadas são a análise das respostas aos questionários de satisfação do usuário (smile sheets); a comparação entre as respostas aos testes feitos antes e após o curso; análise de artigos, documentos ou relatórios de trabalhos de campo escritos individualmente ou em grupo; e a auto-avaliação, mais comum nas avaliações em ambientes colaborativos e partici-pativos. A partir das opiniões dos alunos sobre conteúdos, atividades, atuação do tutor e relevância dos conhecimentos para aplicação no ambiente de trabalho, dispõe-se de material que orientará as modificações tanto no conteúdo quanto na estratégia pedagógica. Além disso, os resultados obtidos na avaliação refletirão nas atividades relacionadas ao desenho instrucional, pois os resultados de um informam as atividades do outro e, desse modo, o desenho e a implementação da educação online podem ser continuamente melhorados para atender às necessidades de uma comunidade de aprendizagem em mudança contínua. Embora a avaliação somativa em ambientes virtuais restrinja-se, na maioria das vezes, à análise da pontuação obtida para aprovação, a disponibilidade de registros digitais das atividades dos alunos realizadas ao longo do curso e das avaliações dos tutores abre possibilidades para a aplicação de métodos de análise qualitativos.

A despeito da abordagem de estudo, algumas questões importantes sobre os métodos de avaliação em ambientes complexos de aprendizagem dizem respeito ao tipo de aprendizagem e seus sinais observáveis; ao modo de observação; às atividades e interações apoiadas pelo sistema e como elas contribuem para a aprendizagem; às possíveis fontes de informação utilizadas; aos métodos de coleta de dados que serão empregados; e aos marcos teóricos que demarcarão as interpretações do estudo. Em qualquer cenário de avaliação, existem muitas questões potenciais a serem abordadas e o pesquisador deve ter em mente que as perguntas modelam, mas não determinam totalmente o que é respondido. Também existem diversas maneiras de se formular as perguntas, com suas vantagens e desvantagens, porém não existe um consenso sobre o que constitui o melhor conjunto de perguntas ou algo como um estudo perfeito. Face à diversidade de estratégias metodológicas e suas respectivas vantagens e limitações, o pesquisador deve estar atento aos interesses e às expectativas dos grupos envolvidos e aos aspectos priorizados para a avaliação de um ambiente virtual de aprendizagem.

Conclusão

Na definição da avaliação de um curso em um ambiente virtual de aprendizagem, a escolha do tipo de abordagem depende, em grande medida, dos pressupostos subjacentes à proposta educacional e dos interesses dos grupos envolvidos. Em face de interesses, objetivos e ambientes diversificados e complexos, são necessários estudos que avaliem quais as propostas pedagógicas que são adequadas às distintas necessidades dos provedores e usuários, tomando como foco as potencialidades e limitações dos recursos tecnoló-gicos; a compatibilidade entre as competências, estratégias e habilidades dos aprendizes e as demandas de aprendizagem do curso online; a participação e interação do aluno com o ambiente, colegas e tutores; seu desempenho ao longo do curso; e os resultados alcançados. É necessário que sejam discutidas e implementadas, no âmbito das instituições promotoras dos cursos de EaD, metodologias de avaliação que contemplem as especificidades das distintas modalidades de aprendizagem a distância e forneçam subsídios para revisão e adequação dos cursos. Mais importante, a avaliação das experiências tecnológicas na educação deve nos auxiliar a responder às questões sobre a significância, do ponto de vista da formação do aluno, da aprendizagem mediada pelas novas tecnologias de comunicação, se os recursos aplicados na EaD estão contribuindo para uma melhoria real dos mecanismos de assimilação e acomodação dos conhecimentos e quais os critérios estão sendo adotados para a introdução de novidades tecnológicas nos processos de ensino.

Face às várias possibilidades metodoló-gicas apresentadas, o pesquisador deve ter em mente que a avaliação é um processo empírico de uma atividade vinculada ao serviço, modelada pelos recursos disponíveis e com dados de formas e tamanhos diversos. Portanto, a metodologia mais pertinente para a avaliação de um curso online será aquela que se adequar ao contexto e às condições do curso e da investigação.

Recebido em 11.12.06

Aprovado em 13.08.07

Josué Laguardia é Assistente de pesquisa do Centro de Informação em Ciência e Tecnologia – CICT. Fundação Oswaldo Cruz.

Margareth Crisóstomo Portela é pesquisadora do Departamento de Administração e Planejamento em Saúde – DAPS. Escola Nacional de Saúde Pública – ENSP/FIOCRUZ.

Miguel Murat Vasconcellos é pesquisador do Departamento de Administração e Planejamento em Saúde – DAPS. Escola Nacional de Saúde Pública – ENSP/FIOCRUZ.

  • ALMENARA, J. C. Avaliar para melhorar: meios e materiais de ensino. In: SANCHO, J. M. (Org.). Para uma tecnologia educacional Porto Alegre: ArtMed, 1998. p. 257-284.
  • AMMENWERTH, E. et al Evaluation of health information systems problems and challenges. International Journal of Medical Informatics, v. 71, p.125-35, 2003a.
  • AMMENWERTH, E.; ILLER, C.; MANSMANN, U. Can evaluation studies benefit from triangulation? International Journal of Medical Informatics, v. 70, p. 237-48, 2003b.
  • BARRETO, R. G. Tecnologia e educação: trabalho e formação docente. Educação & Sociedade, n. 89, p.1181-1201, 2004.
  • BELLONI, M. L. Ensaio sobre a educação a distância no Brasil. Educação & Sociedade, n. 78, p.117-42, 2002.
  • _____. Educação a distância 3 ed. Campinas: Autores Associados, 2003.
  • BENIGNO, V.; TRENTIN, G. The evaluation of online courses. Journal of Computer Assisted Learning, v.16, p. 59-70, 2000.
  • BENSON, A. D. Assessing participant learning in online environments. New Directions for Adult and Continuing Education, n.100, p. 69-78, 2003.
  • BRENDER, J. Trends in assessment of IT-based solutions in healthcare and recommendation for the future. International Journal of Medical Informatics, v. 52, p. 217-27, 1998.
  • BURTON, L.; GOLDSMITH, D. The medium is the message: using online focus group to study online learning. New Britain: Connecticut Distance Learning Consortium, 2002.
  • CARVALHO, N. M.; MISOCZKY, M. C. A. Potencialidades da aprendizagem virtual: uma reflexão a partir da experiência do curso de planejamento estratégico em saúde. In: CARVALHO, N. M.; MISOCZKY, M. C. A.; OLIVO, V. (Orgs.). Educação a distância: reflexões críticas e experiências em saúde. Porto Alegre: Dacasa, 2001. p. 65-84.
  • CONTANDRIOPOULOS, A. P. et al A avaliação na área da Saúde: conceitos e métodos. In: HARTZ, Z. M. A. (Org.). Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora FIOCRUZ, 1997. p. 29-48.
  • DIXON, J. Evaluation tools for flexible delivery (workshop version). Melbourne: TAFE frontiers, 2001.
  • DOCHY, F.; SEGERS, M. Using information and communication technology (ICT) in tomorrow's universities and using assessment as a tool for learning by means of ICT. In: VAN DER MOLEN, H. J. (Ed.). Proceedings from a symposium held at the Wenner-Gren Centre, Stockholm London: Portland Press, 2001. p. 67-83.
  • DYSON, M. C.; CAMPELLO, S. B. Evaluating virtual learning environments: what are we measuring? Electronic Journal of e-Learning, v. 1, n. 1, p. 11-20, 2003.
  • FRIEDMAN, C. P.; WYATT, J. C. Evaluation methods in medical informatics New York: Springer, 1997.
  • GIBSON, D. Network-based assessment in education. Contemporary issues in technology and teacher education, v. 3, n. 3, p. 310-323, 2003.
  • HILL, J. R. et al Exploring research on internet-based learning: from infrastructure to interactions. In: JONASSEN, D. H. (Ed.). Handbook of research on educational communications and technology New York: Macmillan, 2003.
  • JONES, C. Evaluating a collaborative online learning environment. Active Learning, v. 9, p. 31-35, 1998.
  • _____. Quantitative and qualitative research: conflicting paradigms or perfect partners? In: BANKS, S. et al (Eds.). Networked learning 2004: proceedings of the fourth International Conference on Networked Learning 2004 Lancaster: Lancaster University and University of Sheffield, 2004.
  • KAPLAN, B.; DUCHON, D. Combining qualitative and quantitative methods in information systems research: a case study. MIS Quarterly, v.12, n. 4, p. 571-586, 1998.
  • KIRKPATRICK, D. L. Evaluating training programs: the four levels. 2 ed. San Francisco: Berret-Koehler Publishers, 1998.
  • LÖFSTED, J. J. et al Virtualization of higher education in the era of globalization Issues and trends. Stockholm: Institute of International Education of Stockholm University, 2001.
  • LÜDKE, M.; ANDRÉ, M. Pesquisa em educação: abordagens qualitativas. São Paulo: EPU, 1986.
  • MAHONEY, C. Common qualitative methods. In: FRECHTLING, J.; SHARP, L. (Eds.). User-friendly handbook for mixed method evaluations Arlington: National Science Foundation, 1997. Disponível em: <http://www.nsf.gov/pubs/1997/nsf97153/start.htm> Acesso em: 26 ago. 2004.
  • MENA, M.; RODRIGUEZ, L. E.; DIEZ, M. L. La educacion a distancia: una propuesta para el diseño de proyectos. In: CARVALHO, N. M.; MISOCZKY, M. C. A.; OLIVO, V. (Orgs.). Educação a distância: reflexões críticas e experiências em saúde. Porto Alegre: Dacasa, 2001.
  • MOEHR, J.R. Evaluation: salvation or nemesis of medical informatics? Computers in biology and medicine, v. 32, p. 113-25, 2002.
  • OLIVER, M. An introduction to the evaluation of learning technology. Educational Technology & Society, v. 3, n. 4, 2000. Disponível em: <http://ifets.ieee.org/periodical/vol_4_2000/v_4_2000.html> Acesso em: 15 nov. 2004.
  • ORINGDERFF, J. "My way": piloting an online focus group. International Journal of Qualitiative Methods, v. 3, n. 3, 2004. Disponível em: <http://www.ualberta.ca/%7Eiiqm/backissues/3_3/3_3toc.html> Acesso em: 23 maio 2005.
  • OTSUKA, J. L.; ROCHA, H. V. Avaliação formativa em ambientes de EaD. In: Simpósio Brasileiro de Informática na Educação (SBIE 2002), 13. Disponível em: <http://teleduc.nied.unicamp.br/pagina/publicacoes/ 17_jh_sbie2002.pdf> Acesso em: 13 nov. 2004.
  • PANERAI, R. B.; MOHR, J. P. Evaluación de tecnologias em salud: metodologias para paises em desarrollo. Washington: Organización Panamericana de la Salud, 1989.
  • PETERS, O. A educação a distância em transição São Leopoldo: Editora Unisinos, 2004.
  • PONS, J. P. Visões e conceitos sobre a tecnologia educacional. In: SANCHO, J. M. (Org.). Para uma tecnologia educacional Porto Alegre: ArtMed, 1998.
  • POPE, C.; MAYS, N. Qualitative research in health care London: BMJ, 2000.
  • ROBLEY, L. R. et al This new house: building knowledge through online learning. Journal of Professional Nursing, v. 20, n. 5, p. 333-343, 2004.
  • SARTORI, A. S. Educação a distância: novas práticas pedagógicas e as tecnologias da informação e comunicação. Linhas, v. 3, n. 2, p. 123-130, 2002.
  • STRUCHINER, M.; GIANNELLA, T. R. Formação de profissionais de saúde e educação a distância: elementos fundamentais. In: CASTRO, J. L. (Org.). PROFAE: educação profissional em saúde e cidadania Brasília: Ministério da Saúde, 2002.
  • TORREZ, M. N. F. B. Educação a distância e a formação em saúde: nem tanto, nem tão pouco. Trabalho, Educação e Saúde, v. 3, n. 1, p. 171-186, 2005.
  • VALCKE, M. M., LEEUW, F. L. Evaluating digital distance learning programs and activities Washington: World Bank Institute, 2000.
  • WENTLING, T. L. et al eLearning a review of literature Knowledge and Learning Systems Group, University of Illinois at Urbana-Champaign, 2000. Disponível em: <http://learning.ncsa.uiuc.edu/papers/elearnlit.pdf > Acesso em: 05 mar. 2005.
  • WYATT, J. C.; WYATT, S. M. When and how to evaluate health information systems? International Journal of Medical Informatics, v. 69, p. 251-259, 2003.
  • ZAINA, L. A. M.; BRESSAN, G.; RUGGIERO, W. V. Interactive chat: an experience in a virtual assessment. In: International Conference on Engineering and Computer Education, 3. Proceedings São Paulo, 2003, p. 1-6.
  • UNIVERSITY OF WARWICK. CAP e-learning guides Coventry: Center for Academic Pratice, 2004.
  • Correspondência:

    Josué Laguardia
    Rua do Russel, 404 apto. 504
    22210-010 – Rio de Janeiro – RJ
    e-mail:
  • Datas de Publicação

    • Publicação nesta coleção
      19 Fev 2008
    • Data do Fascículo
      Dez 2007

    Histórico

    • Aceito
      13 Ago 2007
    • Recebido
      11 Dez 2006
    Faculdade de Educação da Universidade de São Paulo Av. da Universidade, 308 - Biblioteca, 1º andar 05508-040 - São Paulo SP Brasil, Tel./Fax.: (55 11) 30913520 - São Paulo - SP - Brazil
    E-mail: revedu@usp.br