Acessibilidade / Reportar erro

A utilização da avaliação tipo "teste" on-line como apoio ao ensino presencial: uma abordagem quantitativa sobre a sua contribuição no ensino de ferramentas estatística multivariadas

Use of on-line evaluation type "test" as support for presential teaching: a quantitative approach on its contribution to the teaching of multivariate statistics tools

Resumos

Este artigo busca mostrar o quanto a aplicação de uma ferramenta de avaliação tipo "teste" em um ambiente virtual pode contribuir como apoio ao ensino presencial do estudo de ferramentas estatísticas multivariadas para os alunos de graduação em Administração da FEARP/USP, segundo a opinião destes matriculados na disciplina Estatística Aplicada à Administração II. Este trabalho fez parte de um projeto de pesquisa temático desenvolvido na própria instituição, denominado LaViE, que é um ambiente virtual de ensino-aprendizagem de estatística aplicado e desenvolvido para o apoio ao ensino presencial desta área. Baseando-se na importância de um mecanismo de avaliação de conteúdo, o LaViE visou contribuir para o ensino presencial disponibilizando ferramentas de conteúdo, interação e "teste seu conhecimento". Para tanto, esta ferramenta de avaliação foi desenvolvida baseada em questões testes on-line com níveis diferentes de "adaptação" pelo aluno para cada módulo apresentado na disciplina em questão. Neste caso, foram criados três níveis de adaptação: básico (I), intermediário (II) e avançado (III). A metodologia utilizada para verificação da eficiência desta ferramenta tipo "teste" no ambiente virtual foi baseada, então, em uma avaliação quantitativa de acordo com a opinião dos alunos (usuários). Nessa pesquisa foram investigados quatro pressupostos. Esses dados foram coletados quando essa disciplina foi ministrada, porém em dois períodos diferentes; no segundo semestre de 2005, como projeto-piloto, e no segundo semestre de 2006. Dessa forma, pôde ser feita uma análise comparativa da opinião dos alunos sobre o sistema em dois momentos diferentes. Para esse levantamento foram utilizados dois questionários aplicados diretamente aos alunos em sala de aula momentos antes da avaliação presencial da disciplina e um outro logo após essa avaliação presencial. Observou-se, por este estudo, a importância do uso dessa ferramenta de avaliação como apoio ao ensino presencial e a sua contribuição para o processo de ensino-aprendizagem.

Ferramentas estatísticas multivariadas; Avaliação on-line; Avaliação quantitativa; LaViE


This work aims to show the important role an online assessment test can play as a tool developed to support the presential teaching of multivariate statistical resources to Business Management undergraduate students at FEARP/USP enrolled in Applied Statistics to Business Management II. This study is part of a project named LaVie, a virtual environment of teaching-learning of Statistics, applied and developed to support presential teaching in this field. Based on the importance of an assessment tool, LaVie created content, interaction and "test your knowledge" tools. This assessment tool was developed based on online quizzes having three adaptation levels: basic (I), intermediate (II), and advanced (III) to each module of the discipline. The methodology used for checking the efficiency of this online test tool was based on a quantitative assessment according to the students' (users') opinions. Four assumptions were investigated in this study. Data were collected in two distinct occasions: second semester of 2005, as a pilot project, and second semester of 2006, thus enabling a comparative analysis of the system by the users. This survey was conducted in class where students completed two questionnaires, one before the presential assessment and the other immediately after it. The study shows the importance of this tool as a support to presential teaching and its contribution to the teaching-learning process.

Multivariate statistical tools; Online assessment; Quantitative assessment; LaVie


A utilização da avaliação tipo "teste" on-line como apoio ao ensino presencial: uma abordagem quantitativa sobre a sua contribuição no ensino de ferramentas estatística multivariadas

Use of on-line evaluation type "test" as support for presential teaching: a quantitative approach on its contribution to the teaching of multivariate statistics tools

Erica Ferreira Marques

Doutora em Administração pela FEA/USP. Pos-Doutoranda pelo CIAGS – Centro Interdisciplinar de Desenvolvimento e Gestão Social/UFBA, Salvador, BA, Brasil. E-mail: ericaferreiramarques@gmail.com

RESUMO

Este artigo busca mostrar o quanto a aplicação de uma ferramenta de avaliação tipo "teste" em um ambiente virtual pode contribuir como apoio ao ensino presencial do estudo de ferramentas estatísticas multivariadas para os alunos de graduação em Administração da FEARP/USP, segundo a opinião destes matriculados na disciplina Estatística Aplicada à Administração II. Este trabalho fez parte de um projeto de pesquisa temático desenvolvido na própria instituição, denominado LaViE, que é um ambiente virtual de ensino-aprendizagem de estatística aplicado e desenvolvido para o apoio ao ensino presencial desta área. Baseando-se na importância de um mecanismo de avaliação de conteúdo, o LaViE visou contribuir para o ensino presencial disponibilizando ferramentas de conteúdo, interação e "teste seu conhecimento". Para tanto, esta ferramenta de avaliação foi desenvolvida baseada em questões testes on-line com níveis diferentes de "adaptação" pelo aluno para cada módulo apresentado na disciplina em questão. Neste caso, foram criados três níveis de adaptação: básico (I), intermediário (II) e avançado (III). A metodologia utilizada para verificação da eficiência desta ferramenta tipo "teste" no ambiente virtual foi baseada, então, em uma avaliação quantitativa de acordo com a opinião dos alunos (usuários). Nessa pesquisa foram investigados quatro pressupostos. Esses dados foram coletados quando essa disciplina foi ministrada, porém em dois períodos diferentes; no segundo semestre de 2005, como projeto-piloto, e no segundo semestre de 2006. Dessa forma, pôde ser feita uma análise comparativa da opinião dos alunos sobre o sistema em dois momentos diferentes. Para esse levantamento foram utilizados dois questionários aplicados diretamente aos alunos em sala de aula momentos antes da avaliação presencial da disciplina e um outro logo após essa avaliação presencial. Observou-se, por este estudo, a importância do uso dessa ferramenta de avaliação como apoio ao ensino presencial e a sua contribuição para o processo de ensino-aprendizagem.

Palavras-chave: Ferramentas estatísticas multivariadas; Avaliação on-line; Avaliação quantitativa; LaViE.

ABSTRACT

This work aims to show the important role an online assessment test can play as a tool developed to support the presential teaching of multivariate statistical resources to Business Management undergraduate students at FEARP/USP enrolled in Applied Statistics to Business Management II. This study is part of a project named LaVie, a virtual environment of teaching-learning of Statistics, applied and developed to support presential teaching in this field. Based on the importance of an assessment tool, LaVie created content, interaction and "test your knowledge" tools. This assessment tool was developed based on online quizzes having three adaptation levels: basic (I), intermediate (II), and advanced (III) to each module of the discipline. The methodology used for checking the efficiency of this online test tool was based on a quantitative assessment according to the students' (users') opinions. Four assumptions were investigated in this study. Data were collected in two distinct occasions: second semester of 2005, as a pilot project, and second semester of 2006, thus enabling a comparative analysis of the system by the users. This survey was conducted in class where students completed two questionnaires, one before the presential assessment and the other immediately after it. The study shows the importance of this tool as a support to presential teaching and its contribution to the teaching-learning process.

Key words: Multivariate statistical tools; Online assessment; Quantitative assessment; LaVie.

1 INTRODUÇÃO

Com a modernização tecnológica nos meios econômicos, não se pode deixar de analisar a influência que esta determina no meio social nos mais variados campos da ação humana, essencialmente na área da educação. Segundo Maia e Meirelles (2002), a disseminação da informação tem colocado recursos como o computador, a Internet e o vídeo, a serviço da educação e, o uso destas novas tecnologias tem delineado uma grande transformação nos processos de ensinoaprendizagem. Sobre estas tecnologias, Furter (1995), refere-se como o binômio educação-comunicação, afirmando que o paradigma vigente na comunicação é o resultado da revolução tecnológica das Comunicações de Massa abertas para o século XXI. Segundo o autor, essas novas formas de comunicações utilizam meios sofisticados que permitem: produzir objetos virtuais; atingir uma audiência teoricamente ilimitada; criar relações de distância e proximidade; crer na existência de uma comunidade virtual entre produtores e receptores.

Uma parte significativa desta transformação está relacionada ao uso da educação a distância (EAD) como forma de atingir novos públicos e desenvolver novas metodologias de ensino. Silva (2000) reforça essa idéia afirmando que, qualquer que seja a visão de tecnologia educacional adotada, o uso de Tecnologias de Informação e Comunicação no processo educacional atualmente é irreversível.

Nas Instituições de Ensino, em particular nas Universidades, por vários motivos os alunos de cursos formais podem deparar-se com dificuldades em acompanhar os assuntos abordados numa determinada disciplina. Para complementar as atividades desenvolvidas dentro da sala de aula, pode-se usar o recurso do atendimento extraclasse. Esse atendimento pode ser feito por alunos mais experientes, monitores, professores, colaboradores, especialistas da área abordada etc, formando assim uma comunidade virtual que tem como objetivo principal esclarecer dúvidas, compartilhar informações e realizar tarefas de forma cooperativa. Para que esse processo seja realizado de uma maneira efetiva, faz-se necessário, então, um ambiente apropriado para essa interação.

É fato que para que estas tecnologias educacionais possam ser utilizadas para atingir objetivos pedagógicos, é necessária uma estratégia de ensino-aprendizagem claramente definida, assim como a existência de alguns elementos estruturais básicos com a qual professores e alunos possam contar.

Diante do crescente uso da tecnologia educacional nesse ambiente, adicionada a importância do estudo e da aplicação dos métodos quantitativos para o administrador, em especial a Estatística, como uma ferramenta de fundamental importância no processo de tomada de decisão, fez com que surgisse a necessidade da criação e desenvolvimento de um ambiente virtual chamado Laboratório Virtual de Estatística Aplicada (LaViE) com o objetivo de auxiliar no processo de ensino/aprendizagem e complementar as atividades desenvolvidas no ensino presencial.

Esse projeto visou proporcionar ao aluno ferramentas de apoio como uma estrutura que o auxiliasse no ensino de Estatística à distância e presencial, buscando amenizar possíveis deficiências no ensino/aprendizagem de conteúdos de Estatística para alunos, professores, autores e avaliadores. Dentre essas ferramentas de apoio disponibilizadas no LaViE, foi desenvolvida a avaliação tipo "teste" contemplando informações no formato de questões com níveis de "complexidade" para auto-verificação da capacidade de assimilação e aprendizagem que o aluno teve em relação aos conteúdos de Estatística ministrados em aula presencial.

É importante ressaltar que esse artigo não traz uma conotação teórica acerca dos tipos de avaliação, mas sim a análise do alunado diante um modelo desenvolvido (LaViE) para o auxílio no processo de ensino/aprendizagem. Dessa forma, o objetivo desse artigo foi analisar a utilização da ferramenta deAvaliação on-line tipo "Teste" no LaViE como apoio ao ensino presencial visando a contribuição do estudo de Estatística Multivariada aos alunos de graduação emAdministração da Faculdade de Economia, Administração e Contabilidade – USP campus de Ribeirão Preto (SP) FEARP/USP. Para o alcance de tal objetivo, foi realizado um levantamento quantitativo com a aplicação do questionário para análise da opinião dos alunos referente ao uso do sistema de avaliação desenvolvido e cruzamento das informações com perfil, notas obtidas pelos alunos, acessos feitos no LaViE e nota final na disciplina.

2 LABORATÓRIO VIRTUAL DE ESTATÍSTICA APLICADA – LAVIE E O PROCESSO DE AVALIAÇÃO

A avaliação é um dos fatores críticos no desenvolvimento de cursos à distância, ou com base na Internet. Pesquisas na área educacional têm encontrado oportunidades e desafios com a utilização das novas tecnologias e práticas educacionais. Mas como fica a avaliação no processo de ensino-aprendizagem nesse "novo" contexto?

Um objetivo comum no processo de avaliação, tanto no ensino presencial como no ensino a distância, é verificar quanto e como a avaliação reflete de forma efetiva o conteúdo do curso ministrado aprendido pelo aluno. Palloff e Pratt (2002), ao refletirem sobre a avaliação nos cursos on-line, afirmam que para que haja uma abordagem centrada no aluno, a avaliação deve ser parte do processo de ensino-aprendizagem, estar inserida nas atividades de aula e nas interações entre os alunos e destes com os professores.

Se os professores determinarem as diretrizes e os resultados de aprendizagem, e também os critérios de avaliação de desempenho do aluno, será mais fácil estabelecer um processo formativo de avaliação. Tais avaliações devem considerar múltiplas fontes de dados, como a quantidade de mensagens, exercícios on-line e a qualidade da participação na discussão on-line (PALLOFF; PRATT, 2002).

Ainda de acordo com esses autores, outras considerações devem ser feitas quando se avalia o desempenho dos alunos nos cursos on-line, como as necessidades e os objetivos que os alunos identificaram no início do curso, seu nível educacional, sua familiaridade com a tecnologia e com a aprendizagem on-line, e possíveis problemas que possam ter ocorrido enquanto se adaptavam ao uso da tecnologia.

De acordo com Oliver (2000), a avaliação de tecnologias da aprendizagem está relacionada com julgamento do valor educacional destas inovações. Um ambiente virtual de aprendizagem é uma tecnologia educacional que pode ser avaliada sob diversos aspectos que irão orientar diferentes julgamentos. Estes aspectos podem ser relacionados quanto às especificações técnicas,quanto ao design instrucional,quanto às características das ferramentas e facilidades disponibilizadas, quanto às facilidades de uso e acessibilidade, quanto ao potencial de colaboração, quantos aos aspectos ergonômicos,quanto à adequação pedagógica e quanto custo.

Para a contribuição no campo empírico sobre desenvolvimento de tecnologias de aprendizagem, surgiu a proposta de desenvolvimento de um projeto denominado Laboratório Virtual de Estatística Aplicada- LaViE. Esse projeto foi dimensionado pela Profa. Dra. Adriana Backx Noronha Viana junto ao Departamento de Administração da FEA-RP/USP, apresentado em julho de 2003.

O projeto pode ser divido em três componentes principais, a saber: Análise da Pedagogia Virtual, Tecnologia da Comunicação e Processo de Validação. Tais componentes podem ser visualizadas na Figura 1.


Assim, tem-se a Análise da Pedagogia Virtual e da Tecnologia da Comunicação como estruturas básicas para o desenvolvimento de um Ambiente Virtual de Aprendizagem. Por outro lado, tem-se como processo de finalização a necessidade de avaliar o resultado obtido, o qual é designado como um Processo de Validação (DUTRA NETO; NORONHA VIANA; MIURA, 2003).

A Figura 2, apresentada a seguir, mostra uma visão geral das etapas de desenvolvimento do LaViE. Ressalta-se, no entanto, que esse artigo aborda as questões relacionadas à Fase de Avaliação na efetividade do ensino, buscando verificar a opinião do alunado em relação ao uso da ferramenta "teste seu conhecimento" inserido no LaViE.


3 CONTEXTOS METODOLÓGICOS DA PESQUISA

Para o desenvolvimento desse trabalho foi feita uma pesquisa de caráter quantitativo descritivo. Segundo Richardson (1999), o método quantitativo caracteriza-se pelo emprego da quantificação tanto nas modalidades de coleta de informações, quanto no tratamento delas por meio de técnicas estatísticas, desde as mais simples como percentual, média, desvio-padrão, às mais complexas, como coeficiente de correlação, análise de regressão etc. Esse método busca a garantia da precisão dos resultados, e não a distorção de análise e interpretação. É, freqüentemente, aplicado nos estudos de natureza descritiva, nos quais se propõe investigar o "que é", ou seja, a descobrir as características de um fenômeno como tal. Nesse sentido, são considerados como objeto de estudo uma situação específica, um grupo ou um indivíduo.

Assim sendo, essa pesquisa apresenta um cunho descritivo no sentido de querer compreender a correlação entre as características dos alunos (quanto ao comportamento em relação ao uso de Internet) e o desempenho dos alunos na disciplina de Estatística Aplicada à Administração II (quanto esse material didático virtual foi útil para o desempenho). Para tanto, foram testadas nessa pesquisa as seguintes perguntas e pressupostos:

a) Existe correlação entre as notas obtidas no teste de avaliação on-line e a avaliação presencial?

• P1: pode haver uma correlação positiva no desempenho do aluno: quanto maior o desempenho no teste de avaliação on-line, maior as notas obtidas na avaliação presencial.

b) Existe correlação entre o tempo dedicado aos estudos do LaViE e o desempenho do aluno na disciplina?

• P2: pode haver a correlação positiva no desempenho do aluno: quanto maior o tempo de dedicação (estudo), maior o desempenho na avaliação presencial.

c) Qual a freqüência de acessos dos alunos no sistema (LaViE), com o desenvolvimento (andamento) da disciplina?

• P3: O uso da análise da freqüência de acessos pode ser maior, quanto maior for a compreensão da importância do uso da ferramenta do LaViE (o aluno fica estimulado a usar o ambiente virtual (LaViE) para seus estudos).

d) Como os alunos visualizam a questão da avaliação do desempenho?

• P4: do ponto de vista do aluno (usuário), o uso de avaliação do desempenho pode ser utilizado como feedback do desempenho obtidos por eles.

O Quadro 1 sintetiza essas perguntas e os respectivos pressupostos para a construção do modelo de pesquisa.


Como esse artigo visa compreender a opinião dos alunos quanto à usabilidade do sistema de avaliação on-line desenvolvido, delineou-se a pesquisa por levantamento utilizando uma das técnicas de interrogação: o questionário, para a obtenção de dados a partir do ponto de vista dos entrevistados (alunos).

Assim, para esse levantamento foram utilizados dois questionários aplicados diretamente aos alunos (usuários) em sala de aula, sendo um antes da avaliação da disciplina e o outro logo após a avaliação. O questionário aplicado antes da avaliação parcial presencial foi estruturado em duas partes: a primeira, com a apresentação de questões pertinentes a identificação do aluno e seu perfil quanto a disponibilidade e usabilidade da Internet, tempo de dedicação para o estudo do módulo da disciplina e a utilização dos exercícios do LaViE para complemento de seus estudos; e a segunda parte, direcionada à opinião do aluno em relação, de uma forma geral, a percepção dos níveis de dificuldade das questões tipo "teste".

O questionário aplicado após a avaliação presencial parcial buscou fazer um levantamento da opinião do aluno em relação ao rendimento/desempenho que obteve na prova com a utilização dos exercícios disponibilizados no LaViE.

Quanto à definição da população, essa pesquisa foi aplicada aos alunos de graduação (usuários) matriculados na disciplina de EstatísticaAplicada àAdministração II do curso de Administração da FEARP/USP nos segundo semestres dos anos de 2005 e 2006, sendo 42 alunos em 2005 e 45 alunos em 2006.

Pelo fato de não existir uma caracterização da população (por exemplo, porcentagem de sujeitos em cada gênero - sexo masculino ou feminino, porcentagem de sujeitos em cada faixa etária etc.) optou-se pela amostragem não-probabilística por conveniência, considerando apenas os alunos do 3º ano do curso de Administração de 2005 e 2006.

É importante mencionar que essa disciplina (Estatística Aplicada a Administração II) foi estruturada didaticamente em módulos para facilitar a compreensão das técnicas estatísticas apresentadas, e o Quadro 2 mostra o conteúdo desses módulos.


A Tabela 1 mostra o número de alunos que estavam presentes em sala de aula para a realização das avaliações presenciais parciais dessa disciplina e que participaram dessa pesquisa para cada módulo aplicado.

O sistema de avaliação tipo "teste", então, foi elaborado contendo quinze perguntas para os níveis de "complexidade" I, II e III com cinco alternativas (tendo apenas uma alternativa correta) para cada módulo abordado na disciplina. Para esse trabalho foram aplicados os testes de conhecimento para os módulos 17, 18 e 19, tendo no total 45 questões para cada módulo.

É importante destacar que as questões apareciam de forma randômica para cada acesso que o aluno fazia no site do LaViE, e a porcentagem (%) de aproveitamento (desempenho) aparecia logo que o aluno respondia às cinco questões dos três níveis de complexidade desenvolvidos. Assim, o aluno só poderia passar para a etapa seguinte (próximo nível de complexidade) se tivesse atingido 70% de aproveitamento, ou seja, mínimo de quatro questões certas em um total de cinco, no nível anterior.

Como essa disciplina foi dividida em módulos, a cada encerramento desses a professora aplicava uma prova presencial como forma de avaliação e análise de assimilação dos assuntos pelos alunos. Porém, antes da avaliação presencial relativa a cada módulo, disponibilizava-se ao aluno no LaViE a ferramenta "teste seu conhecimento" como uma forma de avaliação complementar dos estudos, ou seja, como uma oportunidade dele verificar os seus conhecimentos, com feedback imediato. No entanto, os alunos não eram obrigados a utilizar essa ferramenta.

Como já mencionado no artigo, os dados foram coletados no segundo semestre de 2005 e 2006. O período de 2005 foi considerado como uma fase de "projeto-piloto" por ter sido o período de elaboração, desenvolvimento e uso-teste da ferramenta "teste seu conhecimento". Dessa forma, nesse período algumas mudanças e adaptações foram sendo feitas conforme problemas, dificuldades e dúvidas foram surgindo pelos usuários do programa.

Os dados obtidos por meio desses levantamentos foram tabulados no software SPSS (Statistical Package for the Social Sciences). Para responder as perguntas apresentadas no Quadro 1, foi realizada a análise de correlação para tratamento de alguns dados, pensando na relação existente entre duas variáveis, pois essa medida estatística descritiva, segundo Stevenson (1981), é a determinação da força do relacionamento entre duas observações emparelhadas, indicando até que ponto os valores de uma variável estão relacionados com os de outra. O resultado de tal análise é um coeficiente de correlação – um valor que quantifica o grau de correlação, conhecido como "r de Pearson". Ainda de acordo com Stevenson (1981), o coeficiente de correlação tem duas propriedades que caracterizam a natureza de uma relação entre duas variáveis. Uma é seu sinal (+ ou -) e a outra é sua magnitude. Por exemplo, valores de r próximos de -1,00 ou +1,00, indicam que os valores estão muito próximos da reta, ou mesmo sobre a reta, enquanto que os valores mais próximos de 0 (zero) sugerem maior dispersão (erro). Todavia, o valor de r pode ser enganoso e, para se ter uma estatística mais significativa, então, é utilizado o r2, coeficiente de determinação, que dá a porcentagem de variação em uma variável que é "explicada" estatisticamente pela variação na outra variável (STEVENSON, 1981).

4 ANÁLISE DOS RESULTADOS

Baseando-se nas questões levantadas no Quadro 1, esse subitem apresenta o resultado da pesquisa mostrando a avaliação do sistema desenvolvido. Assim, para cada pergunta fez-se sua análise separadamente.

  • Existe correlação entre as notas obtidas no teste de avaliação online e a avaliação presencial?

Foi realizada uma análise de correlação entre as notas obtidas nas avaliações parciais presenciais e as notas no teste de avaliação (nota de desempenho) para os três níveis e para os três módulos.

A Tabela 2 mostra os coeficientes de correlação entre as variáveis desempenho do aluno para os três níveis e sua nota nas avaliações parciais.

Pela Tabela 2, percebe-se que não há quase correlação entre essas duas variáveis em 2005 (há muita dispersão entre essas variáveis). Para o módulo 19, no entanto, o r ficou próximo de +0,5, r2 = 0,25, o que significa que so-mente 25% da variação das notas obtida na avaliação parcial do módulo 19 estão relacionadas com o desempenho através das notas obtidas no "teste seu conhecimento". Assim, a variação dos pontos em torno das duas médias grupais pode-se explicar pelo relacionamento entre as duas variáveis, e conseqüentemente, 75% da variação (1- r2), não se pode explicar pelo relacionamento. Deve-se considerá-los como devidos a outros fatores não incluídos no estudo, como possibilidade de motivação do aluno com a disciplina, compreensão da matéria, tempo de dedicação ao estudo etc.

Em 2006, houve, também, uma maior participação dos alunos no site do LaViE, e conseqüentemente, uma participação por parte desses usuários no processo de avaliação da ferramenta "teste seus conhecimentos". Porém, apesar de algumas adaptações no site do LaViE terem sido feitas conforme problemas, dificuldades e dúvidas surgidos em 2005, em relação à análise de correlação entre as variáveis (notas obtidas nas avaliações parciais presenciais e as notas no teste de avaliação) para os três níveis e para os três módulos, a Tabela 2 mostra que não há correlação entre os coeficientes dessas duas variáveis em 2006 (há muita dispersão entre essas variáveis). Assim, a variação dos pontos em torno das duas médias grupais não pode ser explicada somente pelo relacionamento, e devem-se considerar outros fatores não incluídos nesse estudo.

  • Existe correlação entre o tempo dedicado aos estudos do LaViE e o desempenho do aluno na disciplina?

Pelo levantamento realizado, observa-se que os alunos da turma de 2005 se dedicaram pelo menos duas horas e meia e que a diferença do tempo utilizado para estudo entre os alunos foi diminuindo pelo declínio do desvio-padrão apresentado no Gráfico 1.


Observa-se pelo gráfico 2, que os alunos da turma de 2006 se dedicaram pelo menos três horas para estudar para as provas dos módulos 17 e 18, tendo um declínio na dedicação para o módulo 19.


A Tabela 3 mostra a análise correlacional entre as variáveis tempo de dedicação (hr/semana) dos alunos e as notas obtidas nas três avaliações parciais para as turmas de 2005 e 2006. Por esses dados, percebe-se que para a turma de 2005 não houve correlação entre essas variáveis, principalmente nos módulos 18 e 19 (Análises de Cluster e Discriminante), pois o coeficiente de correlação, r de Pearson, indica valor zero ou próximo de zero. Para o módulo 17, o r foi um pouco maior, entretanto, o coeficiente de determinação (r2) indica que apenas 22% da variação das notas obtida na avaliação parcial do módulo 17 estão relacionadas com o tempo de dedicação de estudo que os alunos tiveram para essa avaliação. Para a turma de 2006, também percebe-se que não houve correlação entre essas variáveis, principalmente nos módulos 18 e 19, pois o coeficiente de correlação, r de Pearson, indica valor zero ou próximo de zero, magnitude negativa.

Em relação ainda sobre o tempo de dedicação de estudo e o desempenho dos alunos, foi feita uma análise de diagrama de dispersão, para constatar esse baixo ou quase nulo índice de correlação entre essas duas variáveis para os três módulos, ilustrados pelos Gráficos 3a, b e c.


Pelo Gráfico 3a, em relação a avaliação parcial deAnálise Fatorial, observase que teve um grupo de alunos que estudou uma média de duas horas na semana e que obteve notas acima de 7,0, e um outro grupo que também se dedicou por esse tempo e tirou notas entre 4,5 e 6,5 e alguns casos isolados de alunos que estudaram mais tempo e que tiveram notas altas (acima de 8,0). No caso para a prova parcial de Análise de Cluster (Gráfico 3b), observa-se que os alunos estudaram uma média de três horas na semana, e que tiveram grupo de alunos com nota entre 5,0 e 6,0, outro grupo com nota entre 7,0 e 8,0 e outro grupo que tirou nota acima de 9,0, tendo essa mesma média de tempo de estudo. Há, no entanto, dois casos distintos: primeiro, o aluno estudou mais (por volta de 6 horas), porém tirou uma nota um pouco abaixo da nota 5,0, e o outro, em que o aluno estudou por volta de dez horas/semana, e obteve uma nota boa (por volta de 9,0). O diagrama de dispersão para Análise Discriminante (Gráfico 3c) apresenta um perfil semelhante ao caso do comportamento dos alunos em relação ao tempo dedicado para a prova parcial de Cluster, ou seja, pessoas que estudaram pouco (por volta de uma hora por semana) e que tiraram notas boas, assim como pessoas que também estudaram mais do que isso e que também obtiveram notas boas (acima de 6,0). Percebe-se, então, que o tempo de estudo não é um fator único e exclusivo que influencia o desempenho do aluno.

Os Gráficos 4a, b e c mostram essa mesma análise para o ano de 2006.


Pelo Gráfico 4a, observa-se uma grande dispersão entre os casos para a prova parcial I, confirmando a não correlação apresentada na Tabela 3. Nota-se que mesmo alguns alunos estudando uma média de duas horas na semana para a prova parcial de Análise Fatorial, obtiveram notas acima de 6,0, e outros alunos que estudaram mais para essa avaliação tiveram, praticamente, o mesmo resultado. No caso da prova parcial de Análise de Cluster (Gráfico 4b), os alunos estudaram uma média de duas horas na semana também, tendo todos um bom desempenho (notas acima de 7,0). Há, no entanto, casos de alunos que se dedicaram mais e tiraram, praticamente a mesma nota (isso ex-plica, talvez, a magnitude negativa da correlação apresentada na Tabela 3). O diagrama de dispersão para Análise Discriminante (Gráfico 4c) apresenta uma perfil semelhante ao caso do comportamento dos alunos em relação ao tempo dedicado para a prova parcial de Cluster, ou seja, pessoas que estudaram pouco (por volta de duas horas por semana) e que tiraram notas boas, assim como pessoas que também estudaram mais do que isso e que também obtiveram notas boas. Percebe-se, então, que o tempo de estudo não é um fator único e exclusivo que influencia o desempenho do aluno, como constatado também na turma de 2005.

  • Qual a freqüência de acessos dos alunos no sistema (LaViE) com o desenvolvimento (andamento) da disciplina?

Para expressar essa questão no contexto desse estudo fez-se uma análise da distribuição de um conjunto de valores (notas do desempenho na avaliação parcial) em quartis e o fator acesso/não acesso à ferramenta "teste seu conhecimento". Os quartis dividem conjuntos ordenados em quatro partes iguais: 25% dos valores serão inferiores ao primeiro quartil (Q1), 50% serão inferiores ao segundo quartil (Q2 = mediana), 75% serão inferiores ao terceiro quartil (Q3), e 25% serão superiores ao terceiro quartil. Geralmente, eles são representados em forma de um gráfico chamado Boxplot (em português chamado de desenho da caixa, ou de desenho esquemático).

O Boxplot também fornece informações importantes sobre o comportamento do conjunto de dados, como simetria e variabilidade. Se a amplitude for muito maior que a distância interquartílica e a mediana estiver mais próxima do 1º quartil do que do 3º quartil, há forte indicação de assimetria positiva e de grande dispersão das observações (BORGATTO, 2006).

Assim, para a turma analisada em 2005, na verificação de quantos alunos acessaram e não acessaram a ferramenta "teste seu conhecimento" (em quartis) e seu desempenho na avaliação parcial, o Gráfico 5a mostra que para os alunos que não acessaram a ferramenta (não utilizaram o "teste seu conhecimento" como auxílio para o seu estudo), houve uma variabilidade maior no primeiro quartil (25%) em relação às notas da avaliação do módulo 17, se comparados àqueles que acessaram a ferramenta, ou seja, os alunos que acessaram tiveram notas acima de 6,0.



Para o módulo 18, o Boxplot para os alunos que acessaram a ferramenta do site mostrou-se mais homogêneo, em que 50% tiraram nota entre 6,5 e 8,0 (mediana), enquanto que para aqueles que não acessaram o site, o boxplot apresentou uma mediana um pouco mais baixa que 8,0 e uma variabilidade maior no primeiro quartil (nota entre 5,0 e 6,75), conforme mostra o Gráfico 5b (Análise de Cluster).

Ao analisar o módulo 19, observa-se um Boxplot (Gráfico 5c) diferente dos apresentados nos módulos 17 e 18. Para todos os alunos que acessaram a ferramenta, pelo menos 50% tiveram nota 10,0 (terceiro e último quartil) e apenas três outliers (casos extremamente diferentes da população) tiveram notas aproximadamente entre 5,0 e 8,0. Por outro lado, se comparar com a avaliação parcial do módulo 18, os alunos que não acessaram tiveram notas mais baixas e uma variabilidade maior no primeiro quartil (notas entre 2,0 e 6,5).

Para a turma analisada em 2006, o Gráfico 6a mostra que para os alunos que não acessaram a ferramenta (não utilizaram o "teste seu conhecimento" como auxílio para o seu estudo), houve uma variabilidade maior no primeiro quartil (25%) em relação as notas da avaliação do módulo 17, se comparados àqueles que acessaram a ferramenta, ou seja, 50% dos alunos que acessaram tiveram notas entre 5,0 e 8,0 (mediana). Porém, dois alunos que acessaram essa ferramenta no site tiveram notas abaixo de 4,0.



Para o módulo 18, o Boxplot para os alunos que acessaram a ferramenta do site mostrou-se mais homogêneo, em que 50% tiraram nota entre 6,0 e 8,0 (mediana), não apresentando muita diferença para aqueles casos que não acessaram a ferramenta para estudo. Nesse caso (não acesso), o Boxplot apresentou uma mediana 8,0 e uma concentração (homogeneidade) principalmente no segundo quartil, e todos tiraram nota acima de 7,0, com exceção de um aluno que tirou zero (outliers), conforme mostra o Gráfico 6b.

E por último, analisando o módulo 19, pelo Gráfico 6c, observa-se um Boxplot diferente dos apresentados nos módulos 17 e 18. Para todos os alunos que acessaram a ferramenta, o valor da mediana foi maior, porém, houve uma maior variabilidade no primeiro quartil, ou seja, 25 % dos casos tiraram nota entre 2,0 e 6,0. No entanto, para aqueles que não acessaram, houve uma concentração muito grande no primeiro quartil, onde 25% tiraram uma nota por volta de 5,0, e os outros 25% abaixo da mediana (segundo quartil) tiraram nota entre 5,0 e 7,0. Para esse caso (não acesso) também foram apresentados três outliers que tiraram nota zero.

O Quadro 3 mostra as informações sobre essa questão de forma resumida comparando as duas turmas (2005 e 2006).


  • Como os alunos visualizam a questão da avaliação do desempenho?

Para a análise dessa questão, fez-se um levantamento da opinião dos alunos antes da aplicação da avaliação presencial e outro levantamento depois da aplicação da mesma avaliação.

A) Análise de como os alunos visualizam a ferramenta "teste seu conhecimento" com os níveis de desempenho (antes da aplicação da avaliação presencial):

Para análise dessas questões foi utilizada a escala de Likert (-2 para discordo totalmente a 2 para concordo totalmente). Dessa forma, médias próximas ou acima de 1,00 sinalizam um grau de concordância para os aspectos apresentados aos alunos. Em 2005, a maior participação de respondentes ocorreu no último módulo devido, talvez, a conscientização da existência e importância do LaViE como instrumento complementar aos estudos de Estatística. Com isso, as melhores médias mostraram que eles aprovaram esse método aplicado à distância como complemento aos estudos, tiveram a compreensão que esse método ajudaria no entendimento do conceito/aplicação do módulo, visualizando sua importância na utilização como auxílio no estudo de estatística. Porém, eles não conseguiram identificar as diferenças entre os níveis I, II e III (conforme consta na Tabela 4).

Além da análise sobre a freqüência de acessos ao LaViE, foi feito também um levantamento sobre a conscientização e utilização da ferramenta "teste seu conhecimento", abordando o nível de concordância utilizando uma escala de Likert (peso -2 para discordo totalmente a 2 para concordo totalmente) para alguns atributos a respeito das questões apresentadas na ferramenta para os módulos 17, 18 e 19. Dessa forma, médias próximas ou acima de 1,00 sinalizam um grau de concordância para os aspectos apresentados aos alunos.

O Quadro 4 e o Gráfico 7 mostram as médias de cada aspecto abordado nesse levantamento. Observa-se uma evolução de participação e conscientização dos alunos sobre a existência do LaViE conforme a matéria foi sendo ministrada durante o semestre. Em 2005, a maior participação de respondentes ocorreu no último módulo devido, talvez, a conscientização da existência e importância do LaViE como instrumento complementar aos estudos de Estatística. Com isso, as melhores médias mostraram que eles aprovaram esse método aplicado à distância como complemento aos estudos, tiveram a compreensão que esse método ajudaria no entendimento do conceito/aplicação do módulo, visualizando sua importância na utilização como auxílio no estudo de estatística. Porém, eles não conseguiram identificar as diferenças entre os níveis I, II e III.



Pelo Quadro 4 nota-se um nível de concordância dos alunos, principalmente, nos aspectos sobre a aprovação desse método aplicado à distância como complemento aos estudos, a compreensão que esse método ajudou no entendimento do conceito/aplicação do módulo, visualizando sua importância na utilização como auxílio no estudo de estatística (médias mais próximas de 1,00).

De acordo com o Quadro 5 e o Gráfico 8, em 2006 observa-se alguns aspectos, tais como: os alunos concordaram que foi fácil acessar as questões do LaViE, que os exercícios serviram como auxílio ao seu estudo, achando importante utilizar esses exercícios, e concordaram um pouco em relação a utilização desse método como forma de compreender melhor o conceito/ aplicação do módulo.Porém, foram indiferentes em relação à motivação em responder as questões do LaViE e em achar as questões de fácil compreensão. Não concordaram muito com a questão da identificação das diferenças entre os níveis de complexidade I, II e III.



B) Análise de como os alunos visualizam a ferramenta "teste seu conhecimento" com os níveis de desempenho (depois da aplicação da avaliação presencial):

Em 2005, os alunos concordaram que as questões da prova foram coerentes com o ensino dado em aula presencial e com os exercícios disponibilizados no LaViE; também concordaram sobre a importância das questões do LaViE para um melhor desempenho na avaliação parcial (principalmente no módulo 19, que houve uma melhor conscientização do LaViE), aprovando esse método aplicado à distância como complemento aos estudos. Eles concordaram também que precisariam se dedicar mais aos estudos para melhor compreender o módulo, discordando que o tempo de estudo foi suficiente, conforme mostra o Gráfico 9.


Em 2006, os alunos expressaram praticamente as mesmas opiniões da turma anterior. De forma em geral, concordaram que as questões da prova foram coerentes com o ensino dado em aula presencial, as questões do LaViE foram importantes para um melhor desempenho na avaliação parcial (melhor média para esses módulos), as questões da prova foram de fácil compreensão, e aprovam esse método aplicado à distância como complemento aos estudos. No módulo 19, porém, as médias das respostas foram mais baixas, talvez por um comportamento de "rebeldia" dos alunos, pois a professora responsável pela disciplina apresentou na avaliação presencial desse módulo algumas perguntas sobre o trabalho parcial de disciplina. Ao comparar essas médias com as do questionário aplicado antes da avaliação parcial, tem-se um quadro de contradição, que não deve ser levado tanto em consideração. Os alunos foram indiferentes no aspecto de auto-avaliação (média mais baixa para os três módulos), conforme mostra o Gráfico 10.


5 CONCLUSÃO

Pelo levantamento feito neste trabalho, constatou-se a importância do ensino de estatística para o futuro administrador, tanto para trabalhar como pesquisador quanto na área de negócios. Observa-se que a falta de conhecimento do uso de ferramentas estatísticas em Administração pode ocasionar o mau uso dessas ferramentas ou, até mesmo, muitos podem deixar de usá-las prejudicando a análise de resultados e tomadas de decisão.

Com a introdução da nova e dinâmica tecnologia educacional, e-learning, uma das possibilidades do ensino à distância (processo de ensino-aprendizagem por intermédio da Internet), a velocidade com que as novas tecnologias de informação e comunicação evoluem têm levado a diversos estudos na área. O fato da aprendizagem a distância por computador ser um fenômeno crescente, não implica na decadência do ensino presencial (tradicional), mas mostra o desenvolvimento das habilidades envolvidas na construção da comunidade entre um grupo de alunos de modo a maximizar os benefícios e o potencial do meio para educação. Dessa forma, este estudo buscou desenvolver a avaliação de uma ferramenta virtual instalada no LaViE que auxiliasse os alunos em seu processo de aprendizagem de análise estatística multivariada para área de Administração.

Então, para essa proposição fez-se necessária a elaboração de dois questionários e aplicação desses junto aos alunos matriculados na disciplina "Estatística aplicada a Administração II" das turmas de 2005 e 2006. Conforme apresentado, esses questionários tiveram o propósito de investigar o perfil dos alunos e a conscientização deles quanto à usabilidade do sistema de avaliação on-line desenvolvido e, principalmente, obter algumas sugestões/críticas para a melhoria do sistema.

Diante o cruzamento das informações obtidas deste levantamento quantitativo do perfil do aluno, com sua nota (desempenho) obtida no LaViE, os acessos feitos no LaViE e sua nota final da disciplina, percebeu-se que não houve correlação entre o desempenho do aluno no LaViE e sua nota nas avaliações presenciais parciais, ou seja, não se pode afirmar que a nota obtida nas avaliações parciais foi uma conseqüência única e somente do uso do LaViE, havendo outros aspectos influenciadores nesse processo de aprendizagem não incluídos neste estudo.

Quanto ao estudo da relação dos acessos da ferramenta "teste seu conhecimento" e o desempenho na avaliação parcial para cada módulo, pode-se dizer que em alguns módulos, os alunos que acessaram a ferramenta obtiveram melhores notas nas avaliações, porém, também houve alguns (poucos) casos de alunos que não acessaram a ferramenta, e também obtiveram bons resultados na sua avaliação parcial. Dessa forma, não se pode concluir que a quantidade de acesso à ferramenta "teste seu conhecimento" foi um único aspecto que influenciou o desempenho nas avaliações presenciais parciais, mas pode-se dizer que ela serviu como uma ferramenta complementar (auxílio) ao estudo desses alunos.

Outro aspecto analisado nessas proposições foi a correlação do tempo de dedicação dos alunos e as notas obtidas nas avaliações presenciais parciais. A análise destas informações resultou na não existência correlacional entre essas duas variáveis. Pode-se concluir, então, que o aprendizado depende fortemente de cada indivíduo, da sua dedicação, da facilidade de compreensão do conteúdo apresentado e sua motivação em aprender essas informações foram passadas em sala de aula.

E, por fim, a opinião geral do aluno em relação à ferramenta "teste seu conhecimento", teve-se o delineamento, por meio das melhores médias, da aprovação deste método aplicado à distância como complemento aos estudos, visualizando sua importância na utilização como auxílio no estudo de estatística, com a aprovação da utilização desse método, encarando-o como uma forma a mais de exercitar os conteúdos assimilados no ensino presencial, apesar de não conseguirem perceber a diferença na natureza das perguntas disponibilizadas em cada nível de avaliação desenvolvida. Salienta-se, no entanto, que não se pretendeu afirmar que essa ferramenta seja uma forma única facilitadora do processo de ensino-aprendizagem do aluno.

De acordo com a observação feita por Noronha Viana (2005), e como este trabalho fez parte do projeto LaViE, nota-se que este facilitou o trabalho de ensino em sala de aula pelo fato dos alunos terem à sua disposição e de forma organizada conteúdos, programação e diretrizes dos trabalhos e exercícios a serem efetuados. Porém, concordando com Noronha Viana (2005), para se considerar o uso pleno do seu potencial existe ainda um longo caminho a ser percorrido, e uma avaliação mais detalhada do ambiente construído de um SGC (Sistema de Gerenciamento de Curso), exigindo ainda um tempo maior de estudos e análises, bem como acompanhamento dos acessos realizados pelos usuários (alunos).

Recebido: jul. 2010

Aprovado: mar. 2011

  • BORGATTO, A. F. Apostila de introdução a estatística Florianópolis, 2006. Disponível em <www.inf.ufsc.br/~borgatto/Economia/Apostila%20Completa.pdf>. Acesso em: 18 jan. 2007.
  • DUTRA NETO, J. O.; NORONHA VIANA, A. B., MIURA, I. K. Metodologia para desenvolvimento de curso semipresencial ou à distância. Relatório de Pesquisa. São Paulo: Fundo de Cultura e Extensão - USP, 2003.
  • FURTER, P. Comunicação e educação: repensando paradigmas. Revista Tecnologia Educacional, Rio de Janeiro, v. 24, n. 127, nov./dez. 1995.
  • MAIA, M. C.; MEIRELLES, F. C. A educação à distância nas universidades públicas brasileiras. In: CONGRESSO INTERNACIONAL DE EDUCAÇÃO A DISTÂNCIA, 9, 2002, São Paulo, Anais. São Paulo: ABED, 2002. Disponível em <http//:www.abed.org.br/congresso2002>. Acesso em: 12 jul. 2005.
  • MARQUES, E. F. A utilização do processo de avaliação on-line como apoio ao ensino presencial: desenvolvimento e análise junto ao laboratório virtual de estatística aplicada à administração LAVIE 2007. 202 f. Tese (Doutorado em Administração) Faculdade de Economia, Administração e Contabilidade, Universidade de São Paulo, São Paulo, 2007.
  • NORONHA VIANA, A. B. Estatística aplicada à Administração: análise do uso em pesquisas na área e construção de ambiente virtual de ensinoaprendizagem. 2005. 218 f. Tese (Livre-Docência), Faculdade de Economia, Administração e Contabilidade de Ribeirão Preto, Universidade de São Paulo, Ribeirão Preto, 2005.
  • OLIVER, M. An introduction to the evaluation of learning technology. Educational Technology & Society, London, v. 3, n. 4, 2000.
  • PALLOFF, R. M.; PRATT, K. Construindo comunidades de aprendizagem no ciberespaço Porto Alegre: Artmed, 2002.
  • RICHARDSON, R. J. Pesquisa social: métodos e técnicas. 3. ed. São Paulo: Atlas, 1999.
  • SILVA, V. T. da. Módulo pedagógico para um ambiente hipermídia de aprendizagem. 2000. 69 f. Dissertação (Mestrado em Engenharia de Produção) Faculdade de Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, 2000.
  • STEVENSON, W. J. Estatística aplicada à Administração. São Paulo: Harbra, 1981.

Datas de Publicação

  • Publicação nesta coleção
    30 Jun 2011
  • Data do Fascículo
    Jul 2011

Histórico

  • Recebido
    Jul 2010
  • Aceito
    Mar 2011
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br