Avaliação preliminar da escala de desempenho em informática educacional com professores

Preliminar evaluation of educational informatics performance scale

ARTIGOS

Avaliação preliminar da escala de desempenho em informática educacional com professores

Preliminar evaluation of educational informatics performance scale

Maria Cristina Rodrigues Azevedo Joly^I; Gisele de Sousa Franco^II; Adriana Ferreira Nicolau^III

^IStricto Sensu Correspondence [e-mail]

^IIGraduanda, Curso de Psicologia e bolsista de iniciação científica - PIBIC/CNPq, Universidade São Francisco. Itatiba, SP, Brasil

^IIIGraduanda, Curso de Pedagogia e bolsista de iniciação científica - PROBAIC/USF, Universidade São Francisco. Itatiba, SP. Brasil

RESUMO

É indiscutível o uso da tecnologia como ferramenta básica no cotidiano educacional. Faz-se necessário um instrumento de avaliação que possibilite a identificação do padrão de desempenho dos professores em informática educacional. Objetivou-se verificar a eficácia da Escala de Desempenho em Informática Educacional, em formato eletrônico, através de um estudo piloto para identificar as evidências de validação. Participaram da pesquisa 82 professores de escolas públicas e privadas de ensino fundamental. A Escala de Desempenho em Informática Educacional, respondida via Internet, tem 51 itens com quatro alternativas de resposta a fim de determinar o perfil do professor. Verificou-se que a Escala de Desempenho em Informática Educacional apresenta uma boa consistência interna (α_Cronbach =0,9678) e uma correlação média entre os itens de 0,3792. A precisão interna do instrumento, verificada pelo método das metades, revelou homogeneidade dos itens. A análise fatorial indicou a necessidade apenas da reorganização de alguns itens nos níveis propostos. A análise das qualidades psicométricas do instrumento associada à fatorial revelou que há possibilidade de validação da Escala de Desempenho em Informática Educacional.

Palavras-chave: tecnologia educacional; psicologia e informática; técnica do desempenho do professor; avaliação psicoeducacional.

ABSTRACT

The information technology is an education elementary tool. An instrument able to analyze teachers performance using this technology as an educational tool is very important. This research purpose was to evaluate the psychometrics characteristics of the Educational Informatics Performance Scale through an online pilot study. 82 elementary teachers from public and private schools were the subjects of this study. Educational Informatics Performance Scale, which was answered online, was composed by 51 items with 4 answer choices each one in order to define every teacher's profile. The results has presented a good internal consistency (α_Cronbach =0,9678) and a 0,3792 average items correlation. The instrument internal precision has identified the items homogeneity, and it was verified by the split-half method. The factorial analysis has suggested some items rearranges according to the scale definitions. The psychometrics qualities added to the results of factorial analysis has revealed the Educational Informatics Performance Scale effectiveness validity.

Key-words: educational technology; psychology and computer sciences; draw a teacher technique; psycho-educational assessment.

Segundo Cope e Ward (2002), as pesquisas recentes sobre tecnologia da informação e sua aplicação educacional indicaram que o sucesso da aprendizagem dependerá da compreensão das variáveis que permeiam as complexas interações que ocorrem na sala de aula entre professores, alunos e tecnologia. É necessário investigar a realidade educacional brasileira não somente em relação ao uso dos recursos tecnológicos e da teoria da informação aplicados ao processo de ensino e aprendizagem, mas também aos padrões de desempenho docente, uma vez que a informática vem determinando novas formas de conhecer e aprender tanto na perspectiva do aluno quanto do professor (Selfe & Hilligoss, 1994; Dugger, 2001; Joly & Silveira, 2003).

Cabe destacar a investigação realizada pela Sociedade Internacional para Tecnologia em Educação (International Society for Technology in Education - ISTE) para a definição de critérios educacionais a fim de que as instituições de ensino pudessem viabilizar a alfabetização tecnológica e garantir o desenvolvi-mento das habilidades necessárias para uma educação informatizada de qualidade tanto para alunos quanto para professores. No tocante aos docentes, a ISTE elaborou o Padrão Nacional de Tecnologia Educacional para Professores (National Educational Technology Standards for Teachers - NETST): um documento descritivo sobre padrões de desempenho de professores para a utilização e avaliação da tecnologia como recurso de ensino e aprendizagem. Foram elencados, segundo Joly e Silveira (2003), padrões relativos à operação, uso e avaliação de recursos tecnológicos (multimídia, hipermídia e telecomuni-cações), instalação e aplicação de programas (softwares) para uso didático e ferramentas de produtividade (editor de textos, planilhas, base de dados etc.), avaliação, seleção e integração da informática educacional ao currículo. Além disso, segundo esses padrões, cabe também ao professor ser capaz de atuar e discutir sobre o uso da informática educacional com eqüidade e ética, respeitando os critérios impostos pela legislação (ISTE, 2000).

Esse padrão permitiu a classificação dos profissionais em diferentes níveis de desempenho, baseando-se no tipo de recurso tecnológico que utilizam em sua prática pedagógica ou nos projetos educacionais que desenvolvem, a saber: elementar: quando os recursos tecnológicos básicos são destinados ao uso pessoal; intermediário: quando os recursos são usados profissionalmente no processo de ensino e avaliação e para capacitação do docente; avançado: o professor, por estar em constante atualização sobre a informática educacional, apresenta competência técnica básica para selecionar recursos, elaborar projetos tecnoló-gicos e solucionar problemas (ISTE, 2000).

Diante dessa possibilidade de avaliação do padrão de desempenho do professor em informática educacional, faz-se necessário um instrumento brasileiro que atenda a esse objetivo. Nesse sentido, o presente trabalho visa descrever o estudo piloto realizado com a Escala de Desempenho em Informática Educacional (EDIE) em formato eletrônico para verificar a sua eficácia e características psicométricas.

Cabe destacar que as características psicométricas de um instrumento de avaliação são determinadas por sua validade e fidedignidade. A validade refere-se àquilo que o teste mede e o quão bem ele faz isso, sendo essencial que os aspectos relevantes do comportamento a ser avaliado estejam incluídos nos itens do teste. A precisão ou fidedignidade de um teste refere-se à consistência dos escores obtidos pelas mesmas pessoas em ocasiões diferentes. Isso quer dizer que o traço medido pelo teste deve se manter constante independentemente da ocasião (Pasquali, 1999; Anastasi & Urbina, 2000).

No tocante à construção de um teste informatizado, segundo Noronha e Joly (2003), são básicas a definição dos objetivos, especificação do contexto, eleição do modelo matemático, definição do domínio, construção dos itens e das instruções, revisão da primeira versão por especialistas, estudo piloto, seleção das amostras e aplicação do teste inicial, análise e seleção empírica dos itens, avaliação da precisão e da validade do teste, elaboração de normas e redação final do manual em uso.

Os testes informatizados são defendidos por Adánez (1999a) por terem um menor custo com material, pela economia de tempo, aplicação e correção mais uniforme, maior flexibilidade na sua construção por usarem recursos multimídia que determinam maior precisão e refinamento à avaliação e por não poderem ser incluídos em testes de lápis e papel.

Apesar dos elementos positivos, há problemas potenciais que acompanham o uso da avaliação informatizada, como, por exemplo, o acesso dependente de algumas variáveis (nível socioeconômico, classe social, nível de escolaridade e outros), a possibilidade de comprometimento da validade, a possibilidade de falsificação de identidade, a garantia questionável do sigilo dos resultados quando os testes são realizados pela internet e a falta de contato humano (Wall, 2000). Além disso, o uso de instrumentos informatizados ainda é pouco comum na avaliação, podendo provocar resistência, ansiedade e desconfiança nos sujeitos (Adánez, 1999b), o que conseqüentemente implica uma redução da amostra.

Desse modo, tem-se por objetivo verificar a eficácia da EDIE em formato eletrônico para identificar suas evidências de validação de constructo.

MÉTODO

Participaram da pesquisa 82 professores atuantes em escolas da região metropolitana de Campinas, SP, com idade variando entre 22 e 58 anos, com média 39,1 e desvio-padrão 8,7 anos, sendo 93,0% do sexo feminino. A maioria dos sujeitos (61,0%) atuava no ensino fundamental, 34,0% no ensino médio, 15,0% no ensino infantil e apenas um sujeito no ensino superior. A atuação dos sujeitos é predominante nas redes privada (n=43) e estadual (n=40) e apenas 12 sujeitos atuavam na rede municipal. Os sujeitos são em grande parte graduados (54,9%) e especialistas (34,1%), sendo que os demais (11,0%) possuem pós-graduação. A amostra foi constituída casualmente por se tratar de uma avaliação informatizada, o que dificulta o estabelecimento de controle e pré-definição de uma amostra específica a ser investigada (Adanéz, 1999a).

Foi utilizada Escala de Desempenho em Informática Educacional, baseada nos padrões de desempenho definidos pelo ISTE (2000) para a elaboração dos itens da escala do tipo Likert. Realizou-se um sorteio eqüiprobabilístico simples das afirmações para compor a seqüência numérica da escala. A primeira versão incluía 36 itens que foram avaliados quanto à coerência e à clareza por três juízes independentes. Considerando-se os resultados dessa análise, a segunda versão passou a ter 43 questões e foi apresentada aos três juízes e, a partir das observações feitas, foi desenvolvido o formato atual da escala com 51 itens.

Para a pontuação da escala com conseqüente classificação do sujeito, é atribuído um valor para cada nível de resposta: o valor zero para respostas nunca, um ponto para algumas vezes, dois pontos para muitas vezes e três pontos para sempre. Poderá ser determinado um perfil do sujeito quanto ao seu padrão de desempenho em informática educacional em função das respostas por ele escolhidas que lhe atribuíram uma pontuação, classificando-o nos seguintes níveis:

- Básico: relacionado aos padrões de desempenho que implicam em uso pessoal e acadêmico limitado da tecnologia com pontuação máxima de 51 pontos (questões 2, 4, 9, 10, 11, 20, 21, 27, 32, 37, 38, 39, 44, 46, 48, 50, 51);

- Intermediário: refere-se aos padrões de desempenho relativos à seleção e ao uso dos recursos tecnológicos, envolvendo o uso produtivo de ferramentas de processamento de palavras e administração de dados com pontuação máxima de 102 pontos (questões 1, 3, 7, 8, 19, 22, 25, 26, 30, 34, 35, 36, 40, 41,45, 47, 49 );

- Avançado: está relacionado à avaliação da aprendizagem utilizando recursos tecnológicos, avaliação da própria tecnologia educacional e utilização legal e ética das tecnologias educacionais com pontuação máxima de 153 pontos (questões 5, 6, 12, 13, 14, 15, 16, 17, 18, 23, 24, 28, 29, 31, 33, 42, 43).

Foi solicitado aos sujeitos que lessem com atenção e em seguida assinassem o termo de consentimento para participação aprovado pelo Comitê de Ética em Pesquisa. As aplicações foram individuais, sem a presença do aplicador, acessando (http//nedprof.saofrancisco.edu.br/~cristinajoly); os sujeitos orientavam-se pelas instruções presentes no instrumento.

RESULTADOS E DISCUSSÃO

Os dados foram analisados através da análise estatística para avaliar a qualidade psicométrica do instrumento, usando-se o teste de Cronbach, da correlação média entre os itens, da análise da precisão interna das questões e da análise fatorial dos itens da escala.

Embora com um número limitado de sujeitos (n=82), a amostra permitiu concluir que a Escala de Desempenho em Informática Educacional apresenta uma boa consistência interna (α_Cronbach=0,9678) e uma correlação média entre os itens de 0,3792. A precisão interna do instrumento, verificada pelo método das metades, revelou que a escala possui homogeneidade dos itens.

Pôde-se identificar que, dentre as qualidades psicométricas da EDIE, a fidedignidade atingida pelos índices obtidos é muito boa. Além disso, segundo opinião dos sujeitos, o teste não apresenta questões complexas ou uso de termos técnicos que possam gerar ambigüidade, sendo a linguagem considerada clara e objetiva. Esses aspectos são essenciais para que um instrumento atenda, segundo Coolican (1999) e Anastasi e Urbina (2000), os critérios de fidedignidade e validade com índices aceitáveis. Além disso, a homogeneidade dos itens revela a possibilidade de uma escala unidimensional, o que teoricamente é esperado, segundo Anastasi e Urbina (2000), para esse tipo de instrumento.

A pontuação total da escala podia variar de zero a 153 pontos. A pontuação obtida pelos sujeitos variou de 23 a 140, com média igual a 74,1 e desvio-padrão de 29,6, o que permite concluir que a amostra atingiu um nível médio de desempenho, estando um pouco abaixo do ponto médio da escala (76,5). A distribuição de freqüência da pontuação total segue distribuição normal (K-S=0,07; p>0,20; Lilliefors p>0,20) (Figura 1).

Tal dado indica que a amostra, apesar de pequena, seguiu uma representação dentro da normalidade, dando maior veracidade aos índices obtidos para validade e fidedignidade (Pasquali, 1999). Apesar da pouca tradição da inserção da informática educacional no contexto educacional brasileiro, esses resultados de desempenho docente revelaram que, segundo os padrões definidos pelo ISTE (2000), quando os professores investigados usam os recursos tecnológicos, o fazem para uso pessoal e profissionalmente voltados para o processo de ensino e avaliação e também para sua capacitação.

As correlações de cada item e o total da escala variou de 0,23 a 0,73, sendo os itens 9 (sou favorável ao uso da tecnologia que possibilite aprendizagem significativa) e 40 (planejo as estratégias de avaliação da aprendizagem usando a tecnologia) os menos correlacionados com a escala total, assumindo valores abaixo de 0,30 (0,23 e 0,29, respectivamente).

As questões 5 (uso a tecnologia para avaliar as produções dos alunos), 31 (soluciono problemas relativos a equipamentos e programas que possam ocorrer em sala de aula) e 42 (desenvolvo planos e ações de segurança de dados na escola) apresentaram as menores pontuações médias (0,85; 0,76 e 0,91, respectivamente) e baixos desvios-padrão (0,89; 0,87 e 1,13 respectivamente), indicando uma maior concentração de respostas nos extremos nunca (0 pontos) e algumas vezes (1 ponto). Esses dados, em estudo posterior com amostra controlada, deverão ser considerados e analisados quando se proceder à eliminação de itens da escala. Segundo Pasquali (1999), um bom item é aquele que possui correlação acima de 0,30 com os demais itens da escala.

Os resultados indicaram ainda que embora os professores sejam favoráveis e considerem necessário e importante o uso da informática na educação, eles não fazem uso de tecnologia para solucionar problemas relativos a equipa-mentos, programas e segurança de dados, como revelado pela baixa pontuação dos sujeitos nas questões 9, 10, 44 e 45.

O dado acima reforça a afirmação de Silveira (2002) de que os professores reconhecem a importância da tecnologia na educação e o uso desses recursos para o ensino, mas ainda não conseguem utilizá-los efetivamente. Em concor-dância também estão Bittar (2000) e Starr (2000) ao apontarem que os professores acreditam ser a informática educacional de fácil compreensão e aplicação, porém ainda fazem uso muito restrito desse recurso.

A pontuação dos professores indica ainda que são necessários mais treinamentos para o desenvolvimento das habilidades requeridas para o uso das tecnologias educacionais, visando a uma aprendizagem motivadora e favorecedora da construção de um conhecimento crítico. Pesquisas também mostraram que o uso das tecnologias educacionais está relacionado à experiência profissional, ao tempo dedicado ao desenvolvimento profissional e ao nível socioeconômico dos alunos (Pfromm Netto, 1998; Moran, 2000).

A análise fatorial revelou pelo método gráfico scree plot a presença de três fatores que explicam 51,3% da variância total e, portanto, devem ser mantidos no modelo fatorial (Tabela 1).

Foi indicada, também pela análise, a necessidade de uma reorganização dos itens por níveis em função do agrupamento desses fatores, considerando-se que itens com cargas equiva-lentes em dois fatores foram colocados no nível a que melhor se adequaram. Isso implicou também uma nova distribuição do desempenho em cada nível, passando o nível básico a ser relacionado ao uso limitado de recursos voltados para o aprimoramento profissional (questões 6, 9,10,12,17,18, 20, 44); o nível intermediário a ser aquele em que o sujeito demonstra estar no processo de aprendizagem e capacitação para o uso adequado da tecnologia educacional, utilizando-a aplicada ao ensino (questões 1, 4, 5, 11, 19, 22, 26, 27, 28, 30, 32, 34, 35, 37, 38, 39, 41, 45, 46, 48, 49, 50); e o nível avançado o que revela a competência técnica do sujeito com equipamentos e suas aplicações na educação, solucionando problemas quando necessário (questões 2, 3, 7, 8, 13, 14, 15, 16, 21, 23, 24, 25, 29, 31, 33, 36, 40, 42, 43, 47, 51) (^Anexo).

Não foi excluído nenhum item da EDIE no presente estudo devido às cargas fatoriais elevadas e à falta de homogeneidade dos grupos de sujeitos pesquisados, não sendo a amostra considerada representativa da população, apesar de sua distribuição normal.

A análise das qualidades psicométricas do instrumento associada à fatorial revelou que há possibilidade de validação da EDIE, o que será possível através de uma amostra representativa de sujeitos que atuem nos mesmos níveis de ensino, possibilitando inclusive validações para cada nível, visando uma avaliação mais precisa do desempenho de professores com diferentes formações.

Pode-se considerar, segundo a perspectiva de Cronbach (1996) e a partir dos resultados obtidos, que a EDIE atende preliminarmente o objetivo de identificar o perfil do professor em relação ao seu desempenho em informática educacional aplicada à prática pedagógica.

Recebido para publicação em 1 de dezembro de 2003 e aceito em 20 de maio de 2004.

ESCALA DE PADRÃO DE DESEMPENHO EM INFORMÁTICA EDUCACIONAL

(formato submetido à análise no presente estudo)

Fator 1 - Nível Básico de Desempenho

Q02. Escolho equipamentos para meu uso profissional.

Q04. Uso a informática para organizar publicações.

Q09. Sou favorável ao uso da informática que possibilite aprendizagem significativa.

Q10. Considero importante o uso da informática na educação.

Q11. Uso informática para processar dados e informações.

Q20. Uso informática para comunicar-me com a família.

Q27. Uso a informática para implementar minha aprendizagem.

Q32. Uso informática para pesquisar informações de diferentes fontes.

Q37. Compreendo e discuto as questões legais relacionadas à informática.

Q38. Compreendo e discuto as questões éticas relacionadas à informática.

Q39. Compreendo e discuto as questões culturais e sociais relacionadas à informática.

Q44. Considero necessário o uso da informática na educação.

Q46. Escolho equipamentos e programas para meu uso pessoal.

Q48. Uso a informática para organizar produções acadêmicas.

Q50. Uso informática para comunicar os resultados de informações processadas.

Q51. Escolho programas para meu uso profissional.

Fator 2 - Nível Intermediário de Desempenho

Q01. Uso informática para comunicar-me com colegas e outros profissionais.

Q03. Sei planejar atividades de aprendizagem nas quais os alunos utilizem a informática.

Q07. Sei resolver problemas técnicos básicos que possam ocorrer quando uso a informática.

Q08. Sei avaliar os recursos tecnológicos utilizados pelo aluno em suas produções.

Q19. Identifico as vantagens do uso da informática para uma aprendizagem significativa.

Q22. Seleciono os recursos tecnológicos disponíveis para o ensino e aprendizagem.

Q25. Sei avaliar a competência do aluno para usar a informática.

Q26. Uso os recursos da educação a distância como forma de capacitar-me profissionalmente.

Q30. Utilizo recursos tecnológicos para o ensino e aprendizagem.

Q34. Identifico quais recursos informatizados tenho disponíveis para usar na instituição que trabalho.

Q35. Identifico quais recursos informatizados tenho disponíveis para usar no meu dia-a-dia.

Q36. Identifico quais recursos informatizados tenho disponíveis para usar na minha casa.

Q40. Planejo as estratégias de avaliação da aprendizagem usando a informática.

Q41. Escolho os melhores recursos tecnológicos para elaborar atividades de aprendizagem, considerando as necessidades individuais dos alunos.

Q45. Identifico as vantagens do uso da informática para o desenvolvimento de habilidades cognitivas.

Q47. Sei avaliar os recursos tecnológicos utilizados pelo aluno em suas publicações.

Q49. Analiso os efeitos do uso de recursos tecnológicos no planejamento do ensino e aprendizagem.

Fator 3 - Nível Avançado de Desempenho

Q05. Uso a informática para avaliar as produções dos alunos.

Q06. Elaboro planos para utilização da informática na escola.

Q12. Elaboro aulas que usem a informática garantindo igualdade de acesso dos alunos aos recursos.

Q13. Avalio aulas que usem a informática.

Q14. Implemento aulas que usem a informática garantindo igualdade de acesso dos alunos aos recursos.

Q15. Uso a informática para coletar dados sobre o desempenho dos alunos.

Q16. Uso a informática para analisar dados sobre o desempenho dos alunos.

Q17. Uso a informática para representar e comunicar em gráficos ou tabelas dados sobre o desempenho dos alunos.

Q18. Oriento atividades voltadas para aprendizagem colaborativa usando a informática.

Q23. Sei avaliar os efeitos do uso da informática pelos alunos em sua aprendizagem.

Q24. Sei avaliar a qualidade das pesquisas eletrônicas feitas pelo aluno.

Q28. Identifico, avalio e seleciono os recursos tecnológicos específicos disponíveis na escola.

Q29. Avalio de diferentes maneiras práticas instrucionais que empreguem informática para melhorar a aprendizagem.

Q31. Soluciono problemas relativos a equipamentos e programas que possam ocorrer em sala de aula.

Q33. Oriento atividades voltadas para solução de problemas usando a informática.

Q42. Desenvolvo planos e ações de segurança de dados na escola.

Q43. Planejo atividades que possibilitem ao aluno adquirir habilidade para usar informática.

• Adánez, G.P. (1999a). Testes Informatizados. In L. Pasquali (Org.). Instrumentos Psicológicos Manual Prático de Elaboração Brasília: LabPAM/IBAPP.
• Adánez, G.P. (1999b). Procedimientos de construccion y analisis de tests psicometricos. In S.M. Wechsler & R.S.L. Guzzo (Org.). Avaliação psicológica: perspectiva interna-cional (p.57-100). São Paulo: Casa do Psicólogo.
• Anastasi, A., & Urbina, S. (2000). Testagem psicológica Porto Alegre. Artmed.
• Bittar, M. (2000). Informática na educação e formação de professores no Brasil. Série-Estu-dos,10, 91-106.
• Collican, H. (1999). Research methods and statistics in psychology New York: Hodder & Stoughton.
• Cope, C., & Ward, P. (2002). Integrating learning technology into classroom: the importance of teacher's perceptions. Educational Technology & Society, 5, 67-74.
• Cronbach, L.J. (1996). Fundamentos da testagem psicológica Porto Alegre: Artes Médicas.
• Dugger, W.E. Jr. (2001). Standards of technolo-gical literacy. Kappan Professional Journal [on-line serial], 7. Available: www.pdkintl.org/kappan
• ISTE. (2000). Technology Standards and Performance Indicators for Teachers NETS Project. [On-line]. Available: http://cnets.iste.org/teachstandintro.html
• Joly, M.C.R.A., & Noronha, A.P.P. (2003). Refle-xões sobre a construção de instrumentos informatizados de avaliação Manuscrito não publicado (no prelo).
• Joly, M.C.R.A., & Silveira, M.A. (2003). Avaliação preliminar do questionário de informática educacional (QIE) em formato eletrônico. Psicologia em Estudo, 8, 85-92.
• Moran, J.M. (2000). Novas tecnologias e mediação pedagógica Campinas: Papirus.
• Pasquali, L. (1999). Instrumentos psicológicos: manual prático de elaboração Brasília: LabPAM/IBAPP.
• Pfromm Neto, S. (1998). Telas que ensinam São Paulo: Alínea.
• Starr, L. (2000). Does computer access = computer use? NCES Report on Teacher and Computers. [On-line]. Available: www. educationworld.com/a-tech/tech026.shtml
• Selfe, C.L., & Hilligoss, S. (1994). Literacy and computers: the complications of teaching and learning with technology New York: The Modern Language Association of America.
• Silveira, M.A. (2002).Tecnologia educacional no ensino: análise de questionário eletrônico como instrumento de avaliação Dissertação de Mestrado, Universidade São Francisco, Itatiba.
• Wall, J.E. (2000). Technology-Delivered Assessment: diamonds or rocks? [On-line]. Available: http://www.ed.gov/databases/ERIC-Digestes/ed446325.html

Anexo

Datas de Publicação

• Publicação nesta coleção
  11 Set 2008
• Data do Fascículo
  Dez 2004

Histórico

• Aceito
  20 Maio 2004
• Recebido
  01 Dez 2003