Construção e validação da escala de reações à interface gráfica para cursos de educação a distância

Construction and validation of graphic interface reactions scale for distance learning courses

Construção e validação da escala de reações à interface gráfica para cursos de educação a distância¹

Construction and validation of graphic interface reactions scale for distance learning courses

Renata Carvalho Varanda^I; Thaís Zerbini^{3, II}; Gardênia Abbad^III

^ICentro Universitário Planalto do Distrito Federal (UNIPLAN)²

^IIUniversidade de São Paulo (Ribeirão Preto)

^IIIUniversidade de Brasília

RESUMO

O artigo apresenta o processo de construção e validação estatística do instrumento de Reações à Interface Gráfica, aplicado a uma amostra de 1.892 alunos de um curso-alvo, oferecido pelo SEBRAE em nível nacional. O objetivo da escala era investigar a opinião dos participantes quanto à usabilidade da interface gráfica do curso. Os dados foram coletados ao final do curso, por meio de questionário hospedado na internet. Foram realizadas análises estatísticas de componentes principais (PC), fatoriais (PAF) e de consistência interna (Alpha de Cronbach). O instrumento apresentou estrutura unifatorial, com 15 itens, explicando 57,46% da variância total das respostas e índice de confiabilidade de 0,95. Os resultados indicam uma escala estatisticamente válida e confiável. Sugerem-se mais estudos, em outros contextos educacionais.

Palavras-chave: educação a distância; treinamento; reações ao curso; interface gráfica.

ABSTRACT

This article presents the construction and statistical validation process of the Graphic Interface Reactions Scale, applied to a sample of 1.892 students of a target course, offered by SEBRAE in Brazil. The scale aims to investigate the students' opinion about the graphic interface usability of the course. Data were collected at the end of the course by means of a questionnaire hosted in an internet site. Statistical analysis of the principal (PC), factorial (PAF) and internal consistency (Alpha Coefficient) components was performed. The scale presents a unifactorial structure, with 15 items, explaining 57,46% of the total variance, and Alpha coefficient of 0,95. Results indicate a statistically valid and reliable scale. Further research in different education contexts is suggested.

Keywords: distance education; training; course reactions; graphic interface.

O mundo do trabalho modificou-se nas últimas décadas. Hoje em dia, é difícil imaginar um indivíduo manter-se em apenas um emprego durante toda sua carreira profissional. As exigências atuais são por constante aperfeiçoamento técnico e político, em que o indivíduo, para manter-se no mercado de trabalho, deve garantir sua empregabilidade na busca incessante por atualização de habilidades, adaptação de atitudes de acordo com o contexto em que se insere, e novos conhecimentos.

Paralelamente a essa exigência individual, as inovações tecnológicas trazem novos equipamentos, novos meios de comunicação que, caso não se saiba operá-los, tornam muito difícil a manutenção do nível de produtividade. A situação se agrava, pois diversos cursos, oferecidos para desenvolver justamente determinadas habilidades, fazem uso das novas mídias, como a internet. A tendência da Educação a Distância (EaD) é de invadir todo o sistema educacional, especialmente aquele dirigido à população adulta (Belloni, 1999). Entende-se, então, que a EaD tende a permear o ensino superior e as ações que promovam a educação continuada, a qual visa principalmente a dar conta das grandes transformações econômicas e tecnológicas do cenário mundial.

Os cursos ou treinamentos a distância têm crescido de maneira assustadora no Brasil pelo fato de, aparentemente, terem menor custo, atingirem mais indivíduos de uma só vez e envolverem menos profissionais e materiais, entre instrutores, monitores, salas de aula, deslocamento de pessoal. No entanto, em uma análise pouco mais minuciosa da oferta de tais cursos, percebe-se, por exemplo, que o treinamento da tutoria, o planejamento instrucional, a logística de funcionamento do treinamento e a manutenção do sistema exigem recursos distintos dos utilizados em treinamentos presenciais e ainda não são estudados (Abbad, Carvalho & Zerbini, 2006). Do mesmo modo, na análise da literatura estrangeira, Salas e Cannon-Bowers (2001) destacam a ocorrência de um deslumbramento com as novas mídias, e alertam que ainda há pouco embasamento teórico e pouca preocupação em produzir conhecimento científico em treinamento a distância.

As intervenções que têm sido feitas em Treinamento, Desenvolvimento e Educação (TD&E) merecem uma avaliação sistemática, em termos dos desenhos instrucionais dos cursos, ferramentas de comunicação com o aluno, interface com a mídia, além do efeito, direto e indireto, no desempenho do indivíduo, após a realização do curso. Essa estratégia permite, ainda, manter os aspectos positivos e modificar aqueles que não têm resultado sobre o colaborador ou o ambiente de trabalho. É essencial, portanto, o desenvolvimento de estudos que visem produzir conhecimentos na área de avaliação de sistemas instrucionais, bem como desenvolver soluções técnicas para a busca de sistemas que ofereçam maior competitividade para as organizações e indivíduos.

O presente artigo objetiva construir e validar uma escala de Reações à Interface Gráfica do Curso. Entende-se interface gráfica como sendo o local virtual onde o aluno tem acesso ao conteúdo do curso, bem como às ferramentas de interação, aos exercícios e às funções de suporte técnico. O objetivo da escala é mensurar a satisfação com a usabilidade da interface gráfica do curso. O curso avaliado no presente trabalho denomina-se Iniciando um Pequeno Grande Negócio – IPGN, ofertado por meio da internet pelo SEBRAE (Serviço de Apoio às Micro e Pequenas Empresas), cujo objetivo principal é ensinar os participantes a elaborar um Plano de Negócios.

Reação a Cursos Presenciais e a Distância

A satisfação do aluno com o curso tem sido denominada, nas pesquisas nacionais e estrangeiras, de reação, seja aos procedimentos instrucionais do curso, ao material didático, à aplicabilidade do curso, aos instrutores ou à interface gráfica, no caso de cursos que utilizam a internet como mídia. A revisão da produção científica nacional, realizada por Abbad, Pilati e Pantoja (2003), realça que o nível de avaliação mais estudado na área de TD&E é o de reações, apesar de não haver tantos esforços em integrar outros níveis, como aprendizagem e impacto.

Pilati e Borges-Andrade (2006) recomendam a construção de instrumentos específicos para cada organização ou, a rigor, para cada treinamento, embora, no contexto brasileiro, tenha havido uma preocupação em construir medidas confiáveis e não genéricas demais, aplicáveis a qualquer contexto. A construção de instrumentos específicos choca-se com o alto custo para a organização em termos financeiros, principalmente em função da necessidade de equipe qualificada para esse trabalho.

Como exemplo de medida genérica, citam-se Abbad (1999) e Alves, Pasquali e Pereira (1999). Os artigos de Abbad, Gama e Borges-Andrade (2000) e Lima e Borges-Andrade (1985) são outros exemplos de avaliação no nível de reações. Em cursos a distância, os casos nacionais e estrangeiros são reduzidos e mais reduzidos ainda são os estudos com avaliações sistemáticas desse nível. Dentre os casos estrangeiros, estão os de Carswell e Venkatesh (2002), Cheung (1998, 2000), Christensen, Anakwe e Kessler (2001), Lippert, Radhakrishna, Plank e Mitchell (2001), Porras-Hernandez (2000) e Walker (1998). Geralmente, são feitas perguntas abertas sobre as impressões do aluno sobre o curso (e.g., Walker, 1998). Um caso isolado é o de Cheung (1998, 2000), que desenvolve um instrumento de efetividade do ensino, com quatro dimensões: desenvolvimento do aluno, avaliação, materiais de aprendizagem e componente presencial com tutores. O autor realizou análises fatoriais exploratória e confirmatória, em que se corroborou a estrutura de quatro fatores condizentes com as dimensões, com um fator de segunda ordem, denominado efetividade de ensino.

Carswell e Venkatesh (2001) realizaram estudo específico de avaliação de reação ao ensino a distância, baseado na web, em ambiente assíncrono entre professor e aluno. Os resultados apontam que a percepção positiva da tecnologia está associada a melhores resultados na percepção de aprendizagem do aluno, intenção de uso posterior da tecnologia, e resultados de aceitação da tecnologia (envolvimento no curso, uso da mídia para se comunicar com professor e colegas).

Esses são os poucos casos encontrados na revisão de literatura estrangeira que avaliam sistematicamente o nível de reações em treinamentos a distância, estabelecendo relações entre variáveis e preocupando-se em utilizar medidas confiáveis em amostras representativas.

O Uso das Novas Tecnologias de Informação e Comunicação (NTICs) na Educação

O crescente uso do ambiente da internet para fins educacionais não tem sido acompanhado por uma avaliação sistemática das consequências no desempenho de indivíduos, quanto à aprendizagem e aplicação de conhecimentos no trabalho. São isolados os casos de construção de instrumentos capazes de medir a funcionalidade de ambientes virtuais, apesar de Scapin, ainda em 1993, afirmar já haver conhecimento sólido dos técnicos de informática sobre a concepção de softwares e a necessidade de se considerar os aspectos ergonômicos. Esse mesmo autor utiliza referências em seu artigo datadas do início da década de 1970, fato relativamente surpreendente, já que, 30 anos mais tarde, percebem-se, às vezes, estratégias de tentativa e erro para elaborar um ambiente eletrônico de ensino. Vêem-se mais avanços na qualidade de interfaces gráficas voltadas para sítios web em geral, tecnologia celular móvel e computadores de mão.

Na discussão da interface gráfica de treinamentos mediados pela internet, dois termos precisam ser distinguidos: interação e interatividade. Para Belloni (1999), o último refere-se a uma "característica técnica que significa a possibilidade de o usuário interagir com uma máquina" (p. 58). Já a interação é um conceito psicológico que envolve ação recíproca entre dois ou mais atores, que pode ser direta ou indireta, facilitada por algum meio de comunicação. A interação entre professores e alunos é considerada importante e difere do simples uso das possibilidades interativas disponibilizadas por um curso.

Esses dois processos, interação com o tutor e interatividade do ambiente virtual, devem igualmente propiciar aprendizagem, sendo entendidos como complementares nas ações de EaD. Porém, não há sistematização sobre o real efeito dessas ferramentas e até que ponto elas de fato facilitam aprendizagem. No caso de cursos mediados pela internet, foco deste trabalho, além das ferramentas que possibilitam a interação do aluno com colegas e tutor, o próprio ambiente virtual apresenta características que podem ser importantes fontes de efeitos diferenciais no desempenho dos participantes. As formas de navegação na página e a quantidade de informações disponíveis são alguns exemplos de fatores que vêm sendo apontados como influentes na produtividade e no conforto dos usuários de sistemas eletrônicos.

Outra distinção importante a se fazer se refere aos conceitos de usabilidade e navegabilidade. Alguns autores se referem ao termo usabilidade do software como uma evolução do que se denominava um sistema de informática amigável. Mudou-se o termo, por levar a uma interpretação subjetiva. Além disso, o mais importante é que o software não interfira nas tarefas que os usuários querem realizar. As definições de usabilidade foram evoluindo de acordo com seu enfoque (Dias, 2003). Para Bevan, Kirakowsky e Maissel (1991), o termo é definido como uma função das características do produto, do usuário, da tarefa a ser realizada e do ambiente de uso do produto. Caso algum desses fatores se altere, a usabilidade do produto ou software deve ser reavaliada. Segundo Silvino (2004), a usabilidade se refere simplesmente à "facilidade ou dificuldade que um aparato tem em ser operado" (p. 21).

Uma definição hoje bastante aceita de usabilidade é aquela prescrita pela ISO 9241-11, de 1998 (ABNT, 2000), a qual consiste na capacidade de um produto ser usado por usuários específicos para atingir objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso. O termo considera, portanto, mais o ponto de vista do usuário e seu contexto de uso do que as características ergonômicas do produto.

Já ao avaliarmos a navegabilidade de um software, referimo-nos à análise realizada junto aos usuários, com observações sistemáticas sobre seu desempenho e suas percepções sobre a interface. Segundo Silvino (2004), esse método é complementar à análise de usabilidade. Este último permite traçar um retrato geral do site analisado, enquanto a navegabilidade permite uma avaliação mais precisa, pois dá suporte para a adequação do software às características da população-alvo. O usuário passa a ser um copartícipe da concepção da interface, sendo visto como um sujeito da ação. Na construção do presente instrumento, foram usados critérios para avaliar apenas a usabilidade do ambiente eletrônico do curso.

Entre os estudos empíricos sobre o uso das NTICs em contextos educativos, destaca-se o de Dean e Webster (2000). Esses autores elaboraram um instrumento de avaliação de um curso baseado no uso do computador. Trata-se de um módulo de simulações, complementar ao material impresso do curso. O questionário foi respondido por alunos em fase de conclusão do curso e abordava temas como o sistema de computador do curso, a motivação para estudar e a transferência de aprendizagem. Os autores imaginavam que o uso de simulações teria efeitos positivos na percepção da motivação para estudar e na transferência do aprendido, fato corroborado em suas análises. Faz-se aqui a ressalva de que os instrumentos necessitam de aprimoramento e que deveriam ser aplicados em amostras maiores de participantes, para os resultados das análises serem mais confiáveis.

Outro resultado interessante do estudo de Dean e Webster (2000) diz respeito à maneira de usar o módulo de simulação: houve uso linear, estudando-se primeiro o material impresso, depois a simulação, não sendo utilizados os recursos do hipertexto disponibilizados. Este é um ponto que merece atenção nas pesquisas. Não basta incluir ferramentas de interatividade, sem que haja um preparo dos alunos sobre como podem se beneficiar dessa nova forma de estudar. As novas tecnologias da informação e comunicação abrem um leque de possibilidades de meios para ensino a distância. No entanto, trazem consigo a dificuldade de se definir a adequação dos meios aos objetivos de ensino e a elaboração de estratégias que garantam a utilização correta dos materiais e a interação com o sistema de ensino.

Dieuzeide (citado por Belloni, 1999) alerta para a necessidade de sempre se focar o uso das novas tecnologias de informação e comunicação com visão pedagógica e não pela tecnologia ou por ser novidade, como mero meio de circulação de informação. Este é o papel do planejador de ensino (instructional designer), responsável pela integração da qualidade do conteúdo (aspectos didático-pedagódicos) e da técnica (critérios ergonômicos de usabilidade e navegabilidade). Neste estudo, serão focados os aspectos técnicos da interface do aluno com o ambiente eletrônico do curso. Por interface, entende-se "todos os aspectos dos sistemas de informática que influenciam a participação do usuário em tarefas informatizadas" (Scapin, 1986, p. 2). Especificamente, este trabalho centra-se na avaliação de um dos aspectos da interface, o gráfico. O equipamento (teclado, monitor, sistema operacional) e a programação do curso não serão alvos de estudo aqui.

A Usabilidade como Fator de Melhoria no Desempenho de Usuários

O trabalho em ambiente on-line, segundo Ferreira (2000), possui um custo humano em três aspectos: biomecânico (aspectos físicos do ambiente, posto de trabalho, iluminação, ruído etc.), cognitivo (esforço visual para tratar informações na tela de computador, carga de trabalho etc.) e psíquico (satisfação com a tarefa a ser realizada, sentimentos de prazer ou sofrimento). O foco aqui está na tentativa de redução das exigências cognitivas para o usuário, que afetam a produtividade e o conforto frente ao computador. A usabilidade é um meio para reduzir este custo humano.

Segundo Bevan, Kirakowsky e Maissel (1991), podem ser usadas várias abordagens para a avaliação da usabilidade; vão desde a avaliação de especialistas e análise da interação do usuário com a máquina até a opinião do usuário sobre o software a partir de uma lista de verificação. Os métodos de avaliação sugeridos por Dias (2003) são variados. Dentre eles, destacam-se os métodos de inspeção (baseada em guias de recomendação, de estilos, em heurísticas ou em padrões, como as normas ISO).

A inspeção baseada em padrões verifica a conformidade do sistema ou produto em relação aos padrões da indústria, como as normas ISO, sendo adotada por especialista em usabilidade com conhecimento de cada padrão específico. O padrão internacional mais comum é a norma ISO 9241, com destaque para a parte 10, que trata de princípios de diálogo como requisitos ergonômicos para trabalho de escritório em terminais de vídeo. Os princípios abordados nessa norma são: adequação à tarefa, autodescrição, controle, conformidade com as expectativas dos usuários, tolerância a falhas, adequação para a personalização e adequação para o aprendizado.

Os guias de estilo, segundo Dias (2003), são "publicações com descrições mais detalhadas de elementos interativos específicos de um sistema, tais como menus, janelas e caixas de entrada de dados" (p. 54). Os exemplos mais conhecidos são aqueles produzidos pela IBM (1999; Web Design Guidelines), Microsoft Corporation (1992; The Windows Interfaces: An Application Design Guide) e Apple Computer (1992; Macintosh Human Interface Guidelines).

Com relação à inspeção baseada em heurísticas, os autores mais comumente citados são Nielsen (conforme citado por Dias, 2003) e Shneiderman (conforme citado por Dias, 2003). A partir de estudos empíricos, Nielsen analisou os fatores observados em um conjunto de 249 problemas de usabilidade detectados e os condensou em 10 heurísticas de usabilidade, a saber: visibilidade do estado atual do sistema; correlação entre o sistema e o mundo real; controle e liberdade do usuário; consistência e padrões; prevenção de erros; reconhecimentos ao invés de memorização; flexibilidade e eficiência de uso; projeto estético e minimalista; suporte aos usuários no reconhecimento, diagnóstico e recuperação de erros; e informações de ajuda e documentação. Schneiderman, na mesma linha, estabeleceu oito "regras de ouro" para projetos de interfaces. São elas: consistência; atalhos para usuários frequentes; feedback informativo; diálogos que indiquem término da ação; prevenção e tratamento de erros; reversão de ações; controle; baixa carga de memorização.

Santos, Gassenferth e Machado (2008) realizaram uma revisão de artigos publicados em revistas científicas nacionais e em anais de congressos. Os critérios mais citados para avaliação da usabilidade foram aqueles propostos por Nielsen (conforme citado por Dias, 2003), Shneiderman (conforme citado por Dias, 2003) e Bastien e Scapin (1992).

Os "critérios ergonômicos para avaliação de interfaces homem-computador", elaborados por Bastien e Scapin (1992), foram resultado de um amplo levantamento de indicadores de qualidade ergonômica de softwares junto a guias e revistas especializadas, e podem ser utilizados para avaliação de um ambiente de ensino a distância, mediado por computador. Esses autores realizaram uma validação de construto dos critérios, em que era solicitado aos participantes que classificassem uma lista de determinados problemas ergonômicos segundo cada critério. A validação foi bem sucedida. No Brasil, Cybis (2002) elaborou apostila com esses mesmos critérios, os quais deveriam ser seguidos na elaboração de softwares ou ambientes eletrônicos com interface com o usuário, com o objetivo de minimizar a ambiguidade na identificação e classificação das qualidades e problemas ergonômicos de um software interativo. Esse autor e outros do Laboratório de Utilizabilidade⁴ da Universidade Federal de Santa Catarina – UFSC vêm utilizando esses critérios em suas pesquisas e disseminando seu uso para a elaboração e avaliação de interfaces homem-computador.

Neste estudo, escolheu-se trabalhar com os critérios descritos por Scapin e Bastien (1993) por apresentarem algum resultado empírico de validação e por estarem sendo usados em contextos brasileiros diferenciados. Além disso, por se tratar de uma pesquisa exploratória, optou-se por um conjunto amplo de critérios, que permitisse investigar as possíveis sobreposições de conceitos, chegando a um modelo mais parcimonioso de avaliação da interface gráfica. Os critérios propostos por esses autores e apresentados a seguir são: condução, carga de trabalho, controle explícito, adaptabilidade, gestão de erros, homogeneidade/coerência, significado dos códigos e denominações e compatibilidade.

Por condução entendem-se o aconselhamento, a orientação, a informação e a condução do usuário na interação com o computador. Subdivide-se nas dimensões presteza, feedback imediato, legibilidade e agrupamento/distinção de itens. A presteza refere-se ao grau de utilização dos meios para levar o usuário a realizar determinada ação. Por exemplo, indica onde o usuário se encontra dentro do ambiente eletrônico ou mostra os passos seguidos até chegar a determinado ponto. O feedback imediato diz respeito à qualidade e prontidão das respostas do ambiente a qualquer ação do usuário. Legibilidade diz respeito às características lexicais das informações apresentadas na tela que possam dificultar ou facilitar a leitura dessa informação. O agrupamento/distinção dos itens são qualidades da ordenação, do posicionamento e da distinção dos objetos na tela, podendo ser entendido pela localização dos objetos ou por seu formato.

Carga de trabalho, por sua vez, aborda a quantidade de informação disponível ao usuário. Subdivide-se em brevidade e densidade informacional. A brevidade indica a limitação da carga de trabalho de leitura e de entradas em telas, além da redução do número de passos para atingir um objetivo. Este critério ainda se divide em concisão e ações mínimas. Densidade informacional diz respeito à carga de trabalho do usuário, do ponto de vista perceptivo e cognitivo, com relação ao conjunto total de itens de informação apresentados, não a cada elemento ou item em particular.

Controle explícito refere-se ao grau de controle exercido pelo usuário sobre suas próprias ações no ambiente virtual. O usuário, por exemplo, deve poder controlar a abertura de telas. Subdivide-se em ações explícitas e controle do usuário. Com ações explícitas entende-se que o computador deve processar somente as ações solicitadas pelo usuário e somente quando solicitado a fazê-lo. O controle do usuário indica que é possível, a todo momento, interromper, cancelar, suspender ou continuar determinada ação ou processamento.

Adaptabilidade é definida como a capacidade do sistema reagir diante do contexto ou das necessidades e preferências do usuário. Os subcritérios são a flexibilidade e experiência do usuário. A flexibilidade refere-se à diversidade de maneiras disponíveis para realizar uma tarefa ou aos meios disponibilizados para personalizar um ambiente, considerando as exigências da tarefa, as estratégias ou os hábitos de trabalho do treinando. A consideração da experiência do usuário implica disponibilizar meios que permitem que o sistema respeite a experiência do usuário com o ambiente eletrônico. Pode ser exemplificada pelas opções de guias ou passo a passo para os menos experientes e teclas de atalho para os usuários experientes.

A gestão de erros diz respeito a todos os mecanismos que permitem evitar ou reduzir a ocorrência de erros ou corrigi-los, caso ocorram. O critério pode ser dividido em proteção contra erros, qualidade das mensagens de erro e correção dos erros. A proteção contra erros são os mecanismos usados para identificar ou evitar erros de entradas de dados ou possíveis ações de consequências irrecuperáveis. A qualidade das mensagens de erro versa sobre a pertinência, legibilidade e exatidão da informação dada sobre a natureza do erro cometido e sobre as ações para corrigi-lo. A correção dos erros pode ser vista pelos meios disponibilizados com o objetivo de permitir a correção dos erros.

A homogeneidade/coerência refere-se à manutenção dos comandos, denominações, formatos, procedimentos para contextos similares e à distinção dos mesmos para ambientes diferentes. Trata-se de garantir a previsibilidade no funcionamento do sistema, que facilitaria a aprendizagem. O significado dos códigos e denominações diz respeito à adequação entre o objeto e a informação apresentada ou pedida e sua referência, em termos de relação semântica e codificação significativa para o usuário. E, por fim, a compatibilidade: diz-se que um ambiente é compatível quando é possível haver relação entre as características do usuário e as tarefas. Refere-se também ao grau de similaridade entre diferentes ambientes e aplicações.

Método

Participantes

Participaram do estudo alunos do curso IPGN matriculados nas turmas oferecidas de 1º de maio a 6 de agosto de 2002. Por alguns motivos técnicos, nem todos os participantes receberam a carta enviada por meio eletrônico contendo o link para acesso aos questionários. Dentre eles, estão falhas na identificação do e-mail fornecido aos pesquisadores, caixa de mensagens do participante cheia ou e-mail não reconhecido pelo provedor. Na Tabela 1 são apresentados os dados da população de inscritos (N=21.920⁵) em comparação com a amostra (n=1.892).

Os dados demográficos da amostra de validação do instrumento (n=1.892) possuem distribuição semelhante à da população de inscritos no IPGN. A maioria dos participantes na população e na amostra é do sexo masculino (65,7% e 59,5%), possui idade média de 33, para a população, e 34 anos, para a amostra, (desvio padrão de aproximadamente 10 anos), nível superior incompleto (34,2% e 32,6%) e reside majoritariamente na região Sudeste (54,1% e 43,4%). Quanto ao número de concluintes (52,9% para a população e 85,3% para a amostra), a diferença é explicada pelo fato de que, em sua grande maioria, os evadidos não responderiam ao questionário.

Em relação ao o uso de algumas ferramentas (lista de discussão, acesso ao mural e ao ambiente do curso), a menor taxa de uso da população, em relação à amostra, é possivelmente explicada pela inclusão dos não concluintes na descrição da população. Para testar essa hipótese, foram comparados apenas os concluintes da população (11.600 casos) e a amostra. Nesse momento, não se percebe grande diferença em nenhuma das características, indicando que as divergências devem-se à influência dos alunos inscritos que não concluíram o curso nos 60 dias programados. A amostra de validação, portanto, é semelhante à população de concluintes do IPGN, fato este positivo, pois facilita a análise de generalidade dos resultados encontrados.

Instrumento

Utilizou-se, como referência, o documento de Scapin e Bastien (1993), que descreve oito critérios de usabilidade de softwares, descritos em detalhe em seção anterior. Os itens cobriram todas as categorias, sendo que, em alguns casos, uma mesma categoria foi representada por mais de um item de avaliação. O objetivo foi investigar a opinião dos alunos sobre a qualidade da interface gráfica oferecida no ambiente eletrônico do curso, na internet.

O questionário foi submetido à análise semântica para identificação e correção de possíveis falhas quanto à precisão, clareza e objetividade dos itens, bem como quanto à adequação das instruções das escalas. Para viabilizar essa análise, foram realizadas duas Oficinas de Trabalho com duração de 4 horas cada uma, nas quais os integrantes de um grupo de pesquisa, após a leitura de cada item, opinavam e criticavam, visando ao aprimoramento do instrumento.

Após os ajustes sugeridos essencialmente na clareza da redação, o instrumento, de 15 itens, passou por validação de três juízes, todos atuantes como pesquisadores e consultores em ergonomia de interfaces, mestrandos ou doutorandos da Universidade de Brasília. Os itens foram respondidos por escala de intensidade de 11 pontos, com variação de 0 (péssimo) a 10 (excelente). As sugestões disseram respeito principalmente à precisão da definição do critério a ser avaliado em cada item. Após tais ajustes, o instrumento foi digitalizado e hospedado em uma página da internet. Uma empresa especializada foi contratada pelo grupo de pesquisa para digitalizar o instrumento e criar um arquivo de dados eletrônico, que pudesse armazenar as respostas dos participantes do IPGN.

Os itens que compõem o instrumento são: (1) Relação entre os nomes e as siglas dos comandos e suas funções; (2) Relação entre o ícone (desenho, seta) e sua função; (3) Manutenção da função de um mesmo comando em todas as telas; (4) Clareza das mensagens que o ambiente eletrônico dá como resposta às minhas ações; (5) Indicação sobre o que devo fazer para atingir meus objetivos instrucionais; (6) Quantidade de passos para chegar na informação que preciso; (7) Apresentação visual das telas; (8) Disposição dos comandos na tela para encontrar as informações desejadas; (9) Informações que me permitem evitar erros de navegação; (10) Quantidade de conteúdo por tela; (11) Indicação de onde estou no ambiente eletrônico, em cada momento; (12) Adequação do ambiente eletrônico do curso à minha experiência com o uso da internet; (13) Letras (cor, tipo, tamanho) usadas nos textos; (14) Qualidade das mensagens que recebo do ambiente eletrônico quando cometo erros de navegação; e (15) Velocidade das respostas do ambiente eletrônico às minhas ações.

Procedimento

A coleta de dados ocorreu ao final do curso. O questionário foi enviado por e-mail por intermédio de uma carta, que explicava os procedimentos e objetivos da pesquisa, bem como solicitava ao participante que respondesse ao questionário hospedado na internet, indicado em um link específico. As cartas foram enviadas pelo programa de envio de e-mails em massa World Cast. Com o intuito de sensibilizar a participação dos indivíduos para responderem ao questionário, foi enviada aos tutores uma carta descrevendo a importância, os procedimentos e objetivos da pesquisa, bem como uma orientação para que eles incentivassem a participação de seus alunos. A Tabela 2 relaciona o total de alunos inscritos em cada turma e a quantidade de e-mails enviados com sucesso aos alunos.

Do total de 11.531 alunos que receberam o questionário de reação, 4.323 enviaram resposta ao questionário, porém, após serem expurgados os registros duplicados e vazios, chegou-se a um total de 1.892 registros. O baixo índice de retorno em relação ao número de e-mails enviados com sucesso (16,4%) pode ser explicado por diversas razões: grande porcentagem de evadidos do curso; dificuldades tecnológicas enfrentadas durante a coleta de dados por meio eletrônico; ausência de vínculo do participante com a empresa; gratuidade do curso do SEBRAE.

Análise de dados

As análises foram realizadas por meio do software estatístico SPSS (Statistical Package for the Social Science), versão 11.0. Em uma primeira etapa, foram realizadas análises descritivas e exploratórias, segundo os pressupostos propostos por Tabachnick e Fidell (2001), para investigar a exatidão da entrada dos dados, a presença de casos extremos, a distribuição dos casos omissos, a distribuição das variáveis e o tamanho das amostras. Para identificação dos casos extremos univariados, todas as variáveis foram transformadas em escores Z. Foram excluídas todas as respostas cujos escores padronizados eram iguais ou superiores a 3,29 (p<0,001, two-tailed). Os casos extremos multivariados foram identificados a partir da distância Mahalanobis (a=0,001) e, posteriormente, excluídos. As análises foram realizadas com e sem a presença dos casos extremos uni e multivariados e não foram detectadas diferenças nos resultados com e sem casos extremos. Por isso, optou-se por utilizar os arquivos com a presença dos casos extremos uni e multivariados.

Em seguida, iniciaram-se as análises fatoriais para as pesquisas de validação estatística do instrumento, segundo as orientações de Pasquali (2004). Para validar empiricamente a escala, algumas análises foram necessárias. O primeiro passo foi realizar análises dos componentes principais (Principal Components - PC), para estimar o número de fatores, detectar a ausência de multicolinearidade e analisar a fatorabilidade da matriz de correlações. O passo seguinte foi obter estruturas fatoriais, utilizando o método de fatoração dos eixos principais (Principal Axis Factoring - PAF).

Resultados

Entre os 1.892 casos válidos de Reação à Interface Gráfica do curso, os casos omissos não ultrapassaram 5% dos casos válidos, escolhendo-se tratamento pairwise para casos omissos. A análise dos componentes principais indicou que a matriz é fatorável (KMO=0,96), com apenas um fator em sua estrutura, em função dos valores próprios e da distribuição dos mesmos no scree plot (Figura 1). Segundo critério sugerido por Pasquali (2004), a análise da matriz de correlações também indicou apenas um fator, pois todas as correlações entre itens estavam acima de 0,30. O índice de adequação da amostra, identificado pela análise da matriz anti-imagem, mostrou-se adequado.

A análise PAF (Principal Axis Factoring) confirmou a estrutura unifatorial da escala, composta pelos 15 itens da escala, explicando 57,46% da variância total das respostas, com cargas fatoriais variando de 0,68 a 0,84 e índice de confiabilidade Alfa de Cronbach de 0,95. Esses resultados podem ser visualizados na Tabela 3.

Discussão

A escala de Reação à Interface Gráfica obtida por meio das análises fatoriais mostrou-se válida e confiável, com uma estrutura unifatorial, com índice excelente de consistência interna e sem perda de nenhum item. Embora a construção do instrumento tenha feito uso de oito critérios ergonômicos (Scapin & Bastien, 1993), cada um deles estava representado por poucos itens, não sendo hipotetizado o agrupamento em fatores.

O Laboratório de Utilizabilidade da Universidade Federal de Santa Catarina (UFSC) tem trabalhado em detalhe nos critérios abordados nesta pesquisa, chegando à elaboração de guias específicos ilustrados com o objetivo de disseminar esse conhecimento. Embora esse trabalho analítico seja de grande relevância, nota-se que a área de avaliação de treinamentos a distância necessita de instrumentos enxutos e confiáveis, que possam ser usados em contextos diferenciados para, de fato, trazer informações pertinentes para a melhoria dos cursos ofertados. A construção do instrumento ora validado seguiu, portanto, uma abordagem sintética e mostra-se adequada para ser utilizada em conjunto com outras medidas de avaliação de cursos a distância, a exemplo do que fizeram Carswell e Venkatesh (2002), Cheung (1998, 2000), Christensen, Anakwe e Kessler (2001), Lippert e cols. (2001) e Walker (1998).

Como esta pesquisa avaliou apenas um curso via internet, contexto esse muito específico, a variabilidade nas avaliações dos participantes pode ter sido reduzida. Sugerem-se mais estudos, em outros ambientes virtuais, para que se teste a manutenção da estrutura fatorial encontrada. Estudos interessantes poderiam comparar empiricamente os métodos de inspeção de usabilidade mais utilizados atualmente, como aqueles apontados por Santos, Gassenferth e Machado (2008), com o intuito de se definirem critérios universais, importantes na concepção de interfaces.

Considera-se que o índice de retorno dos questionários (16,4% quando comparado ao número de e-mails enviados com sucesso) foi baixo; no entanto, é preciso fazer ressalvas, para se ter um panorama mais completo sobre os procedimentos de aplicação. Primeiramente, os e-mails foram enviados à população de inscritos – abarcando, portanto, concluintes e não concluintes – e apenas 54% dessa população (11.531 alunos) recebeu a carta linkada com sucesso. Uma vez que não se sabe o quantitativo de concluintes dentro do total de alunos que receberam a carta, torna-se difícil afirmar o quanto representam exatamente os 1.892 questionários respondidos.

Além disso, o instrumento fazia parte de uma avaliação abrangente sobre o curso, a qual incluía outros instrumentos sobre o componente "Procedimentos" do Modelo de Avaliação Integrado e Somativo (MAIS) de Borges-Andrade (2006), como o desempenho do tutor e a qualidade dos procedimentos instrucionais. Ao acessarem a página de avaliação, os respondentes tinham acesso a um questionário por vez, quando deviam enviar os dados para poder acessar a página seguinte, com o próximo questionário. O questionário de avaliação da interface gráfica, em particular, era o último a ser respondido. Somente após o término da coleta de dados, percebeu-se, porém, que, a cada questionário, o índice de retorno diminuía, o que ocorreu provavelmente por falhas nas conexões dos usuários e no acesso ao servidor que hospedava os instrumentos de avaliação.

Portanto, foram vários os aspectos que interferiram no baixo índice de retorno. Apesar disso, não se considera que esse método seja dispensável. Carswell e Venkatesh (2002), por exemplo, utilizaram método semelhante e obtiveram índice de retorno de 30%, recomendando seu uso em outras pesquisas. Pesquisas futuras que utilizem procedimentos de coleta semelhantes, com grande número de variáveis sendo mensuradas simultaneamente, devem se precaver quanto às possíveis falhas tecnológicas, mas também buscar o acesso o mais direto possível com os respondentes, de preferência, sabendo de antemão seu perfil de concluinte ou não concluinte.

Um ponto importante, apesar de discutível, foi considerado no planejamento da pesquisa e diz respeito à quantidade de itens do questionário. Optou-se por trabalhar com uma escala de apenas 15 itens, em função do ganho prático de um instrumento menor, que apresenta mais facilidade de ser aplicado, sobretudo considerando o meio utilizado para sua aplicação - a internet, para o qual a ênfase em evitar instrumentos extensos é ainda maior. No entanto, como bem apontam Carswell e Venkatesh (2002), ao se fazer tal opção, perde-se em termos de detalhamento da informação. Além disso, geralmente, ao avaliar um curso a distância, ofertado pela internet, dificilmente os aspectos específicos da interface gráfica serão os únicos avaliados. Outros aspectos costumam ser avaliados em conjunto com esses, como foi o caso aqui, tais como: os procedimentos instrucionais do curso, a utilidade e aplicabilidade do curso, o desempenho do tutor, o ambiente de estudo do aluno, entre outros (Zerbini & Abbad, 2005, 2007).

Tratando-se de interface gráfica, a questão do uso das ferramentas eletrônicas do curso merece especial atenção. Observou-se uma diferença significativa entre população e amostra quanto ao uso dessas ferramentas, em especial na participação na lista de discussão, no acesso ao mural de notícias e ao próprio ambiente do curso. Para fins de avaliação, a alta frequência no uso das ferramentas eletrônicas do curso representa um dado positivo, pois indica que os respondentes estão avaliando aspectos com os quais tiveram contato e, possivelmente, têm uma opinião a respeito da qualidade do recurso oferecido no ambiente do curso. Foi justamente o aumento nessa frequência que caracterizou a diferença entre população e amostra. Ocorre que, na população, o índice de não concluintes chegava praticamente à metade dos alunos, o que justificaria a baixa frequência no acesso ao curso. Ao se fazer uma comparação apenas entre os concluintes da população e da amostra, percebe-se que as diferenças diminuem significativamente, sendo possível considerar os grupos semelhantes quanto às características de uso da interface gráfica.

Embora necessite de aprimoramento, a validação da escala com bons índices psicométricos constitui uma contribuição para o conhecimento da área. A avaliação da interface gráfica, aspecto típico de treinamentos a distância e associado ao componente "Procedimentos" do MAIS de Borges-Andrade (2006), também contribui para a área, por ser aspecto pouco avaliado e por sugerir uma integração com a Ergonomia, área do conhecimento dificilmente envolvida nesses tipos de estudos que fazem uso da Psicologia Instrucional.

Por fim, esta pesquisa atende a uma recomendação feita nas últimas revisões de literatura sobre treinamento e desenvolvimento (Abbad, Pilati & Pantoja, 2003; Salas & Cannon-Bowers, 2001), qual seja a de avaliar um curso oferecido a distância. Almeja-se que se dê início ao estudo mais aprofundado das novas mídias em ações educacionais corporativas, buscando a consolidação de um saber que possa nortear intervenções e otimizar os altos investimentos em TD&E.

Recebido em 27.08.2008

Primeira decisão editorial em 06.03.2009

Versão final em 22.05.2009

Aceito em 03.09.2009

• Abbad, G. (1999). Um modelo integrado de avaliação do impacto do treinamento no trabalho IMPACT Tese de Doutorado, Universidade de Brasília, Brasília.
• Abbad, G., Carvalho, R. S., & Zerbini, T. (2006). Evasão em curso via internet: explorando variáveis explicativas. RAE Eletrônica, 5 Retirado em 17/10/2006, de http://www.rae.com.br/eletronica/index.cfm
• Abbad, G., Gama, A. L. G., & Borges-Andrade, J. E. (2000). Treinamento: análise do relacionamento da avaliação nos níveis de reação, aprendizagem e impacto do treinamento no trabalho. Revista de Administração Contemporânea, 4, 25-45.
• Abbad, G., Pilati, R., & Pantoja, M. (2003). Avaliação de treinamento: análise da literatura e agenda de pesquisa. Revista de Administração USP, 38, 181-191.
• Alves, A. R., Pasquali, L., & Pereira, M. A. M. (1999). Escala de satisfação com o treinamento-ESAST/Telebrás/UnB. Revista de Administração de Empresas, 39, 25-30.
• Apple Computer (1992). Macintosh human interface guidelines New Jersey: Addison Wesley.
• Associação Brasileira de Normas Técnicas - ABNT (2000). Requisitos ergonômicos para trabalhos de escritório com computadores - NBR 9241. Parte 11: orientações sobre usabilidade Retirado em 17/10/2006, de http://www.inf.ufsc.br/~cybis/pg2003/iso9241-11F2.pdf
• Bastien, J. M. C., & Scapin, D. L. (1992). A validation of ergonomic criteria for the evaluation of human-computer interfaces. International Journal of Human-Computer Interaction, 4, 183-196.
• Belloni, M. L. (1999). Educação a distância Campinas: Autores Associados.
• Bevan, N., Kirakowsky, J., & Maissel, J. (1991, julho). What is usability? Trabalho apresentado na 4^th International Conference on HCI, Stuttgart, Alemanha.
• Borges-Andrade, J. E. (2006). Avaliação integrada e somativa em TD&E. Em J. E. Borges-Andrade, G. Abbad, L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas (pp. 343 - 358). Porto Alegre: Artmed.
• Carswell, A. D., & Venkatesh, V. (2002). Learner outcomes in an asynchronous distance education environment. International Journal of Human-Computer Studies, 56, 475-494.
• Cheung, D. (1998). Developing a student evaluation instrument for distance teaching. Distance Education, 19, 23-42.
• Cheung, D. (2000). Evidence of a single second-order factor in student ratings of teaching effectiveness. Structural Equation Modeling, 7, 442-460.
• Christensen, E. W., Anakwe, U. P., & Kessler, E. H. (2001). Receptivity to distance learning: The effect of technology, reputation, constraints, and learning preferences. Journal of Research on Computing in Education, 33, 263-279.
• Cybis, W. A. (2002). Engenharia ergonômica de usabilidade de interfaces humano-computador [Manuscrito nao publicado]. Florianópolis: Laboratório de Utilizabilidade, Universidade Federal de Santa Catarina,. Retirado em 20/10/2002, de http://www.labiutil.inf.ufsc.br/
• Dean, A. M., & Webster, L. (2000). Simulations in distance education: Progress towards an evaluation instrument. Distance Education, 21, 344-360.
• Dias, C. (2003). Usabilidade na web Rio de Janeiro: Alta Books.
• Ferreira, M. C. (2000). Ambiente de aprendizagem on-line e aprendizagem on-line do ambiente: contribuições da ergonomia na gestão de sistemas educacionais a distância [Manuscrito não publicado], Universidade de Brasília, Brasília.
• International Business Machines - IBM (1999). Web design guidelines Retirado em 10/10/2000, de http://www-3.ibm.com/ibm/easy/eou_ext.nsf/publish/572
• Lima, S. M. V., & Borges-Andrade, J. E. (1985). Meta-análise de avaliação de treinamento. Revista de Administração, 20, 39-52.
• Lippert, R. M., Radhakrishna, R., Plank, O., & Mitchell, C. C. (2001). Using different evaluation tools to assess a regional internet inservice training. International Journal of Instructional Media, 28, 237-248.
• Microsoft Corporation (1992). The windows interface: An application design guide. Redmon, WA: Microsoft Press.
• Pasquali, L. (2004). Análise fatorial para pesquisadores Petrópolis: Vozes.
• Pilati, R., & Borges-Andrade, J. E. (2006). Construção de medidas e delineamentos em avaliação de TD&E. Em J. E. Borges-Andrade, G. Abbad & L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas (pp. 359 - 384). Porto Alegre: Artmed.
• Porras-Hernandez, L. H. (2000). Student variables in the evaluation of mediated learning environments. Distance Education, 21, 385-403.
• Salas, E., & Cannon-Bowers, J. (2001). The science of training: A decade of progress. Annual Review of Psychology, 52, 471-499.
• Santos, R. C., Gassenferth, W., & Machado, M. A. S. (2008, julho). Systems usability evaluation metrics review Trabalho apresentado no Global Business and Technology Association Conference - GBATA, Systems Usability Evaluation Metrics Review, Madri, Espanha.
• Scapin, D. L. (1986). Guide ergonomique de conception des interfaces homme-machine (relatório n^o. 77). France: Rocquencourt.
• Scapin, D. L. (1993). Situation et perspectives en ergonomie du logiciel. Em J. C. Sperandio (Org.), L'ergonomie dans la conception des projets informatiques (pp. 7-68). France: Octares.
• Scapin, D. L., & Bastien, J. M. C. (1993). Critères ergonomiques pour l'évaluation d'interfaces utilisateurs. (relatório no 156). France: Rocquencourt.
• Silvino, A. M. D. (2004). Ergonomia cognitiva e exclusão digital: acompetência como elemento de (re)concepção de interfaces gráficasTese de Doutorado, Universidade de Brasília, Brasília.
• Tabachnick, B. G., & Fidell, L. S. (2001). Using multivariate statistics New York: HarperCollins.
• Walker, S. (1998). The value of building skills with online technology: Online training costs and evaluation at the Texas Natural Resource Conservation Commission. Em D. A. Schreiber & Z. L. Berge (Eds.), Distance training (pp. 270-286). San Francisco: Jossey Bass.
• Zerbini, T., & Abbad, G. (2005). Impacto de treinamento no trabalho via internet Revista de Administração de Empresas Eletrônica, 4 Retirado em 15/12/2005, de http://www.rae.com.br/eletronica/index.cfm
• Zerbini, T., & Abbad, G. (2007, dezembro). Variáveis preditoras da transferência de treinamento em curso a distância Trabalho apresentado na V International Conference of the Iberoamerican Academy of Management (IAM), Santo Domingo, República Dominicana.

1

Apoio: PRONEX/CNPq - Treinamento e Comportamento no Trabalho.

2

Em publicações anteriores, a autora Renata Carvalho Varanda (Varanda, R. C.) utilizava o nome Renata Silveira Carvalho (Carvalho, R. S.).

4

"Utilizabilidade" foi um neologismo proposto por Walter Cybis no início dos anos 90 e que está associado às origens francesas de sua formação científica, onde o termo para se referir à usabilidade é "utilisabilité", e que influenciou a criação do nome do laboratório da UFSC. Hoje, o termo mais comum é o de origem inglesa "usabilidade".

5

Nota-se que esse número é maior do que o número total de

e-mails da listagem fornecida pelo Sebrae (21.273) e apresentada na

Tabela 2 mais a frente. A escolaridade dos inscritos foi obtida em momento distinto das demais informações, apresentando, também, diferença no número total de participantes (22 mil casos). Tais diferenças se devem a eventuais incompatibilidades nos arquivos de dados fornecidos pelos inscritos no curso, quanto à preparação dos arquivos e listagens de

e-mails.

Datas de Publicação

• Publicação nesta coleção
  13 Set 2010
• Data do Fascículo
  Jun 2010

Histórico

• Aceito
  03 Set 2009
• Recebido
  27 Ago 2008