Uma proposta metodológica para avaliação de bibliotecas digitais: usabilidade e comportamento de busca por informação na Biblioteca Digital da PUC-Minas

A methodological proposal for evaluation of digital libraries: usability and behavior in seeking information at the Digital Library of PUC-Minas

ARTIGOS

Uma proposta metodológica para avaliação de bibliotecas digitais: usabilidade e comportamento de busca por informação na Biblioteca Digital da PUC-Minas

A methodological proposal for evaluation of digital libraries: usability and behavior in seeking information at the Digital Library of PUC-Minas

Paula Bohmerwald

Bacharel em ciência da computação pela PUC-Minas. Mestre em ciência da informação pela UFMG. E-mail: [e-mail]

RESUMO

Atualmente, com o desenvolvimento da Internet, novos sistemas e fontes de informação têm sido criados, colocando o usuário em um novo contexto de busca por informação. Diante disso, autores da ciência da informação e da ciência da computação têm se dedicado a estudos sobre a interação dos usuários com os sistemas neste novo ambiente.

Este artigo apresenta uma pesquisa realizada no curso de Mestrado da Escola de Ciência da Informação da Universidade Federal de Minas Gerais (UFMG), que propõe que os estudos das duas áreas sejam usados conjuntamente, complementando-se, com o intuito de se analisar de forma abrangente um sistema de informação. Para teste da metodologia proposta, foi usada a Biblioteca Digital da PUC-Minas (BDP).

A metodologia é composta por cinco etapas: (1)questionário sobre o contexto do usuário; (2) teste de usabilidade em laboratório; (3) questionário de satisfação; (4) estudo do comportamento de busca dos usuários através do teste com busca livre; (5) análise do log.

Por fim, algumas conclusões são apresentadas sobre a aplicação da metodologia proposta.

Palavras-chave: Usabilidade; Comportamento de busca por informação; Bibliotecas digitais

ABSTRACT

Recently, with the development of the Internet, new systems and information sources have been created, moving the user to a new context of information seeking. Considering this, authors of Information Science and Computer Science have been studying about interaction between users and systems in this new environment.

Thus, this work proposes the complementary and simultaneous use of methodologies in both areas, aiming a better evaluation of an information system. To test the proposed methodology this research is conducted at the Digital Library of Theses and Dissertations of the Catholic University of Minas Gerais, Brazil.

The data collecting was divided into five steps: (1) Demographic questionnaire; (2) Usability testing; (3) Satisfaction questionnaire; (4) Study of information seeking behavior using a free navigation test and (5) Log analysis.

At last, some conclusions are presented about the proposed methodology.

Keywords: Usability; Information seeking behavior; Digital Libraries.

INTRODUÇÃO

Estudos sobre usuários não são novidade na ciência da informação (CI). As necessidades de informação dos indivíduos e a maneira como buscam e usam a informação sempre foram preocupações da área.

Atualmente, com o desenvolvimento da Internet, novos sistemas e fontes de informação têm sido criados, colocando o usuário em um novo contexto de busca por informação. Em vista disso, autores da CI têm se dedicado aos estudos de usuários neste novo ambiente.

Estudos semelhantes são encontrados na ciência da computação (CC). Porém, estes apresentam enfoque diferente da CI, pois o objetivo da investigação na CC é a interação do homem com as máquinas. A Internet também influenciou esta área, direcionando pesquisas para a busca do conhecimento sobre a interação dos usuários com os sites da Web.

A análise do quadro comparativo (quadro 1), em que são identificadas diferenças entre estudos da CI, chamados de estudos de usuário, e estudos da CC, chamados de estudos de usabilidade, aponta a possibilidade de se conseguir uma análise mais completa de um sistema desenvolvido para Web, se a pesquisa abordar características tanto do estudo de usuários (mais especificamente do comportamento de busca), quanto do estudo de usabilidade.

O teste de usabilidade é responsável por revelar como se estabelece a interação entre o usuário e o sistema, de acordo com parâmetros, como o tempo gasto para a execução de tarefas predefinidas e o caminho percorrido no site. Este teste tem o intuito de medir, com base no usuário, a facilidade de uso do site. Veldof, Prasse e Mills (1999, p.116) apontam os testes de usabilidade como sendo uma ótima forma de se entender o que os usuários querem e o de que precisam para facilitar a realização de suas tarefas. Eles mostram que estes testes são importantes para o profissional da ciência da informação, à medida que identificam pontos do sistema que devam ser alterados e assim garantem que ele está atendendo bem aos seus usuários (VELDOF; PRASSE; MILLS, 1999, p.123).

Já o estudo do comportamento de busca por informação engloba questões importantes que não estão inseridas nos testes de usabilidade, como a motivação, o contexto e a própria individualidade do usuário, com a análise das atividades realizadas no site livremente, ou seja, sem tarefas predeterminadas.

Portanto, propõe-se que os dois tipos de estudos sejam usados conjuntamente, complementando-se, com o intuito de se conseguir uma análise abrangente de um sistema de informação. Para teste da metodologia proposta, foi usada a Biblioteca Digital de Teses e Dissertações da PUC-Minas (BDP).

MÉTODOS PARA AVALIAÇÃO DE USABILIDADE

De acordo com Levi e Conrad (2002), "o teste de usabilidade é o processo pelo qual as características de interação homem-computador de um sistema são medidas, e as fraquezas são identificadas para correção". Assim, a avaliação é realizada de acordo com alguns critérios escolhidos para serem os fatores de medição, como facilidade de aprendizado, taxa de erros, tempo de retenção do aprendizado, tempo para se completar uma tarefa, satisfação do usuário, entre outros. A medição de tais critérios é tarefa muito complexa, pois envolve questões subjetivas que variam muito de uma pessoa para outra.

Não existe um método que seja melhor que os outros. Todos eles possuem vantagens e desvantagens que devem ser analisadas de acordo com variáveis como (1) o software que será avaliado, (2) seu estado de desenvolvimento, (3) seus usuários e (4) o tempo e o custo disponíveis para a realização da avaliação (WHITEHAND, 1997, p.2). Pode ser que a melhor solução seja o uso de vários métodos combinados.

É esperado que o teste indique pontos do sistema que precisem ser reformulados. Porém, ele não informa como deve ser feita essa alteração, ficando a cargo do profissional de usabilidade a definição de como será a modificação e a aplicação de um novo teste com a interface reformulada.

Vários métodos foram pesquisados^*. Dentre eles, escolheram-se os seguintes: (1) questionários, (2) teste de usabilidade em laboratório usando a técnica do "pensar em voz alta" e (3) ferramenta de log.

COMPORTAMENTO DE BUSCA DE USUÁRIOS POR INFORMAÇÃO

O estudo sobre o comportamento de busca por informação^** visa a compreender os processos apresentados por indivíduos ao buscarem alguma informação, o que, de acordo com Krikelas (1983, p.7), "acontece quando alguém percebe que o estado atual de conhecimento possuído é menor que o necessário para lidar com alguma questão (ou problema). O processo termina quando esta percepção não mais existe." Marchionini (1995, p.49) apresenta um conceito similar, quando diz que "a busca por informação inicia com o reconhecimento e aceitação de um problema e continua até que o problema seja resolvido ou abandonado." Morehhead e Rouse (1982) acrescentam que a busca por informação é um processo dinâmico, em que métodos e critérios para seleção ou rejeição de informação variam com o tempo e que está fortemente relacionado aos hábitos pessoais do indivíduo e ao tipo de necessidade que deve ser satisfeita.

Para Choo (2000, p.1), "a compreensão integral da busca por informação como comportamento social nos ajuda a projetar melhores processos e sistemas de informação." Portanto, com o estudo do comportamento de busca por informação, busca-se desenvolver sistemas de informação que atendam melhor às necessidades dos usuários. Os estudos relacionados à necessidade e busca de informação têm sua importância enfatizada em decorrência do período em que estamos vivendo, a chamada era da informação, pois, como mostra Marchionini (1995, p.1), "vivemos em uma sociedade da informação em que mais pessoas precisam administrar mais informação, que por sua vez requerem mais suporte tecnológico e que ambos demandam e criam mais informação."

Devido à sua complexidade, este tema é objeto de estudo de outras áreas além da ciência da informação, como a psicologia, a comunicação e a ciência da computação. Dentre estas áreas, Marchionini (1995, p.21) ressalta a importância da pesquisa na disciplina interação homem-máquina (IHM). Este campo da ciência da computação explora teorias que tentam explicar a interação entre os homens e os computadores e as utiliza como base para o desenvolvimento de interfaces capazes de suportar esta interação. Dessa maneira, podem contribuir para o estudo do comportamento de busca por informação. Por um lado, significativas implicações da IHM devem ser consideradas pela ciência da informação, pois a infra-estrutura de informação está se tornando cada vez mais dependente da tecnologia de computadores. Por outro lado, os modelos de busca por informação devem ser considerados pela IHM como base para o desenvolvimento de interfaces, de modo que estas correspondam às necessidades dos usuários para acessarem, avaliarem e extraírem informações.

METODOLOGIA

Para a realização desta pesquisa, utilizam-se alguns instrumentos de coleta de dados, que serão explicados adiante.

SELEÇÃO DO CASO A SER PESQUISADO

A Biblioteca Digital da PUC-Minas (BDP) foi criada mediante parceria entre a Pró-reitoria de Pós-graduação, a Biblioteca e o Datapuc (processamento de dados da PUC), com o intuito de tornar disponível, via Web, o acervo de teses e dissertações (em texto completo) defendidas na universidade.

A BDP foi desenvolvida pelo Datapuc a partir de especificações de funcionários da biblioteca e da Pró-reitoria de pós-graduação. O sistema foi criado levando-se em conta que o público atendido pela BDP seria composto, em sua maioria, por alunos da graduação interessados em continuar seus estudos, alunos de pós-graduação (lato sensu ou stricto sensu) e professores. O site pode ser acessado pelo endereço www.pucminas.br.

SELEÇÃO DA AMOSTRA DE USUÁRIOS

É difícil estimar o universo de potenciais usuários da BDP e, conseqüentemente, o tamanho da amostra, pois, uma vez na Internet, qualquer pessoa poderá acessá-la.

Nielsen (2000b) afirma que são necessários pelo menos 15 usuários para se descobrirem todos os problemas relacionados à usabilidade de um site. Ele demonstra que o primeiro usuário observado já revela praticamente um terço dos problemas de usabilidade que devem ser encontrados. Quando se observa o segundo usuário, novas descobertas são feitas, mas muitas observações se sobrepõem àquelas já feitas com o primeiro usuário. O mesmo ocorre com o terceiro usuário e os próximos participantes do teste, o que mostra que se aprende menos com cada usuário acrescentado, pois serão observadas cada vez mais características que já haviam sido vistas antes.

Apontaram-se os alunos da pesquisa de graduação e mestrado da PUC-Minas para serem os participantes dos testes, pois se acredita que os interessados nas teses e dissertações da BDP sejam, em sua maioria, alunos da pós-graduação ou desejam se tornar alunos da pós-graduação.

Durante a elaboração dos testes, propôs-se a participação de alunos de pelo menos dois tipos de formação – ciências humanas e ciências exatas –, com o objetivo de se tentar encontrar fatores relacionados ao contexto dos alunos que pudessem influenciar o comportamento de busca. Portanto, os mestrados de engenharia elétrica, letras e tratamento da informação espacial foram escolhidos para representar suas áreas de conhecimento.

Apesar da grande dificuldade para conseguir voluntários, seja pela ausência de gratificação para o participante, pela falta de interesse ou apreensão por parte do usuário, a formação da amostra se tornou relativamente equilibrada em relação ao número de homens (7) e mulheres (8), ao número de pessoas com formação da área de exatas (9), representada pelo curso de engenharia elétrica e da área de humanas (6), representada pelo curso de tratamento da informação espacial e letras e, por fim, ao número de estudantes de graduação (6) e de mestrado (9).

Após a coleta de dados, as afirmações de Nielsen (2000b) puderam ser confirmadas. Os erros mais graves apareceram logo nos primeiros testes e, de fato, a quantidade de problemas de usabilidade revelados diminui a cada novo teste. Mas é preciso ressaltar que, apesar de a observação de poucos usuários apresentar ótimo custo/benefício, a verificação de que um problema ou uma forma de comportamento se repete é importante para que se possa fazer generalizações.

ETAPAS E INSTRUMENTOS DE COLETA DE DADOS

A coleta de dados foi composta por cinco etapas: (1) questionário sobre o contexto do usuário, (2) teste de usabilidade em laboratório, (3) questionário de satisfação, (4) estudo do comportamento de busca dos usuários pelo teste com busca livre e (5) análise do log.

Todas as etapas, exceto o log, foram aplicadas em cada um dos participantes, individualmente, na ordem em que aparecerão a seguir.

a) Etapa 1 - Questionário sobre o contexto do usuário

O questionário foi composto por informações gerais sobre o usuário, como idade, profissão e escolaridade. Ele também foi usado para apreender informações relativas à experiência dos participantes com a Internet, mecanismos de busca, a própria BDP e o software Adobe Acrobat, que é usado na BDP para download de teses/dissertações.

b) Etapa 2 - Teste de usabilidade em laboratório com a técnica do "pensar em voz alta"

A escolha do método para se avaliar a usabilidade da BDP se deu após a análise de vários tipos de teste. A participação de representantes dos usuários finais foi o primeiro ponto que se julgou obrigatório, pois o objetivo proposto é justamente a avaliação de sua interação com a BDP. Como também seria importante entender a causa destes problemas, escolheu-se aplicar o teste de usabilidade em laboratório com a técnica do "pensar em voz alta". Além disso, foram consultados alguns artigos sobre estudos de usabilidade realizados em bibliotecas digitais de universidades que utilizaram o teste em laboratório com a técnica do "pensar em voz alta". São eles: Cockrell e Jayne (2002), Battleson, Booth e Weintrop (2001), Dickstein e Mills (2000), Bishop et alii (2000), Veldof, Prasse e Mills (1999) e Payette e Rieger (1998). Estas pesquisas nortearam o desenvolvimento do teste de usabilidade da BDP.

A definição das tarefas foi determinante para o bom desempenho do teste de usabilidade e representou o grande desafio da preparação deste instrumento de coleta de dados.

Para se conseguir avaliar o serviço oferecido pela BDP, decidiu-se que o site seria avaliado por forma de busca. Para o desenvolvimento das tarefas, os seguintes pontos colocados por Battleson, Booth e Weintrop (2001) e Dickstein e Mills (2000) foram observados:

• o teste não deve ser muito longo, para não se tornar cansativo, com a duração de, em média, uma hora. A maioria dos testes pesquisados utilizou entre 10 e 12 questões;

• as tarefas devem ser próximas à realidade, semelhantes a questões comuns que se apresentam no dia-a-dia do usuário. Elas não se devem parecer com uma série de ordens que devem ser cumpridas pelo usuário, como "Faça isso, faça aquilo;"

• as tarefas não devem possibilitar um número grande de respostas consideradas corretas, pois isso torna a análise dos resultados mais complexa e conseqüentemente dificulta a identificação dos principais problemas de usabilidade;

• é importante que o próprio desenvolvedor do teste realize o teste antes de aplicá-lo para verificar eventuais falhas. Depois, deve haver pré-teste com um usuário para que ele avalie se as tarefas estão bem compreensíveis e apropriadas para as funções do sistema que se deseja analisar.

Uma ou mais tarefas foram desenvolvidas para serem realizadas usando-se uma forma de busca específica da BDP. Os assuntos aos quais as tarefas se referem foram escolhidos de forma a não serem relacionados às áreas dos participantes, para que a execução da tarefa não sofresse influência do conhecimento prévio do usuário em relação ao assunto tratado.

c) Etapa 3 - Questionário de satisfação

O objetivo do questionário foi obter a opinião do usuário sobre a navegação do site (links e menu), os tipos de consulta, a facilidade de aprendizado e uso, a terminologia adotada, a estética de botões e letras e o tempo de resposta, para que estes fatores pudessem orientar a determinação do grau de satisfação dos participantes.

d) Etapa 4 - Teste com busca livre em laboratório

Esta parte da coleta de dados baseou-se em algumas características dos estudos de usuário final utilizados na ciência da informação, mostradas na introdução (quadro 1) e no modelo de comportamento de busca na Web de CHOO, DETLOR E TURNBULL (1999).

A escolha pelo método de Choo, Detlor e Turnbull (1999) se deu devido à ótima adaptação, para o ambiente web, de modelos e conceitos propostos por autores como David Ellis, Francis Aguilar, Thomas Wilson e Gary Marchionini. Choo, Detlor e Turnbull (1999) conseguiram sintetizá-los em um único modelo que visa a englobar todo tipo de atividade realizada na Web para a busca de informação.

Assim sendo, as atividades realizadas pelos participantes foram analisadas para que se verificasse se elas se encaixam nos padrões de busca determinados por Choo, Detlor e Turnbull (1999), em quais categorias e modos de busca.

Para que se observasse o comportamento do usuário, cada participante teve até 30 minutos para utilizar a biblioteca digital para pesquisas do seu interesse. Espera-se que o conhecimento sobre o comportamento do usuário ao buscar informação sem a imposição de tarefas predeterminadas revelasse pontos de melhoria da BDP não acusados nos testes de usabilidade, ou pontos que reforçassem os resultados anteriormente apresentados.

e) Etapa 5 - Análise do log

Paralelamente aos testes individuais, fez-se uma análise dos dados armazenados no servidor da BDP sobre o uso das páginas do sistema. As estatísticas apresentadas são resultantes dos arquivos de log gerados pelo servidor web da BDP, referentes a novembro de 2002 a fevereiro de 2003. Dois artigos podem ser consultados para mais informações sobre o uso de ferramentas de log para análise do acesso a bibliotecas digitais: DIAS (2002) e ZHANG, LEE e YOU (2001).

As estatísticas de acesso levantadas foram (1) número de acessos por página da BDP, (2) número de acessos ao site por dia da semana e (3) número de acessos à homepage da BDP em um dia.

DESCRIÇÃO DAS AVALIAÇÕES

O usuário sentava-se ao lado do examinador e recebia as quatro etapas da avaliação, na ordem em que deveriam ser executadas. O examinador explicava o funcionamento da técnica do "pensar em voz alta", mostrando a importância de o aluno dizer tudo o que está pensando enquanto utiliza a BDP. Ainda neste momento se enfatizava que o objetivo da pesquisa era testar o sistema, e não o usuário, e que as dificuldades que ele poderia sentir durante o uso da BDP eram importantes, pois indicariam as falhas do site e pontos que deveriam ser melhorados. Era dito também que não havia uma resposta certa ou errada para as perguntas, pois o essencial seria saber como e por que as tarefas estavam sendo realizadas de determinada forma.

Durante a avaliação, o examinador intervinha pouco, na maioria das vezes para estimular o participante a dizer o que estava pensando, ou para lhe fazer perguntas a fim de que ele especificasse melhor sua dificuldade ou sugestão.

A filmadora era ligada após a primeira etapa (questionário sobre o contexto do usuário) e desligada somente ao fim da avaliação, para registrar as opiniões, perguntas, sugestões e críticas do participante. Este registro foi importante para que as avaliações pudessem ser revistas, a fim de captar todos os detalhes do uso da BDP pelo usuário. Além disso, a filmagem possibilitou a contagem do tempo gasto pelo aluno em cada etapa e em cada tarefa do teste de usabilidade. Durante a avaliação, decidiu-se que o examinador não contaria o tempo para que o usuário não se sentisse pressionado a realizar as tarefas no menor tempo possível, pois isto poderia alterar o seu comportamento e até mesmo atrapalhar o seu desempenho.

DISCUSSÃO DOS RESULTADOS

Etapa 1: Questionário sobre o contexto do usuário

Embora a amostra seja composta de usuários com características distintas, não foi observado nenhum fator que determinasse o comportamento de busca por informação. Usuários com níveis diferentes de experiência com a Internet, por exemplo, revelaram problemas de usabilidade semelhantes, assim como usuários com mesma escolaridade apresentaram comportamentos de busca diferentes. A mesma observação foi feita em outras pesquisas consultadas, que também tiveram a participação de usuários em estudos de usabilidade, como em (1) Cockrell e Jayne (2002), que não encontraram diferenças significativas entre estudantes da graduação, da pós-graduação e do corpo docente, relativas ao êxito na execução de tarefas no Web site da Biblioteca Ocidental da Universidade de Michigan, embora tenham percebido que usuários mais experientes foram mais persistentes nas tarefas de busca por artigos; (2) Sutcliffe, Ennis e Watkinson (2000), que investigaram a recuperação de informação da base de dados Medline por usuários cuja experiência em relação ao sistema de busca era variada. Eles concluíram que o sucesso ou o fracasso de uma busca não está relacionado ao nível de experiência do usuário com o sistema e (3) Lazonder, Biemans e Wopereis (2000), que pesquisaram as diferenças entre usuários com e sem experiência em relação ao uso da Web e concluíram que, "em se tratando de tarefas que requerem que os sujeitos localizem informação em Web sites específicos, o êxito de usuários experientes e noviços foi equivalente" (LAZONDER; BIEMANS; WOPEREIS, 2000, p.576).

Etapa 2: Teste de usabilidade em laboratório

Foram definidas as seguintes dimensões de usabilidade e seus respectivos parâmetros de acordo com Nielsen (1993) e Shneiderman (1987) para avaliar a usabilidade das páginas:

1. Aprendizagem

• O usuário aprende rapidamente a utilizar a página?

• Quantos usuários responderam corretamente à tarefa?

• As instruções para utilização da página são suficientes?

• A terminologia utilizada é compreendida pelos usuários?

• O conteúdo e sua disposição são satisfatórios?

• A navegação do site, representada pelo menu e pelos links, é suficiente para a orientação do usuário?

• Qual o tempo médio para realização da tarefa?

2. Satisfação subjetiva

• A aparência da página agrada ao usuário?

-•O tempo de resposta é satisfatório?

3. Erros ocorridos

• Erros cometidos pelo usuário

• Erros do sistema

Cada item descrito foi trabalhado por página da biblioteca digital, já que os problemas encontrados e as sugestões recebidas são específicos para cada uma delas.

A comparação de alguns resultados e problemas observados na BDP com outros estudos realizados indica que há possibilidade de se generalizem algumas sugestões relativas à usabilidade de bibliotecas digitais, que, podem, portanto, direcionar o desenvolvimento de outros sistemas similares, como: (1) a importância da utilização de terminologia que seja conhecida e conseqüentemente compreendida pelo usuário em vez do uso de termos comuns aos profissionais da ciência da informação ou biblioteconomia; (2) a importância do tempo de resposta das páginas para que o usuário consiga, em um tempo razoável, realizar consultas e downloads de arquivos; (3) caso seja possível, é preferível que as regras e recursos de consulta da biblioteca digital se aproximem dos mecanismos de busca, como Google e Yahoo!, já que foi observado que tais padrões são conhecidos por muitos usuários. Outras diretrizes sugeridas não puderam ser generalizadas, pois não se encontraram observações similares em outros estudos sobre bibliotecas digitais que pudessem ser comparados a este estudo de caso.

Etapa 3: Questionário de satisfação

Os resultados foram agrupados de forma semelhante aos da etapa anterior, permitindo que fossem comparados de acordo com as dimensões da usabilidade determinadas. As respostas deste questionário foram importantes para confirmar a existência de problemas de usabilidade observados na etapa anterior. Além disso, permitiu a obtenção da opinião de todos os usuários sobre algumas questões, como a funcionalidade do menu e a legibilidade das letras e botões, que não foram tratadas diretamente nas etapas anteriores. É importante ressaltar a importância de se aplicar o questionário logo após os usuários terem experimentado o site, pois nesse momento eles ainda se lembram de como eram as páginas e estão mais à vontade para avaliar o sistema, já que durante o teste eles foram motivados a pensar em voz alta.

Etapa 4: Estudo do comportamento de busca dos usuários por meio do teste com busca livre

O teste com busca livre foi extremamente importante para a avaliação da BDP, porque proporcionou a obtenção de resultados que não seriam atingidos somente com as etapas anteriores. O fator que o diferencia dos métodos de usabilidade utilizados é a observação de tarefas reais sendo executadas. A proposta do teste de usabilidade em laboratório pode parecer semelhante a esta, pois se trata de uma simulação do uso real do site em questão. Porém, pode existir grande diferença entre o que é de fato real e o que é uma simulação do real. As vantagens deste teste, que serão descritas também na conclusão, foram identificadas para o estudo da BDP e provavelmente se aplicam a outros sistemas de informação.

Etapa 5: Análise do log

A partir das estatísticas feitas, foi possível saber quais os tipos de consultas mais utilizados. Este resultado foi semelhante ao teste de usabilidade, relativo à questão sobre a preferência de busca do usuário, que indicou as consultas por área de conhecimento e palavra-chave como as preferidas. Esta identificação de consultas mais usadas pode ser importante para a definição das tarefas de um teste de usabilidade e também em casos em que seja necessário priorizar a aplicação de recursos no site.

É interessante observar que nos quatro meses houve muitos acessos a detalhes de uma tese ou dissertação, o que significa que muitos usuários se interessaram pelo acervo da BDP, pois visualizaram o resumo, as palavras-chave e outras informações de teses ou dissertações.

CONCLUSÃO

A proposta de utilização integrada dos métodos de avaliação de usabilidade de sites juntamente com um modelo de avaliação do comportamento de busca de usuários proporcionou uma análise abrangente da BDP, que não seria possível caso apenas um desses fosse usado. Os resultados da coleta de dados puderam ser reunidos, reforçados e confrontados a fim de revelarem problemas de usabilidade da BDP e características do comportamento de busca por informação do usuário. Várias alterações foram realizadas nas páginas da BDP a fim de solucionar ou minimizar os problemas de usabilidade encontrados.

A partir da comparação dos resultados dos instrumentos de coleta de dados, foi possível analisar a importância e a contribuição de cada etapa para a avaliação da BDP. As etapas que envolveram a observação do usuário (teste de usabilidade e teste com busca livre) foram as mais importantes para se encontrarem os fatores que dificultam a utilização da BDP e a razão destes problemas, para que eles fossem corrigidos de acordo com o observado e sugerido. Já o questionário de satisfação permitiu (1) que alguns pontos do sistema fossem tratados, como o menu, botões e letras; (2) que algumas questões fossem reforçadas ou certificadas, como, por exemplo, o problema relacionado à terminologia e (3) que o usuário avaliasse quantitativamente a BDP.

Por um lado, o uso das tarefas predeterminadas do teste de usabilidade possibilitou a comparação das ações dos usuários. Por outro lado, o teste com busca livre permitiu que diversas situações ocorressem, o que enriqueceu a avaliação. Os participantes usaram a BDP da maneira que quiseram, criando novas situações que contribuíram para a identificação de erros não encontrados anteriormente.

Outra vantagem da busca livre é a verificação da pertinência das tarefas do teste de usabilidade em laboratório. Estas foram desenvolvidas acreditando-se que seriam as atividades mais comuns do usuário da BDP. Porém, não havia nenhum dado concreto que provasse que as tarefas fossem realmente representativas. Ao observar as ações do usuário realizadas de acordo com o interesse dele, pôde-se comprovar que as tarefas determinadas foram de fato representativas. A análise do log também constitui uma forma de se verificar se as páginas mais usadas estão sendo englobadas nas tarefas determinadas.

Para o usuário, observou-se que a etapa 4 foi mais prazerosa que as demais, pois ele poderia realizar ações de seu interesse.

Portanto, diante dos fatores descritos, o estudo de usuário, aplicado nesta pesquisa por meio do teste com busca livre, revelou-se também de grande valia para a avaliação de web sites. Este fato reforça a importância de os profissionais da ciência da informação se dedicarem aos estudos de usabilidade, no âmbito da teoria e da prática, para agregar a eles o conhecimento de sua área, seja ele sobre necessidade, uso ou recuperação da informação. Dessa forma, a ciência da informação pode contribuir para o conhecimento sobre metodologias para avaliação de usabilidade.

As observações feitas diante das estatísticas relativas aos acessos de todos os usuários da BDP durante quatro meses puderam ser relacionadas com os resultados dos testes realizados com 16 usuários, mostrando que a amostra foi representativa. Entretanto, os resultados alcançados pela análise do log não são detalhados como os das etapas anteriores e irão apenas indicar que uma página possui algum problema, sem especificá-lo e sem mostrar a sua causa e muito menos sugerir uma solução para ele. Por isso a participação do usuário é tão importante. Mediante sua observação, é possível identificar problemas, saber por que ocorreram e ainda receber sugestões valiosas para solucioná-los.

Espera-se também que este estudo possa contribuir para o uso dos métodos de usabilidade por parte das empresas e profissionais que projetam sistemas de informação, a fim de que estas reconheçam a importância de se introduzirem os testes de usabilidade no ciclo de desenvolvimento de sistemas, para que estes atendam às necessidades do usuário e sejam fáceis de aprender e usar.

Sugere-se que os profissionais diretamente envolvidos no projeto de interfaces de sistemas adquiram conhecimento sobre interação homem-computador e métodos de avaliação de usabilidade, para aplicar testes e, preferencialmente, observar o usuário. Quanto mais se observa o usuário, melhor será a capacidade de o profissional prever problemas de usabilidade e, conseqüentemente, desenvolver sistemas fáceis de serem usados.

Possíveis desdobramentos podem fundamentar uma continuidade nessa linha de pesquisa: (1) aplicação dos instrumentos de coleta de dados para outras bibliotecas digitais ou outros sistemas de informação a fim de generalizar os resultados alcançados; (2) análise da aplicação conjunta de outros métodos de avaliação de usabilidade, como a heurística; (3) estudo da necessidade e uso da informação aliada ao estudo de usabilidade; (4) aprofundamento do estudo de usabilidade e do comportamento de busca de usuários, por meio da observação desses diante de sistemas de recuperação de informação com recursos avançados de busca, interfaces configuráveis e agentes.

Artigo recebido em 14/02/2005 e aceito para publicação em 15/08/2005.

• ALLEN, Bryce. Cognitive abilities and information system usability. Information Process & Management, v. 30, n. 2, p. 177-191, 1994.
• BATTLESON, Brenda; BOOTH, Austin; WEINTROP, Jane. Usability testing of an academic library web site: a case study. The Journal of Academic Librarianship, v. 27, n. 3, p. 188-198, May 2001.
• BISHOP, Ann Peterson et al. Digital libraries: situating use in changing information infrastructure. Journal of the American Society for Information Science, v. 51, n. 4, p. 394-413, 2000.
• BROWN, Mary E. A general model of information-seeking behavior. In: ANNUAL MEETING OF THE ASIS, 54., 1991, Washington. Proceedings Washington: ASIS, 1991.
• CHOO, Chun Wei. Web work: information seeking and knowledge work on the world wide web. Dordrecht: Kluwer Academic Publishers, 2000.
• __________; DETLOR, Brian; TURNBULL, Don. Information seeking on the web an integrated model of browsing and searching. In: ASIS ANNUAL MEETING, 62., 1999, Washington. Proceedings Washington: ASIS, 1999. Contributed Paper, p. 3-16.
• COCKRELL, Barbara J.; JAYNE, Elaine Anderson. How do I find an article?: insights from a web usability study. The Journal of Academic Librarianship, v. 28, n. 3, p. 122-132, 2002.
• DICKSTEIN, Ruth; MILLS, Vicki. Usability testing at the university of Arizona Library: how to let the users in on the design. Information Technology and Libraries, p.144-156, Sept. 2002.
• DIAS, Guilherme Ataíde. Avaliação do acesso a periódicos eletrônicos na web pela análise do arquivo de log de acesso. Ciência da Informação, Brasília, v. 31, n. 1, p. 7-12, jan./abr. 2002.
• ELLIS, David. A behavioural model for information retrieval system design. Journal of Information Science, v. 15, p. 237-247, 1989.
• KANTNER, Laurie. Usability testing world wide web sites. In: CHI 97 CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 1997, Atlanta. Electronic proceedings Atlanta: [s.n.], 1997. Disponível em: <http://www.acm.org/sigchi/webhci/chi97testing/kantner.htm>. Acesso em: 6 jan. 2005.
• KRIKELAS, James. Information-seeking behavior: patterns and concepts. Drexel Library Quarterly, n. 19, p. 5-20, 1983.
• LAZONDER, Ard W.; BIEMANS, Harm J. A.; WOPEREIS, Iwan G. J. H. Differences between novice and experienced users in searching information on the world wide web. Journal of the American Society for Information Science, v. 51, n. 6, p. 576-581, 2000.
• LEVI, Michael D.; CONRAD, Frederick G. Usability testing of world wide web sites 2002. Disponível em: <http://stats.bls.gov/ore/htm%5Fpapers/st960150.htm>. Acesso em: 28 dez. 2004.
• MARCHIONINI, Gary. Information seeking in eletronic environments. Cambridge: Cambridge University Press, 1995.
• MOREHHEAD, David R.; ROUSE, William B. Models of human behavior in information seeking tasks. Information Processing & Management, v. 18, n. 4, p. 193-205, 1982.
• NIELSEN, Jakob. Usability engineering San Diego: Academic Press, 1993.
• __________. Projetando websites Rio de Janeiro: Campus, 2000a.
• __________. Why you only need to test with 5 users. Jakob Nielsen's Alertbox, 2000b. Disponível em: <http://www.useit.com/alertbox/20000319.html>. Acesso em: 6 jan. 2005.
• PAYETTE, Sandra D.; RIEGER, Oya Y. Supporting scholarly inquiry: incorporating users in the design of the digital library. The Journal of Academic Librarianship, p. 121-129, Mar. 1998.
• SHNEIDERMAN, Ben. Designing the user interface: strategies for effective human-computer interaction. USA: Addison-Wesley Publishing Company, 1987.
• SUTCLIFFE, A. G.; ENNIS, M.; WATKINSON, S. J. Empirical studies of end-user information searching. Journal of the American Society for Information Science, v. 51, n. 13, p. 1211-1231, 2000.
• VELDOF, Jerilyn R.; PRASSE, Michael J.; MILLS, Victoria A. Chauffered by the user: usability in the eletronic library. Journal of Library Administration, v. 26, n. 3/4, p. 115-140, 1999.
• WHITEHAND, Richard. Usability testing of world wide web sites. In: CHI 97 CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 1997, Atlanta. Electronic proceedings Atlanta: [s.n.], 1997. Disponível em: <http://www.acm.org/sigchi/webhci/chi97testing/whitehan.htm>. Acesso em: 28 dez. 2004.
• WILSON, T. D. Information behaviour: an interdisciplinary perspective. Information Processing and Management, v. 33, n. 4, p. 551-572, 1997.
• ZHANG, Yin; LEE, Kyiho; YOU, Bum-Jong. Usage patterns of an eletronic theses and dissertations systems. Online Information Review, v. 25, n. 6, p. 370-377, 2001.

*

Para informações sobre métodos para avaliação de usabilidade, consulte: Allen(1994), Kantner(1997), Levi e Conrad(2002), Nielsen(1993) e Veldof, Prasse e Mills(1999).

**

Além dos autores citados, consulte também: Brown(1981), Ellis(1989) e Wilson(1997).

*** Nielsen (2000a) apresenta tempos de resposta considerados metas mínimas para páginas da

Web, de acordo com pesquisas de fatores humanos, e expõe sobre os elementos que influenciam o tempo de resposta, como o servidor, a conexão do servidor com a Internet, a velocidade do computador do usuário, entre outros.

Datas de Publicação

• Publicação nesta coleção
  09 Nov 2005
• Data do Fascículo
  Jan 2005

Histórico

• Recebido
  14 Fev 2005
• Aceito
  15 Ago 2005