Avaliação de usabilidade de um protótipo de tecnologia digital educacional sobre monitoração da pressão intracraniana¹

RESUMO

Objetivo:

avaliar a usabilidade de um protótipo educacional digital sobre um novo método para monitoração da pressão intracraniana de forma minimamente invasivo para enfermeiros e médicos.

Método:

estudo descritivo com abordagem quantitativa sobre a avaliação de usabilidade de um protótipo com base nas dez Heurísticas de Nielsen. Participaram quatro especialistas da área de Interação Humano Computador.

Resultados:

a avaliação resultou em oito heurísticas violadas e 31 problemas de usabilidade nas 32 telas do protótipo.

Conclusão:

as sugestões dos avaliadores foram cruciais para o desenvolvimento de uma interface amigável e intuitiva e serão consideradas na versão final da tecnologia educacional digital.

Descritores:
Tecnologia Educacional; Tecnologia em Saúde; Enfermagem; Avaliação

ABSTRACT

Objective:

to assess the usability of a digital learning technology prototype as a new method for minimally invasive monitoring of intracranial pressure.

Method:

descriptive study using a quantitative approach on assessing the usability of a prototype based on Nielsen's ten heuristics. Four experts in the area of Human-Computer interaction participated in the study.

Results:

the evaluation delivered eight violated heuristics and 31 usability problems in the 32 screens of the prototype.

Conclusion:

the suggestions of the evaluators were critical for developing an intuitive, user-friendly interface and will be included in the final version of the digital learning technology.

Descriptors:
Educational Technology; Health Technology; Nursing; Evaluation

RESUMEN

Objetivo:

evaluar la usabilidad de un prototipo educacional digital sobre un nuevo método para monitorización de la presión intracraneal, de manera mínimamente invasiva.

Método:

estudio descriptivo con abordaje cuantitativo sobre la evaluación de usabilidad de un prototipo con base en las diez reglas Heurísticas de Nielsen. Participaron cuatro especialistas del área de Interacción Humana Computador.

Resultados:

la evaluación resultó en ocho reglas heurísticas violadas y 31 problemas de usabilidad en las 32 pantallas del prototipo.

Conclusión:

las sugestiones de los evaluadores fueron cruciales para el desarrollo de una interfaz amigable e intuitiva y éstas serán consideradas en la versión final de la tecnología educacional digital.

Descriptores:
Tecnología Educacional; Tecnología en Salud; Enfermería; Evaluación

Introdução

O uso da tecnologia tem influência marcante na sociedade atual, as informações surgem de forma acelerada dos quatro cantos do mundo por meio de computadores e dispositivos móveis conectados à internet e, pode-se dizer que tecnologia e sociedade são indissolúveis¹.

Essa vasta demanda de informação traz consigo a competitividade profissional e a exigência de pessoas mais qualificadas e intelectivas em todas as áreas do conhecimento, sendo que na área da saúde, a atualização profissional possibilita o desenvolvimento de competências e habilidades para tomada de decisões visando a segurança do paciente².

Porém, a falta de tempo devido à sobrecarga e o excesso de tarefas diárias pode ser um obstáculo para a atualização profissional e, por outro lado, o ambiente de trabalho um facilitador através da Educação a Distância (EaD)^2-5, além da flexibilidade de horário e ritmo de aprendizagem^6-7.

A EaD está em expansão no país e é considerada uma ferramenta eficiente por proporcionar a qualquer pessoa a busca do conhecimento sem limites de fronteira⁵. Dentre as ferramentas utilizadas na EaD pode-se citar a tecnologia digital educacional, que tem sido cada vez mais utilizada para promover a aprendizagem na saúde, principalmente, na enfermagem^6,8-10.

A utilização de tecnologia digital educacional pode ser uma estratégia eficiente no processo ensino/aprendizagem, porém o desenvolvimento dessa ferramenta necessita, além de um conteúdo pedagógico rico e dinâmico, uma interface bem planejada e que seja intuitiva ao usuário¹¹. Nesse contexto, é importante que esses recursos sejam avaliados por profissionais ou usuário independentemente do método utilizado.

Diversos métodos de avaliação têm sido utilizadas em ferramentas digitais educacionais^4,11-12, no entanto, quando se refere à qualidade da interface, ou seja, produto que satisfaça e atenda às necessidades do usuário, o método mais empregado é o de usabilidade^13-16.

A avaliação de usabilidade refere-se à facilidade com que os usuários realizam determinadas tarefas quando interagem com uma ferramenta ou objeto por meio da interface e está relacionada a cinco atributos: facilidade de aprendizagem, memorização, prevenção de erros, eficiência e satisfação no uso¹⁷.

Um estudo de revisão sistemática mostrou que um dos métodos de avaliação de usabilidade mais utilizado é a avaliação heurística¹⁸. Dentre elas, pode-se citar as heurísticas de Nielsen¹⁷, um método simples e de baixo custo¹⁹, capaz de encontrar vários problemas de usabilidade com um número reduzido de avaliadores^15,19-20, em um curto período de tempo²¹, que possuem alta fidedignidade nos resultados, além de possibilitar que sejam fornecidas sugestões para a melhoria da interface^16,19-20.

Quanto mais precoce a avaliação for realizada, menor será o custo com as alterações¹⁷ . Assim, a elaboração de protótipos surge como uma estratégia eficiente e econômica, uma vez que possíveis problemas podem ser detectados por meio de testes e avaliações e corrigidos antes da versão final do produto^11,19-20,22.

Nesse contexto, o objetivo dessa pesquisa foi avaliar a usabilidade de um protótipo de tecnologia digital educacional sobre um novo método para monitoração da pressão intracraniana de forma minimamente invasivo.

Método

Trata-se de um estudo descritivo com abordagem quantitativa sobre avaliação de usabilidade de um protótipo de tecnologia digital educacional.

A avaliação de usabilidade utilizou-se do método analítico, no qual avaliadores especialistas em usabilidade inspecionam uma interface em busca de problemas, podendo propor melhorias para a mesma¹⁷. Existem diversos tipos de avaliação analítica, dentre elas a avaliação heurística¹⁷, utilizada nessa pesquisa.

O método de avaliação heurística baseia-se na utilização de um conjunto de princípios de usabilidade que orientam os avaliadores enquanto percorrem uma interface em busca problemas e deficiências¹⁷.

Encontram-se inúmeras heurísticas disponíveis em guidelines, no entanto, dois experts em usabilidade agruparam essas heurísticas em apenas dez com o objetivo de facilitar a avaliação quando colocadas em prática, denominadas de Heurísticas de Nielsen¹⁷.

A avaliação heurística deve ser executada por um conjunto reduzido de avaliadores que pode variar entre três e cinco pessoas. Uma quantidade inferior a três é insuficiente para obter resultados fidedignos e superior a cinco é desnecessária, pois as avaliações dos problemas de usabilidade encontradas se tornam recorrentes¹⁷.

Sendo assim, a avaliação foi realizada por profissionais da área da informática matriculados no Programa de pós-graduação de Ciências da Computação da Universidade Federal de São Carlos e que atenderam aos seguintes critérios de inclusão: ser especialista na área Interação Humano Computador (IHC) e já ter realizado outras avaliações heurísticas.

Para a seleção dos participantes foi utilizado o método intencional no qual os mesmos são escolhidos intencionalmente pelo pesquisador a partir de critérios de inclusão, levando em consideração o conhecimento do pesquisador sobre a população e suas características, o que proporciona condições para que os indivíduos sejam incluídos na amostra²³. Assim, quatro participantes foram convidados formalmente via e-mail. Após a confirmação, foi agendado uma data e local para a primeira fase da avaliação.

Para se proceder a avaliação heurística, três fases devem ser consideradas: pré-avaliação, avaliação e sessão com avaliadores¹⁷ as quais são descritas a seguir.

Pré-avaliação

Nessa fase, deve-se apresentar a interface ao avaliador, fornecer informações sobre suas funcionalidades, objetivo, uniformização das terminologias.

Dessa forma , a apresentação do protótipo aos avaliadores foi realizada pela pesquisadora em Power Point^(r) com o auxílio de projetor multimídia. No encontro, com duração de duas horas e trinta minutos, também foi discutido entre os avaliadores a uniformização sobre as heurísticas de Nielsen e os problemas e usabilidade que se encaixavam em cada uma delas, visando um melhor entendimento sobre o que avaliar. Foi fornecido um impresso com perguntas relacionadas a cada heurística, como demonstrado na Figura 1. Além disso, foi solicitado pela pesquisadora que fossem sugeridas soluções para o problema encontrado o que nesse tipo de avaliação não é obrigatório e ao final, foi agendado hora e local para o próximo encontro.

Figura 1
Heurísticas de Nielsen(17) e as perguntas que foram realizadas em cada heurística. São Carlos, SP, Brasil, 2013

Avaliação

Essa fase deve ser realizada individualmente e o participante pode escolher o local para se proceder a avaliação. Cada avaliador deve inspecionar, pelo menos, duas vezes o protótipo. A primeira passagem tem como objetivo familiarizar o avaliador com a interface e a segunda, permitir que o avaliador foque em elementos específicos em busca de problemas de usabilidade seguindo as dez Heurísticas de Nielsen¹⁷, verificando sua gravidade conforme os graus de severidade que podem variar numa escala de zero (0) a quatro (4), sendo que quanto maior a pontuação, pior é o problema de usabilidade (Figura 2).

Figura 2
Escala de severidade atribuída na avaliação de usabilidade, com base nas dez Heurísticas de Nielsen. São Carlos, SP, Brasil, 2013

Os avaliadores optaram por realizar a avaliação individual em local e computador próprio. Para tal, foi destinado a cada um deles um CD-ROM com o protótipo e o instrumento de coleta de dados contendo os seguintes itens: heurística violada, problemas de usabilidade, local (tela do protótipo), severidades e soluções.

Sessão com avaliadores e desenvolvedor do projeto

Nessa fase os avaliadores encontraram-se com a pesquisadora em data e local previamente determinado, com duração de três horas e trinta minutos. O objetivo do encontro foi a discussão entre os avaliadores sobre suas avaliações, ou seja, as heurísticas violadas, os problemas de usabilidade encontrados, as severidades, o local e as sugestões para a solução de cada problema. Os avaliadores optaram em seguir a ordem por tela e assim se procedeu a discussão; cada tela era discutida pelo avaliador que discorria sobre as heurísticas e problemas de usabilidade encontrados. Quando existia discordância entre as avaliações a discussão acontecia entre os avaliadores até chegar a um consenso final, que era registrado pela pesquisadora no mesmo instrumento de coleta de dados utilizado para a avaliação individual. O resultado final dessa fase foi uma única lista de heurísticas violadas, problemas de usabilidade encontrados, suas severidades, o local e as sugestões para os problemas encontrados.

O projeto foi aprovado pelo Comitê de Ética em Seres Humanos da UNICEP - Centro Universitário Central Paulista e seguiu as normas nacionais e internacionais de ética em pesquisa envolvendo seres humanos sob o protocolo nº 027/2011.

Resultados

A avaliação resultou em oito heurísticas violadas das dez propostas por Nielsen¹⁷ e identificou 31 problemas de usabilidade nas 32 telas do protótipo (Tabela 1).

Tabela 1
Heurísticas violadas, problemas de usabilidade e as severidades encontradas nas telas do protótipo. São Carlos, SP, Brasil, 2013

Heurística violada	Problemas de usabilidade		Severidades				Total
	Porcentagem		0	1	2	3	4
1- Visibilidade do estado do sistema	5 (16,13%)				3	2		5
2- Correspondência entre a interface do sistema e o mundo real	7 (22,58%)			3	1	2		6
3- Controle e liberdade do usuário	7 (22,58%)		1	1	3	2		7
4- Consistência e padrão	5 (16,13%)				2	4		6
5- Prevenção de erros	3 (9,68%)			1	1	1		3
6- Reconhecimento em vez de lembrança	1 (3,23%)			1				1
8- Estética e design minimalista	2 (6,46%)			1	1			2
10- Ajuda e documentação	1 (3,23)					1		1
Total por heurística	31 (100%)		1	7	11	12	0	31

Os resultados mostraram que "Correspondência entre a interface do sistema e o mundo real" e "Controle e liberdade do usuário" foram as heurísticas mais violadas com 7 (22,58%) problemas de usabilidade identificados em cada um, seguido por "Visibilidade do estado do sistema" e "Consistência e padrão" totalizando 5 (16,13%).

Em relação aos principais comentários feitos pelos avaliadores mediante as heurísticas violadas destacaram-se as seguintes: melhoria no design como alteração de cores do topo e rodapé, telas muito poluídas com muitos conteúdos, ausência de padrão para os links, falta uma mensagem de alerta quando o usuário clica em um link informando que ele está em uma página de web, prosseguir caso o usuário não queira assistir o vídeo e a falta de um botão para desabilitar o som, permitindo ao usuário o controle de suas ações.

Na avaliação também foram encontrados erros gramaticais de língua portuguesa, ausência de maior elucidação explicativa nos gráficos e da analogia de uma bexiga se enchendo simulando o aumento da pressão intracraniana.

Discussão

A tecnologia tem sido uma ferramenta de grande importância para os profissionais da área da saúde como na formação^3,7,11,24, na assistência^3-4,14 e na pesquisa^5,18. Nesse contexto, torna-se necessário a avaliação desses sistemas, caso contrário, a tecnologia deixa de desempenhar a sua função de facilitadora e os recursos serão subutilizados.

A avaliação heurística nessa pesquisa foi realizada por quatro participantes, uma vez que estudos desta natureza recomendam de 3 a 5 avaliadores, dos quais poderão encontrar até 75% de problemas de usabilidade ^(15,17,20-22 e utilizou-se as Heurísticas de Nielsen¹⁷ por se mostrarem apropriadas para avaliação de software^15,19,22, sistemas de informação em saúde²² e recursos digitais de aprendizagem¹⁶.

Acredita-se que a combinação de dois ou mais tipos de avaliações são capazes de encontrar mais problemas de usabilidade¹⁸, no entanto, as heurísticas de Nielsen sempre estão presentes^15-16,20. Autores recomendam o uso da avaliação heurística e testes com o usuário. A avaliação heurística pode ser usada pela primeira vez para identificar e corrigir os problemas mais evidentes e, após as modificações, utilizada para testes com os usuários¹⁶. Assim, como trabalho futuro desta pesquisa, pretende-se avaliar a versão final do protótipo com os usuários.

Os resultados apresentados indicam a importância de realizar avaliações dos sistemas antes de disponibilizar ao usuário. Das dez heurísticas propostas por Nielsen, oito foram violadas gerando 31 problemas de usabilidade nas 32 telas do protótipo. Correspondência entre a interface do sistema e o mundo real, controle e liberdade do usuário, visibilidade do estado do sistema e consistência e "padrão" representaram mais de 77% das heurísticas violadas. Estudos apresentaram resultados semelhantes utilizando o mesmo método de avaliação dessa pesquisa^15-16,21-22.

Problemas de usabilidade relacionados a essas heurísticas podem diminuir a interação entre o sistema e o usuário. Portanto, o projetista deve estar atento ao desenvolvimento de interfaces para que sejam intuitivas e acessíveis mesmo para o usuário inexperiente, prevenindo esforços extras em aprender a usar o sistema²⁵.

Em relação às sugestões dos avaliadores, a equipe do projeto e o desenvolvedor da tecnologia digital educacional compreenderam facilmente, uma vez que estavam bem justificadas pelas heurísticas.

É desejado que a interface e seus conteúdos sejam simples com uma linguagem clara e objetiva^11,25. Em um estudo os avaliadores sugeriram menos conteúdo em cada página, a organização desses conteúdos por tópicos, uma linguagem mais objetiva e a mudança na apresentação visual⁷. O excesso de conteúdo¹³ e a melhora da organização desses conteúdos¹² também foram citados em outros estudos.

Assim, uma das contribuições de destaque apontadas pelos avaliadores foram problemas de usabilidade na interface que poderiam confundir ou distrair o usuário no momento da utilização do recurso, para estes problemas identificados, os avaliadores sugeriram mudanças significativas. Outros estudos apresentaram sugestões semelhantes a essa investigação tais como: inserir explicações sobre gráficos e imagens pouco representativas^15,25, criar barra de rolagem para textos extensos²⁵; modificar a cor da interface^9,15 para verde-claro, padronização nos links²⁵, disponibilizar mensagem de erro quando o usuário preencher o cadastro incorretamente permanecendo no local onde parou¹⁶ e inserir uma página com a apresentação dos ícones²⁵. Segundo um estudo de avaliação de uma tecnologia educacional, os avaliadores tiveram dificuldades em interpretar alguns ícones⁷, demonstrando a importância em deixá-los intuitivos.

Para uma interface fácil de usar pode-se utilizar botões que facilitem as ações dos usuários. Os botões são usados para selecionar itens ou ações e devem ter a descrição de sua ação utilizando verbos²⁵. Nesse contexto, foi sugerido pelos avaliadores um botão onde o usuário possa aumentar ou diminuir a fonte, botão no rodapé que habilite e desabilite o som e botão para impressão. Sugestões semelhantes foram identificadas em outro estudo¹⁶.

Outro comentário dos avaliadores foi relacionado ao controle do usuário em suas ações enquanto percorrem a interface, um dos princípios de usabilidade e foi sugerido utilizar um ^_breadcrumb* na parte superior da tela para rastrear suas ações, ou seja, que mostre a ele onde está e como chegou até ali, corroborando outro achado²¹.

As heurísticas "flexibilidade e eficiência de utilização" e "ajude os usuários a reconhecer, diagnosticar e recuperar de erros" não foram violadas. Acredita-se que essas heurísticas não foram violadas pelo fato do protótipo não apresentar todas as suas funcionalidades e algumas ações não puderam ser avaliadas. Ainda assim, os avaliadores fizeram algumas sugestões para serem observadas no desenvolvimento da versão final da tecnologia digital educacional sendo elas: "se o navegador for configurado para não descarregar imagens e vídeos, o conteúdo e a navegação permaneceram intactos e sem prejuízo ao usuário?" e "o usuário pode configurar fontes e tamanho?".

As heurísticas menos violadas foram reconhecimento ao invés de lembrança "não possui mensagem de erro na página de cadastro" e ajuda e documentação "não existe um item de ajuda nas páginas", porém, violações relacionadas a essas heurísticas podem conduzir o usuário a interpretação errada da real ação pretendida, levando-o ao um esforço inútil, sobrecarga cognitiva, frustração e insatisfação^20-21,25.

O grau da severidade variou entre 0 (não é um problema de usabilidade) a 3 (problema maior de usabilidade) sugerindo que algumas violações eram graves o suficiente para exigir atenção. Nenhuma severidade grau 4 (catastrófico) foi evidenciada nesse estudo. Cada problema de usabilidade e as severidades identificadas nesse estudo, foram consideradas por acreditar-se que poderiam afetar, negativamente, a eficácia da versão final da tecnologia digital educacional.

Os resultados dessa pesquisa refletem a importância de realizar avaliações de tecnologias digitais educacionais para torná-las eficientes, fáceis de usar e que favoreçam o processo ensino aprendizagem. Na enfermagem, pesquisadores envolvidos em desenvolvimento de sistemas educacionais preocupam-se em corrigir e modificar seus produtos mediante comentários e sugestões de seus avaliadores, antes de disponibilizá-lo ao usuário final^{7-10,12-13,24}.

Uma limitação para essa pesquisa foi o protótipo não apresentar todas as funcionalidades e, portanto, algumas ações não puderam ser avaliadas, além da dificuldade de encontrar cinco avaliadores seguindo os critérios de inclusão desse estudo. Todavia, quatro avaliadores compuseram a amostragem permanecendo dentro do que é esperado para esse tipo de avaliação¹⁷.

Conclusão

Frente aos achados dessa pesquisa, considera-se que o objetivo foi alcançado uma vez que foi possível identificar um grande número de problemas de usabilidade com um dispêndio mínimo de esforços e utilizando apenas um tipo de avaliação.

A vantagem da avaliação heurística é que os avaliadores especialistas no método puderam sugerir soluções para os problemas encontrados, destacar os pontos fortes e frágeis do projeto e, portanto, todas as sugestões foram consideradas para a versão final da tecnologia digital educacional.

Como trabalho futuro pretende-se avaliar a nova versão da tecnologia digital educacional com usuários, entendendo que a utilização da avaliação é essencial para disponibilizar um produto de qualidade.

References

• ¹
  Veraszto EV, Silva D, Barros J Filho, Miranda NA, García FG, Amaral SF, et al. Influência da sociedade no desenvolvimento tecnológico: um estudo das concepções de graduandos brasileiros do Estado de São Paulo. Rev CTS [Internet]. 2011 [Acesso 13 out 2015]; 17(6):179-211. Disponível em: http://revistacts.net/files/Volumen%206%20-%20N%C3%BAmero%2017/Veraszto.pdf
  » http://revistacts.net/files/Volumen%206%20-%20N%C3%BAmero%2017/Veraszto.pdf
• ²
  Silva AN, Santos AMG, Cortez EA, Cordeiro BC. Limites e possibilidades do ensino à distância (EaD): na educação permanente em saúde: revisão integrativa. Ciênc Saúde Coletiva [Internet]. 2015 [Acesso 13 out 2015];20(4):1099-1107. Disponível em: http://www.scielosp.org/pdf/csc/v20n4/1413-8123-csc-20-04-01099.pdf
  » http://www.scielosp.org/pdf/csc/v20n4/1413-8123-csc-20-04-01099.pdf
• ³
  Prado C, Silva IA, Soares AVN, Aragaki IMM, Shimoda GT, Zaniboni VF, et al. Teleamamentação no Programa Nacional de Telessaúde no Brasil: a experiência da Telenfermagem. Rev Esc Enferm USP. [Internet]. 2013 [Acesso 9 abr 2014];47(4):990-6. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000400990&lng=pt&nrm=iso
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000400990&lng=pt&nrm=iso
• ⁴
  Grossi MG, Kobayashi RM. A construção de um ambiente virtual de aprendizagem para educação a distância: uma estratégia educativa em serviço. Rev Esc Enferm USP. [Internet]. 2013 [Acesso 9 abr 2014];47(3):756-60. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000300756&lng=pt&nrm=iso
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000300756&lng=pt&nrm=iso
• ⁵
  Rojo PT, Vieira SS, Zem-Mascarenhas SH, Sandor ER, Vieira CRSP. Panorama of nursing distance education in Brazil. Rev Esc Enferm USP. [Internet]. 2011 [Acesso 9 abr 2014];45(6):1476-80. Disponível em: http://www.scielo.br/pdf/reeusp/v45n6/v45n6a28.pdf
  » http://www.scielo.br/pdf/reeusp/v45n6/v45n6a28.pdf
• ⁶
  Fonseca LMMI, Aredes NDA, Dias DMV, Scochi CGS, Martins JCA, Rodrigues MA. Serious game e-Baby: percepção dos estudantes de enfermagem sobre a aprendizagem da avaliação clínica do bebê prematuro. Rev Bras Enferm. [Internet]. 2015 [Acesso 13 out 2015];68(1):13-9. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-71672015000100013
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-71672015000100013
• ⁷
  Fonseca LMM, Aredes NDA, Leite AM, Santos CB, Lima RAG, Scochi CGS. Evaluation of an educational technology regarding clinical evaluation of preterm newborns. Rev. Latino-Am. Enfermagem. [Internet]. 2013 [Acesso 13 out 2015];21(1):[08 telas]. Disponível em: http://www.scielo.br/pdf/rlae/v21n1/v21n1a11.pdf
  » http://www.scielo.br/pdf/rlae/v21n1/v21n1a11.pdf
• ⁸
  Castro FSF, Dias DMV, Higarashi IH, Scochi CGS, Fonseca LMM. Evaluation of digital educational student-technology interaction in neonatal nursing. Rev Esc Enferm USP. [Internet]. 2015 [Acesso 13 out 2015];49(1):114-121. Disponível em: http://www.scielo.br/pdf/reeusp/v49n1/pt_0080-6234-reeusp-49-01-0114.pdf
  » http://www.scielo.br/pdf/reeusp/v49n1/pt_0080-6234-reeusp-49-01-0114.pdf
• ⁹
  Góes FSN, Camargo RAA, Fonseca LMM, Oliveira GF, Hara CYN, Felipe HR, Caldas NB. Avaliação de tecnologia digital educacional "sinais vitais e anatomia" por estudantes da educação profissionalizante em enfermagem. Reme - Rev Min Enferm. [Internet]. 2015 [Acesso 13 out 2015];19(2):37-43. Disponível em: http://www.reme.org.br/artigo/detalhes/1004
  » http://www.reme.org.br/artigo/detalhes/1004
• ¹⁰
  Silveira DT, Catalan VM, Neutzling AL, Martinato LHM. Digital learning objects in nursing consultation: technology assessment by undergraduate students. Rev. Latino-Am. Enfermagem. [Internet]. 2010 [Acesso 13 out 2015];18(5):[09 telas]. Disponível em: http://www.scielo.br/pdf/rlae/v18n5/pt_23
  » http://www.scielo.br/pdf/rlae/v18n5/pt_23
• ¹¹
  Rodrigues RCV, Peres HHC. An educational software development proposal for nursing in neonatal cardiopulmonary resuscitation. Rev Esc Enferm USP. [Internet]. 2013 [Acesso 9 abr 2014];47(1):235-41. Disponível em: http://www.scielo.br/scielo.php?pid=S0080-62342013000100030&script=sci_arttext
  » http://www.scielo.br/scielo.php?pid=S0080-62342013000100030&script=sci_arttext
• ¹²
  Mori S, Whitaker I Y, Marin H F. Avaliação do website educacional em Primeiros Socorros. Rev Esc Enferm USP. [Internet]. 2013 [Acesso 9 abr 2014];47(4):950-7. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000400950&lng=pt&nrm=iso
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000400950&lng=pt&nrm=iso
• ¹³
  Góes FSN, Fonseca LMM, Furtado MCC, Leite AM, Scochi CGS. Evaluation of the virtual learning object "Diagnostic reasoning in nursing applied to preterm newborns". Rev. Latino-Am. Enfermagem. [Internet]. 2011 [Acesso 9 abr 2013];19(4):894-901. Disponível em: http://www.scielo.br/scielo.php?pid=S0104-11692011000400007&script=sci_arttext&tlng=pt
  » http://www.scielo.br/scielo.php?pid=S0104-11692011000400007&script=sci_arttext&tlng=pt
• ¹⁴
  Rangel AL, Évora YDM, Oliveira MMB. O processo de avaliação do software de geração automática de escala de Trabalho da enfermagem e da escala por ele gerada. J Health Inform. [Internet]. 2012 [Acesso 5 mar 2013];4(n.esp):200-4. Disponível em: http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/208/148
  » http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/208/148
• ¹⁵
  Choi J, Bakken S. Web-based education for low-literate parents in neonatal intensive care unit: development of a website and heuristic evaluation and usability testing. Rev Int J Med Inform. [Internet]. 2010 [Acesso 25 jul 2014];79(8):565-575. Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2956000/
  » http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2956000/
• ¹⁶
  Davids MR, Chikte UME, Halperin ML. An efficient approach to improve the usability of e-learning resources: the role of heuristic evaluation. Rev Adv Physiol Educ. [Internet]. 2013 [Acesso 25 jul 2014];7(sn):242-24. Disponível em: http://advan.physiology.org/content/37/3/242.full-text.pdf+html
  » http://advan.physiology.org/content/37/3/242.full-text.pdf+html
• ¹⁷
  Nielsen J. Usability Engineering. San Francisco: Academic Press; 1993. 362 p.
• ¹⁸
  Martins AI, Queirós A, Rocha NP, Santos BS. Avaliação de usabilidade: uma revisão sistemática da literatura. Rev Ibérica de Sistemas Tecnol Informação. [Internet]. 2013 [Acesso 25 jul 2014];11(6):31-43. Disponível em: http://ojs.academypublisher.com/index.php/risti/article/view/risti113144
  » http://ojs.academypublisher.com/index.php/risti/article/view/risti113144
• ¹⁹
  Alsumait A, Al-Osaimi A. Usability heuristics evaluation for child learning applications. J Software. [Internet]. 2010 [Acesso 25 jul 2014];5(6):654-661. Disponível em: http://dl.acm.org/citation.cfm?id=1806417
  » http://dl.acm.org/citation.cfm?id=1806417
• ²⁰
  Weegen S, Verwey R, Tange HJ, Spreeuwenberg MD, Witte LP. Usability testing of a monitoring and feedback tool to stimulate physical activity. Patient Prefer Adherence [Internet]. 2014 [Acesso 25 jul 2014];8(sn):311-322. Disponível em: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3962312/?tool=pubmed
  » http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3962312/?tool=pubmed
• ²¹
  Nabovati E, Vakili-Arki H, Eslami S, Khajouei R. Usability evaluation of laboratory and radiology information systems integrated into a hospital information system. J Med Syst. [Internet]. 2014 [Acesso 25 jul 2014];38(4):35. Disponível em: http://www.ncbi.nlm.nih.gov/pubmed/24682671
  » http://www.ncbi.nlm.nih.gov/pubmed/24682671
• ²²
  Yuan MJ, Finley GM, Long J, Mills C, Johnson RK. Evaluation of user Interface and workflow design of a bedside nursing clinical decision support system. Rev Interact J Med Res. [Internet]. 2013 [Acesso 25 jul 2014];2(1):e4. Disponível em: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3628119/
  » http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3628119/
• ²³
  Polit DF, Beck CT, Hungler BP. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. Porto Alegre: Artmed; 2011. 670 p.
• ²⁴
  Corradi MI, Silva SH, Scalabrin EE. Objetos virtuais para apoio ao processo ensino-aprendizagem do exame físico em enfermagem. Acta Paul Enferm. [Internet]. 2011 [Acesso 5 mar 2013];24(3): 348-53. Disponível em: http://www.scielo.br/pdf/ape/v24n3/07pdf
  » http://www.scielo.br/pdf/ape/v24n3/07pdf
• ²⁵
  Passos JE, Silva TLK. Design de interface do ambiente virtual hyperCAL. Rev Design Tecnol. [Internet]. 2010 [Acesso 13 out 2015];1(sn):88-100. Disponível em: http://www.pgdesign.ufrgs.br
  » http://www.pgdesign.ufrgs.br

• 1
  Artigo extraído da dissertação de mestrado "Educação a distância sobre o método minimamente invasivo para monitoração da pressão intracraniana l", apresentada à Universidade Federal de São Carlos, São Carlos, SP, Brasil.
• *
  É um recurso que mostra o caminho das páginas visitadas, indica ao leitor onde ele está e facilita que volte à página inicial.

Datas de Publicação

• Publicação nesta coleção
  2016

Histórico

• Recebido
  26 Jul 2015
• Aceito
  20 Jan 2016