AVALIAÇÃO DA USABILIDADE DE UM SISTEMA DE INFORMAÇÃO EM SAÚDE NEONATAL SEGUNDO A PERCEPÇÃO DO USUÁRIO

RESUMO

Objetivo:

Mensurar o grau de satisfação de profissionais de saúde quanto à usabilidade de um sistema de informação em saúde neonatal e identificar os fatores que podem influenciar na satisfação do usuário frente à usabilidade.

Métodos:

Estudo transversal e exploratório realizado com 50 profissionais de saúde integrantes dos centros da Rede Brasileira de Pesquisas Neonatais. Para avaliação da usabilidade foi utilizado o instrumento System Usability Scale entre fevereiro e março de 2017. Realizou-se a análise estatística descritiva e inferencial das variáveis coletadas, com a finalidade de descrever a amostra, quantificar o grau de satisfação dos usuários e identificar as variáveis associadas ao grau de satisfação do usuário em relação à usabilidade.

Resultados:

Da população avaliada, 75% era do sexo feminino, com idade média 52,8 anos, 58% com pós-graduação (doutorado); tempo médio da última formação de 17 anos; área de atuação em medicina (neonatologia), grau intermediário de conhecimento em informática e tempo de utilização média do sistema de 52 meses. Quanto à usabilidade, 94% avaliaram o sistema como “bom”, “excelente” ou “melhor impossível”. A usabilidade do sistema não foi associada a idade, sexo, escolaridade, profissão, área de atuação, nível de conhecimento em informática e tempo de uso do sistema.

Conclusões:

O grau de satisfação do usuário do sistema informatizado de saúde foi considerado bom. Não foram identificados fatores demográficos que influenciassem sua avaliação.

Palavras-chave:
Informática médica; Sistemas de informação; Sistemas de informação em saúde; Análise de sistemas; Ciência da informação; Profissional de saúde

ABSTRACT

Objective:

To measure the level of satisfaction regarding the usability of a neonatal health information system and identify if demographic factors can influence the usability of a health information system.

Methods:

A cross-sectional, exploratory study was carried out with a convenience sample of 50 users of the Brazilian Neonatal Research Network. The instrument chosen for the usability evaluation was the System Usability Scale between February and March 2017. The statistical analysis of the collected variables was carried out in order to describe the sample, to quantify the level of satisfaction of the users and to identify the variables associated with the level of satisfaction.

Results:

The female gender represented 75% of the sample. The mean age was 52.8 years; 58% had a doctoral degree, average time of graduation was 17 years, with area of practice in medicine (neonatology), with intermediate knowledge in computer science (74%) and mean system use time of 52 months. Regarding usability, 94% rated the system as “good”, “excellent” or “better than imaginable”. The usability of the system was not associated with age, gender, education, profession, area of practice, knowledge in computer science and time of system use.

Conclusion:

The level of satisfaction of the computerized health system user was considered good. No demographic factors were associated with the satisfaction of the users.

Keywords:
Medical informatics; Information systems; Health information systems; Systems analysis; Information science; Health personnel

INTRODUÇÃO

Em um ambiente de cuidados em saúde, as decisões são embasadas em fatores e indicadores obtidos por meio das informações oriundas dos registros dos pacientes atendidos pela unidade. O armazenamento dos dados clínicos, demográficos e financeiros dos pacientes está cada vez mais factível e ao alcance de inúmeras instituições brasileiras, públicas ou privadas.^1,2,3

Um sistema de informação não se resume apenas à tecnologia da informação, mas também ao contexto em que está inserido e aos perfis dos usuários que o utilizam, tanto para coleta como para análise dos dados.² A avaliação de sistemas de informação é uma necessidade para o gestor, tanto para melhorar como para justificar os altos investimentos realizados em informática. Atualmente não existe uma medida global que retrate claramente sua utilização. Assim, a questão a ser estudada precisa ser pré-definida de acordo com o objeto da pesquisa.^4,5

Pesquisadores da área de sistemas de informação enfatizam a necessidade de métricas mais dinâmicas e consistentes para sua avaliação.^6,7,8 Para projetar sistemas com boa usabilidade, os especialistas necessitam:

• Entender os fatores (psicológicos, ergonômicos, organizacionais e sociais) que determinam como as pessoas operam e fazem uso dos computadores efetivamente.

• Traduzir esse entendimento para o desenvolvimento de ferramentas e técnicas que ajudem no projeto.

• Usar essas ferramentas para alcançar eficiência, efetividade e segurança na interação.

O instrumento System Usability Scale (SUS) foi desenvolvido por Brooke em 1986 e contém dez questões que visam medir a usabilidade de diversos produtos e serviços. Comparados a outros instrumentos de avaliação, o SUS é tecnologicamente agnóstico, podendo ser utilizado para avaliar diversos produtos e serviços, como websites, hardware, sistemas multimodais, sistemas de comando de voz, aplicações móveis e sistemas clínicos.^9,10 É um instrumento robusto e versátil, tornando a pesquisa rápida e fácil. O instrumento gera um escore único em uma escala de fácil entendimento. Também é fácil de administrar, possui boa confiabilidade e referências que auxiliam na interpretação de seu escore.¹⁰ Outra vantagem do SUS é que não há direitos autorais, tornando o custo recomendável.¹¹

Diante desse panorama, por meio de ferramentas descomplicadas e que considerem a opinião de seus usuários, é imprescindível a avaliação dos sistemas de informação em saúde; uma vez que são importantes para a tomada de decisões por gestores e profissionais de saúde. Nesse contexto, foi realizado um estudo sobre a avaliação de um sistema de gerenciamento de informação de saúde mantido em rede de pesquisa nacional, com o objetivo de mensurar o grau de satisfação de profissionais de saúde quanto à usabilidade de um sistema de informação em saúde neonatal multicêntrico, utilizando o instrumento SUS, e de identificar os fatores que podem influenciar a avaliação da satisfação do usuário frente à usabilidade.

MÉTODO

Pesquisa exploratória, observacional, descritiva, de abordagem quantitativa e qualitativa e de levantamento transversal. O projeto foi submetido e aprovado pelo Comitê de Ética e Pesquisa (CEP) da Universidade Federal de São Paulo, conforme Parecer nº 940.160, e pela Comissão de Pesquisa da Rede Brasileira de Pesquisas Neonatais (CP-RBPN).

O universo da pesquisa foi o banco de dados da RBPN. A inserção de dados dos pacientes é realizada nos 20 centros associados, localizados em sete estados brasileiros, pelos coordenadores de cada unidade. O banco de dados foi desenvolvido em REDCap, hospedado em uma máquina virtual em nuvem (cloud computing) chamada InterNuvem, mantida pela Universidade de São Paulo.

Foram incluídos no estudo, por meio de um convite para preenchimento do questionário eletrônico (SUS), todos os profissionais de saúde, representantes dos 20 centros integrantes e da coordenação da RBPN com acesso ao banco de dados da RBPN para inserção, consulta e/ou correção de dados. Foram excluídos os profissionais da área de tecnologia da informação e usuários que, apesar de cadastrados, não acessavam o sistema da RBPN. A coleta de dados foi realizada entre fevereiro e março de 2017, através do site http://redcap.epm.br.

O questionário eletrônico era composto de tela única, dividido em duas partes. Na primeira, os entrevistados preencheram uma ficha de identificação com as seguintes variáveis: sexo, idade, nível máximo de escolaridade, ano de término do nível máximo da escolaridade, profissão, área de atuação profissional, nível de conhecimento em informática e tempo aproximado de utilização do sistema da RBPN. A partir das questões da primeira parte do questionário foi possível caracterizar a população estudada. As variáveis “idade”, “ano de término (escolaridade)” e “tempo de uso do banco de dados” eram numéricas e “sexo”, “escolaridade (grau máximo)” e “nível de conhecimento de informática” eram categóricas. As variáveis “profissão” e “área de atuação profissional” eram dissertativas.

Na segunda tela, os usuários responderam o SUS, conforme o Quadro 1.¹² As dez questões pertencentes ao SUS foram graduadas em escala tipo Likert, com valores de um a cinco, classificadas respectivamente como: “discordo fortemente”, “discordo”, “não concordo nem discordo”, “concordo” e “concordo fortemente”. Apenas a última questão, incluída pelo pesquisador, foi dissertativa não obrigatória. O tempo total estimado para responder o questionário foi de cinco a dez minutos. Após o preenchimento do SUS, calculou-se a pontuação total, que gerou um número único. Para calcular o escore, primeiro é somado o escore de cada item que contribui em uma escala de 1 a 5. Para os itens 1, 3, 5, 7 e 9, o escore individual é a nota recebida menos 1. Para os itens 2, 4, 6, 8 e 10, a contribuição é 5 menos a nota recebida. Multiplica-se a soma de todos os escores por 2,5 e assim é obtido o valor total do SUS.⁹ Após a pontuação e o cálculo do escore, é possível fazer a classificação do sistema avaliado:¹³ £20,5 (pior imaginável); 21 a 38,5 (pobre); 39 a 52,5 (mediano); 53 a 73,5 (bom); 74 a 85,5 (excelente); e 86 a 100 (melhor imaginável). Por exemplo: uma avaliação de determinado sistema recebeu as seguintes pontuações, sendo q1 equivalente à primeira questão do SUS e assim sucessivamente:

q1 q2 q3 q4 q5 q6 q7 q8 q9 q10 5 2 5 2 5 1 4 1 5 1

q1	q2	q3	q4	q5	q6	q7	q8	q9	q10
5	2	5	2	5	1	4	1	5	1

Questões ímpares: (5-1)+(5-1)+(5-1)+(4-1)+(5-1)=4+4+4+3+4=19

Questões pares: (5-2)+(5-2)+(5-1)+(5-1)+(5-1)=3+3+4+4+4=18

Expressão: soma das questões x2,5=37x2,5=92,5

Classificação: melhor imaginável

Quadro 1
Questionário System Usability Scale traduzido para o português.

Item	Item correspondente em português
1	Acho que gostaria de utilizar este produto com frequência
2	Considerei o produto mais complexo do que o necessário
3	Achei o produto fácil de utilizar
4	Acho que necessitaria de ajuda de um técnico para conseguir utilizar este produto
5	Considerei que as várias funcionalidades deste produto estavam bem integradas
6	Achei que este produto tinha muitas inconsistências
7	Suponho que a maioria das pessoas aprenderia a utilizar rapidamente este produto
8	Considerei o produto muito complicado de utilizar
9	Senti-me muito confiante ao utilizar este produto
10	Tive que aprender muito antes de conseguir lidar com este produto
Não obrigatório	Você tem alguma crítica e/ou sugestão referente ao produto?

Na presente pesquisa, os dados obtidos por meio do questionário SUS foram analisados quanto à análise descritiva das variáveis da primeira (demográfica) e segunda parte do questionário SUS; ao escore do SUS, com avaliação de cada uma das dez questões; ao valor obtido por cada respondente; e à obtenção de média global dos questionários respondidos; e aos fatores associados às características dos participantes e aos escores obtidos.

Após a coleta de dados, o pesquisador avaliou itens do sistema referentes aos objetivos e necessidades dos usuários, por meio do checklist desenvolvido por Padovani, a fim de ressaltar aspectos positivos e negativos sobre o sistema.¹⁴

As variáveis categóricas foram descritas pelas frequências absoluta (n) e relativa (%). As variáveis numéricas foram testadas quanto à aderência à distribuição normal por meio do teste de Kolmogorov-Smirnov e descritas pela média, desvio padrão, mínimo, máximo, mediana e intervalo interquartil. As medidas de tendência central e variabilidade indicadas foram, respectivamente, a média e o desvio padrão para as variáveis normalmente distribuídas e a mediana e o intervalo interquartil para aquelas não normalmente distribuídas.¹⁵ As associações com uma ou mais variáveis numéricas foram testadas quanto à distribuição normal pelo teste de Kolmogorov-Smirnov. A correlação entre o escore SUS e as variáveis numéricas utilizou o coeficiente de correlação de Pearson (quando as duas variáveis apresentavam distribuição normal) ou o teste equivalente não paramétrico, correlação de Spearman e a análise de variância ou o Kurskal-Wallis para mais de duas categorias, de acordo com a aderência ou não à distribuição normal. Para a realização das análises, foram utilizados os softwares MS Excel 2010^® e IBM SPSS Statistics 20^®.

RESULTADOS

De acordo com a metodologia utilizada, foram identificados 67 participantes. Após aplicar os critérios de exclusão, foram selecionados 57 usuários. Dentre os elegíveis, sete usuários não responderam ao questionário. Assim, ao final do período de coleta da pesquisa, foram obtidas 50 participações (87,7%). As características dos participantes estão disponíveis na Tabela 1.

Tabela 1
Características dos usuários do sistema da Rede Brasileira de Pesquisas Neonatais (n=50).

Idade (em anos)
Média (desvio padrão)	52,8 (9,7)
Mediana (mínimo-máximo)	53,5 (35-75)
Sexo	n (%)
Feminino	36 (72,0)
Masculino	14 (28,0)
Escolaridade (grau máximo)	n (%)
Graduação	1 (2,0)
Especialização	10 (20,0)
Mestrado	10 (20,0)
Doutorado	29 (58,0)
Última titulação máxima (anos)
Média (desvio padrão)	17,0 (11,6)
Mediana (mínimo-máximo)	14,5 (1-43)
Profissão	n (%)
Enfermagem	1 (2,0)
Medicina	49 (98,0)
Atuação	n (%)
Medicina intensiva pediátrica	1 (2,0)
Neonatologia	48 (96,0)
Neonatologia e segurança do paciente	1 (2,0)
Nível de conhecimento em informática	n (%)
Básico	7 (14,0)
Intermediário	37 (74,0)
Avançado	5 (10,0)
Ignorado	1 (2,0)
Tempo de uso do sistema (meses)
Média (desvio padrão)	51,6 (38,9)
Mediana (mínimo­-máximo)	42 (3-130)

Quanto ao conhecimento em informática, observou-se que três em cada quatro participantes se autointitularam com nível intermediário; e um participante, que não respondeu, foi classificado como ignorado (informação ausente).

Em relação ao questionário de usabilidade, SUS, todos os participantes preencheram as questões. A média obtida do escore total foi de 73,3; com desvio padrão de 13,6; valor mínimo de 37,5 e máximo de 100.

Quando analisada pelo coeficiente de Spearman e teste de Kruskal-Wallis, a associação do escore SUS com as variáveis idade, escolaridade, nível de conhecimento em informática e tempo de uso mostrou baixa correlação, não sendo estatisticamente significantes, com p-valor=0,220; p-valor=0,183; p-valor=0,512 e p-valor=0,155; respectivamente.

Na Tabela 2, observa-se que 76% dos participantes classificaram o banco de dados como “bom” ou “excelente” e 18% como “melhor impossível”.

Tabela 2
Distribuição de frequência quanto à classificação obtida pelo questionário de usabilidade (n=50).

Classificação	n (%)	% acumulada
Ruim	1 (2,0)	2,0
Mediano	2 (4,0)	6,0
Bom	26 (52,0)	58,0
Excelente	12 (24,0)	82,0
Melhor impossível	9 (18,0)	100,0
Total	50 (100,0)

DISCUSSÃO

O instrumento SUS aplicado ao sistema de informação da RBPN foi eficiente para avaliar a usabilidade através da percepção do usuário, sendo classificado como bom (pontuação 73,3) por 52% dos usuários avaliados. As informações demográficas dos participantes não influenciaram na avaliação do sistema, sugerindo que o questionário pode ser aplicado em um sistema de informação de saúde multicêntrico.

Existem diversos questionários gratuitos para avaliar a usabilidade de sistemas. Desses, o analista deve saber qual interface será mensurada. Entre aqueles que podem ser aplicados a qualquer interface, o After Scenario Questionnaire (ASQ), da IBM^®, apresenta três questões; o Usefulness, Satisfaction and Ease of Use (USE) tem 30 questões; e o SUS, dez questões.¹¹ Para aplicar qualquer instrumento de avaliação, é importante comparar suas vantagens em relação às desvantagens, além de definir a questão a ser avaliada de acordo com o sistema analisado.

Quanto às vantagens, pode-se citar que o SUS é capaz de fornecer a visão do usuário sobre o objeto estudado, apresentar resultados confiáveis, independentemente do sistema ou das tarefas.¹¹ No presente estudo, os fatores demográficos (idade, sexo, escolaridade, profissão, área de atuação, nível de conhecimento em informática e tempo de uso do sistema) não apresentaram associação com o resultado obtido no escore SUS.

Desde a sua concepção, o SUS é considerado unidimensional. Porém, por meio da análise fatorial, verificou-se que o SUS possui dois fatores: usabilidade (questões 1, 2, 3, 5, 6, 7, 8 e 9) e aprendizagem (questões 4 e 10). Apesar de haver boa correlação entre o questionário inteiro e os itens entre si, o mesmo apresenta um nível baixo de correlação se utilizado separadamente. Assim, recomenda-se utilizá-lo em seu formato tradicional.¹⁶

No SUS, a estrutura das questões apresenta alternância entre os itens positivos e negativos devido aos enunciados curtos, a fim de evitar vieses de resposta, com o propósito de que os participantes realmente concordem ou discordem com as questões após reflexão de leitura, e não simplesmente por impulso.¹⁷

De acordo com os valores relativos obtidos nas questões do instrumento (SUS), a estrutura das questões pares destaca pontos positivos do sistema, apresenta maior número de respostas “concordo” e “concordo plenamente”, enquanto as questões ímpares apresentam mais registros relativos em “discordo” e “discordo plenamente”. Isso sugere que os participantes conseguem, por meio das questões, avaliar as características do sistema.

Na presente pesquisa, foi adicionada ao final do instrumento uma questão não obrigatória, na qual o participante poderia incluir comentários sobre o sistema. Apesar de não pertencer à estrutura original, optou-se pela utilização desse item, pois questões finais livres são sugeridas como um possível suplemento, uma vez que os usuários apreciam descrever adjetivos em uma avaliação.¹⁸

Ao considerar os valores relativos obtidos nas questões, a quantidade de comentários ao sistema e seus conteúdos e as observações realizadas pelo pesquisador com um checklist, foi possível verificar que o sistema da RBPN apresenta os cinco atributos de usabilidade de Nielsen: facilidade de aprendizado, eficiência de uso, facilidade de memorização, baixa taxa de erros e satisfação subjetiva.^19,20

Neste sentido, por meio da aplicação do instrumento SUS, foi avaliada a usabilidade para entender fatores subjetivos que determinem o uso efetivo do sistema e que podem ser traduzidos em ações que aperfeiçoem a experiência de interação humano-computador.

O SUS Escore, apesar de ter variação entre zero e cem, não é um valor percentual. Houve um estudo em que se equiparou o SUS Escore a valores relativos. O percentil 50, ou a mediana, foi determinado em 68. Dessa forma, o sistema da RBPN apresentou boa avaliação por parte de seus usuários, com média de 73,3 e mediana de 72,5 pontos.¹³

A questão dissertativa obteve 12 comentários de usuários, entre os 50 participantes, referentes ao sistema. A maior parte das respostas foram observações quanto aos resultados produzidos pelo sistema. Foram citados pontos como a comparação entre os centros participantes, a construção de gráficos e tabelas, além de alguns ajustes no preenchimento de formulários.

Além da aplicação do questionário SUS, o pesquisador verificou itens referentes aos objetivos e necessidades dos usuários através de checklist desenvolvido e utilizado por Padovani para avaliação de websites. Esse instrumento pode ser utilizado, pois a inserção de dados é realizada por meio do REDCap, cuja plataforma é acessada através de ambiente web.¹⁴ Os pontos fracos constatados foram quanto à gestão de erros, pois o sistema verifica a consistência dos dados após o preenchimento de todo o formulário, que apresenta diversos campos; e a impossibilidade de customização ou mecanismo de adaptação das páginas. O destaque positivo é o apoio ao usuário. Em primeiro lugar, é disponibilizado aos cadastrados um instrutivo referente às definições utilizadas no sistema e ao preenchimento dos formulários. Também existe em cada campo um link com texto explicativo sobre o preenchimento, além de dispor, nas páginas de acesso ao sistema e formulários, o nome e e-mail do administrador.

Os resultados obtidos pela aplicação do questionário SUS e do checklist utilizado pelo pesquisador auxiliarão os administradores do sistema da RBPN a entender o comportamento, a opinião, os anseios e as necessidades dos usuários, podendo ser utilizado como material de apoio à decisão referente a possíveis alterações e/ou a atualizações de seus recursos tecnológicos. Existem estudos que apresentam outras iniciativas quanto à avaliação de sistemas de informação em saúde. A avaliação do impacto de um sistema de informação requer não somente a compreensão dos recursos computacionais, mas também dos processos comportamentais.²¹

Os usuários apresentaram mais de 40 meses de utilização ativa do sistema estudado, não relataram falhas de acesso, apresentaram conhecimento intermediário de informática e alto nível de formação acadêmica. Assim, a avaliação dos dados demográficos permitiu conhecer as características de seus usuários e analisar se havia fatores que pudessem influenciar na avaliação do sistema de informação em saúde.

Ao analisar os dados demográficos obtidos e as características da RBPN, é possível dizer que o sistema utilizado está de acordo com um dos conceitos de informação em saúde, como representação de uma situação baseada no trinômio saúde-doença-cuidado, que foi selecionada, resumida e organizada a partir de determinados interesses de um profissional ou por uma instituição, de acordo com os objetivos na produção de saber.^22,23 Além disso, foi possível avaliar se questões subjetivas poderiam influenciar nos resultados da avaliação. Verificou-se que não houve interferências na visão do usuário no sistema, mas não se pode afirmar que não haja esse tipo de influência nas realizações das tarefas.

Em verdade, o instrumento SUS foi idealizado como quick and dirty, ou seja, um instrumento criado para avaliação superficial, que visa identificar possíveis inconsistências no sistema de forma rápida. Caso haja necessidade de identificação mais detalhada, outros instrumentos e métodos deverão ser utilizados.

A informação em saúde é uma das áreas de conhecimento da saúde coletiva que considera as determinações sociais do processo saúde-doença como, entre outras funções, uma estruturação de modelos assistenciais que possibilitam alcançar autonomia no desenvolvimento de ações em saúde.¹⁷ Portanto, para o profissional de saúde que define, gerencia e pratica intervenções assistenciais, de pesquisas e/ou de ensino, o conhecimento e a aplicação de um instrumento para medir a usabilidade de um sistema de informação em saúde é importante, agregando valor e utilidade às informações coletadas, tabuladas e analisadas. A avaliação de usabilidade do sistema da RBPN mostrou que os profissionais que utilizam o sistema o consideram adequado, o que contribui para melhorar a confiabilidade na qualidade dos dados inseridos. Isso é importante porque esse banco de dados é o ponto de partida no qual pesquisas em neonatologia estão sendo desenvolvidas.

REFERENCES

• ¹
  Moreira ML. Sistema de informação de saúde: a epidemiologia e a gestão de serviço. Saude Soc. 1995;4:43-5.
• ²
  Schmeil MA. Saúde e tecnologia da informação e comunicação. Fisioter Mov. 2013;26:477-8.
• ³
  Fornazin M, Joia LA. Linking theoretical perspectives to analyze health informatics in Brazil. Saude Soc. 2015;24:46-60.
• ⁴
  Arouck O. Evaluation of information systems: literature review. Transinformação. 2001;13:7-21.
• ⁵
  Dias R. Métricas para avaliação de sistemas de informação. Rev Eletrônica Sist Informação [serial on the Internet]. 2002;1[cited 2017 July 10]. Available from: http://revistas.facecla.com.br/index.php/reinfo/article/view/117/pdf
  » http://revistas.facecla.com.br/index.php/reinfo/article/view/117/pdf
• ⁶
  Seddon PB. A respecification and extension of the DeLone and McLean model of is success. Inf Syst Res. 1997;8:240-53.
• ⁷
  DeLone WH, McLean ER. The DeLone and McLean model of information systems success: a ten-year update. J Manag Inf Syst. 2003;19:9-30.
• ⁸
  Petter S, DeLone W, McLean E. Measuring information systems success: models, dimensions, measures, and interrelationships. Eur J Inf Syst. 2008;17:236-63.
• ⁹
  Brooke J. SUS: a quick and dirty usability scale. Usability Eval Ind. 1996;189:4-7.
• ¹⁰
  Kortum PT, Bangor A. Usability ratings for everyday products measured with the System Usability Scale. Int J Hum Comput Interact. 2013;29:67-76.
• ¹¹
  Bangor A, Kortum PT, Miller JT. An empirical evaluation of the System Usability Scale. Int J Hum Comput Interact. 2008;24:574-94.
• ¹²
  Martins AI, Rosa AF, Queirós A, Silva A, Rocha NP. European Portuguese validation of the System Usability Scale (SUS). Procedia Comput Sci. 2015;67:293-300.
• ¹³
  Bangor A, Kortum P, Miller J. Determining what individual SUS scores mean: adding an adjective rating scale. J Usability Stud. 2009;4:114-23.
• ¹⁴
  Padovani S, Spinillo CG, Gomes IM. Development and application of a descriptive/normative framework for website analysis. Prod. 2009;19:514-28.
• ¹⁵
  Maroco J. Análise estatística com utilização do SPSS Statistics. 3rd ed. Lisboa: Silabo; 2007.
• ¹⁶
  Neves FA, Junges F. Sistema de informação em saúde como instrumento de avaliação da saúde da população. Proceedings of the VI Mostra de Produção Científica da Pós-Graduação Lato Sensu da PUC Goiás; 2011; Goiânia. p. 1-18.
• ¹⁷
  Barbosa DC, Forster AC. Health Information Systems: perspective and evaluation by the professionals involved in primary healthcare in Ribeirão Preto, São Paulo, Brazil. Cad Saúde Colet. 2010;18:424-33.
• ¹⁸
  Lewis JR, Sauro J. The factor structure of the System Usability Scale. Lect Notes Comput Sci. 2009;5619:94-103.
• ¹⁹
  Brooke J. SUS: a retrospective. J Usability Stud. 2013;8:29-40.
• ²⁰
  Chin JP, Diehl VA, Norman KL. Development of an instrument measuring user satisfaction of the human-computer interface. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems; 1988 May 15-19; Washington (USA). p. 213-8.
• ²¹
  Nielsen J. Usability engineering. San Francisco (USA): Morgan Kaufmann; 1993.
• ²²
  Costa LF, Ramalho FA. The usability in the information us studies: in scene, users and interactive information systems. Perspect Ciênc Inf. 2010;15:92-117.
• ²³
  Anderson JG, Aydin CE. Evaluating the impact of health care information systems. Int J Technol Assess Health Care. 1997;13:380-93.

Fonte de financiamento

• O estudo não recebeu financiamento.

Datas de Publicação

• Publicação nesta coleção
  13 Dez 2018
• Data do Fascículo
  Jan-Mar 2019

Histórico

• Recebido
  11 Ago 2017
• Aceito
  04 Dez 2017
• Publicado
  11 Dez 2018