Desenvolvimento e Avaliação de uma Plataforma Colaborativa Digital para Educação e Tomada de Decisão Médica Baseada em Evidências

RESUMO

O processo de educação para tomada de decisão médica tem passado por mudanças nos últimos anos. Anteriormente suportada por material impresso, a resolução de problemas da prática clínica passou a contar recentemente com a ajuda de ferramentas digitais conhecidas como plataformas de sumários. Médicos e estudantes de Medicina têm utilizado tais ferramentas quando têm dúvidas encontradas nos cenários de prática. Essas plataformas apresentam como vantagem a presença de conteúdo de alta qualidade, baseado em evidências e sempre atualizado. Sua popularização deu-se sobretudo com a ascensão do uso da internet e, mais recentemente, de dispositivos móveis como tablets e smartphones, facilitando seu uso na prática clínica. Apesar de amplamente disponíveis, a maioria das plataformas atuais apresenta diversas barreiras de acesso, como custo, idioma estrangeiro e não ser adaptada à epidemiologia brasileira. Uma plataforma gratuita e totalmente nacional de sumários médicos baseados em evidências foi proposta, por meio do conceito da construção colaborativa, para contornar essas barreiras. Além disso, foram implementados conceitos de gamificação. Também há a possibilidade de avaliação pelos próprios usuários, que atribuem notas a cada conteúdo desenvolvido. A plataforma foi construída mediante ferramentas tecnológicas modernas e disponibilizada para web e aplicativo para dispositivos móveis. Após o desenvolvimento, um processo de avaliação foi conduzido pelos pesquisadores para atestar a validade do conteúdo, a usabilidade e a satisfação dos usuários. Foram aplicados questionários e ferramentas de avaliação consolidados na literatura. O processo de desenvolvimento da plataforma digital fomentou a interdisciplinaridade, por intermédio do envolvimento de profissionais da área médica e de tecnologia da informação. O trabalho também permitiu a reflexão sobre os processos educacionais inovadores, nos quais o aprendizado fundamentado em problemas da vida real e a construção de conhecimento de forma colaborativa estão integrados. Osresultados da avaliação apontam que a plataforma criada pode se tornar uma alternativa factível para tomada de decisão médica baseada em evidências.

Educação Médica; Medicina Baseada em Evidências; Crowdsourcing; Tomada de Decisão Clínica; Smartphone

ABSTRACT

The medical education for clinical decision-making has undergone changes in recent years. Previously supported by printed material, problem solving in clinical practice has recently been aided by digital tools known as summaries platforms. Doctors and medical students have been using such tools from questions found in practice scenarios. These platforms have the advantage of high-quality, evidence-based and always up-to-date content. Its popularization was mainly due to the rise of the internet use and, more recently, of mobile devices such as tablets and smartphones, facilitating their use in clinical practice. Despite this platform is widely available, the most of them actually present several access barriers as costs, foreign language and not be able to Brazilian epidemiology. A free national platform of evidence-based medical summaries was proposed, using the crowdsourcing concept to resolve those barriers. Furthermore, concepts of gamification and content evaluation were implemented. Also, there is the possibility of evaluation by the users, who assigns note for each content created. The platform was built with modern technological tools and made available for web and mobile application. After development, an evaluation process was conducted by researchers to attest to the valid of content, usability, and user satisfying. Consolidated questionnaires and evaluation tools by the literature were applied. The process of developing the digital platform fostered interdisciplinarity, from the involvement of medical and information technology professionals. The work also allowed the reflection on the innovative educational processes, in which the learning from real life problems and the construction of knowledge in a collaborative way are integrated. The assessment results suggest that platform can be real alternative form the evidence-based medical decision-making.

Medical Education; Evidence-Based Medicine; Crowdsourcing; Clinical Decision-Making; Smartphone

INTRODUÇÃO

A tomada de decisão médica à beira do leito, ou seja, quando se está em frente ao paciente, tem sido suportada por consulta a material referenciado. O avanço da tecnologia da informação, denotado nos últimos anos pela disseminação do uso da internet e dos dispositivos móveis ( smartphones e tablets ), permite maior facilidade a esse processo, principalmente se considerarmos o crescimento exponencial da literatura médica¹ .

Esse processo de consulta para tomada de decisão, seja para decidir o melhor método diagnóstico, seja em relação ao melhor tratamento para determinado paciente, entre outras questões, torna-se também uma forma de educação médica. Isso porque, com o objetivo de solucionar problemas, o médico ou estudante de Medicina tem um estímulo para o estudo e a busca pela melhor resposta para uma demanda de sua prática. Dessa forma, o aprendizado passa a ser mais natural, favorecendo a reflexão sobre a ação e produção de novos conhecimentos, em um movimento de educação permanente² .

Haja vista o fenômeno de expansão sem precedentes do conhecimento na área médica, ancorado pelo avanço da internet em sua divulgação, a medicina baseada em evidências (MBE) lança-se como uma ferramenta indispensável. A MBE permite que o conhecimento médico seja mais bem classificado por meio da avaliação da qualidade das recomendações para prática em saúde³ .

Nesse contexto de educação médica, tem-se os programas de residência médica (PRM), modalidade de pós-graduação focada em atuação nos cenários de prática, com momentos de discussão teórica fortemente baseados em MBE. Os PRM de Medicina de Família e Comunidade (MFC) destacam-se pela discussão das ferramentas da MBE, levando em conta a perspectiva do paciente no processo de tomada de decisão.

Várias associações de médicos de família e comunidade pelo mundo têm defendido a utilização da metodologia strength of recommendation taxonomy (SORT) para determinação da qualidade das evidências científicas no contexto da MBE, mediante a classificação das recomendações⁴ . Outro método complementar utilizado para classificação de evidências é a escala 5S, a qual define cinco diferentes tipos de fontes para busca de evidências médicas (estudos, sínteses, sinopses, sumários e sistemas). Os sumários e os sistemas são considerados aquelas de maior qualidade, porém a utilização dos sistemas ainda é limitada a alguns cenários específicos⁵ .

Dessa maneira, os sumários são classificados como as fontes de informação amplamente disponíveis de maior confiabilidade para buscas de informações em saúde e podem ser encontrados em diferentes plataformas, baseados em internet e acessados de computadores e dispositivos móveis. Tais plataformas tornaram-se as principais fontes de informação para tomada de decisão médica⁶ .

A despeito da grande variedade de plataformas de sumários disponíveis, a maioria delas impõe diversos obstáculos ao usuário. Entre eles, podem-se citar o custo, já que usualmente há cobrança de assinatura; a língua, visto que muitas estão disponíveis apenas no idioma inglês; e o fato de que boa parte delas não apresenta informações compatíveis com a epidemiologia particular do nosso país. É de grande interesse contar com uma ferramenta de tomada de decisão médica gratuita, baseada em evidências e totalmente nacional que supere os obstáculos mencionados das plataformas tradicionais.

Estratégias para superar esses obstáculos já realizadas para além da área médica são diversas, algumas das quais poderiam ser aplicadas. Entre elas, tem-se o crowdsourcing , que é a construção de conteúdo de forma colaborativa pelos usuários⁷ . Assim, o usuário, de mero consumidor do conteúdo, passa a ser o ator principal no processo de criação, compartilhamento e regulação do conhecimento.

O conceito de gamificação, que incorpora elementos de jogos em cenários que não são de jogos, é outra estratégia inovadora e importante para a superação das barreiras das plataformas de sumários tradicionais. Estudos têm apontado que o uso dessa ferramenta em educação é capaz de ampliar a adesão e a participação do usuário nas plataformas digitais⁸ .

Tendo em vista que as plataformas de sumários atuais estão disponíveis em formato digital (computadores e outros dispositivos inteligentes), são necessárias também formas de avaliar a facilidade em sua utilização. A isso, dá-se o nome de usabilidade, e diversas metodologias e ferramentas de validação estão disponíveis. Entre elas, tem-se a system usability scale (SUS), que é uma ferramenta quantitativa, medida por intermédio de um questionário curto, validado em língua portuguesa e amplamente utilizada no mundo todo, mesmo em plataformas da área de saúde⁹ . Segundo Nielsen, um dos maiores estudiosos da área, um teste de usabilidade envolvendo cinco usuários já é suficiente para se identificar a maior parte dos problemas. Para testes com grupos distintos (ou seja, perfis de usuários diferentes que utilizam o mesmo software ), os testes podem ser realizados com três usuários em cada grupo¹⁰ .

Fundamentado no entendimento dos obstáculos de acesso às plataformas de sumários médicos tradicionais, bem como das possibilidades de superação desses empecilhos, este trabalho propôs o desenvolvimento de uma nova plataforma digital de auxílio à tomada de decisão médica, haja vista sumários médicos baseados em evidências, gamificada e com conteúdo criado por meio de crowdsourcing , disponível para acesso em smartphones , tablets e computadores. Conjuntamente, descreveu-se a avaliação de tal plataforma, bem como as recomendações geradas nela, de modo a se refletir acerca da sua viabilidade enquanto instrumento consistente para tomada de decisão médica.

METODOLOGIA

A plataforma foi construída por meio de ferramentas de desenvolvimento web , usando o Angular como framework , que nada mais é que um conjunto de bibliotecas utilizadas para facilitar a construção da aplicação¹¹ . Tal escolha deu-se por ser uma ferramenta moderna, respaldada por uma grande empresa de tecnologia (Google) e com múltiplos usuários ao redor do mundo. Além disso, ela permite a disponibilização do conteúdo em múltiplos dispositivos — web , tablets, smartphones , entre outros.

A estrutura da plataforma é constituída de um servidor responsável pela autenticação do usuário e autorização do acesso às informações. Esse servidor comunica-se com um banco de dados, que armazena o cadastro de usuários, os conteúdos criados e a avaliação de cada conteúdo. O servidor também se comunica com a plataforma em nuvem Microsoft Azure¹² , responsável pelo armazenamento de imagens e pela hospedagem das aplicações.

Além do banco de dados, há uma interface responsável pelo acesso às informações e interação com estas, que está disponível em versões web e aplicativo para dispositivos móveis. Essa interface foi desenvolvida com tecnologia web (HTML5, Cascading Style Sheets — CSS e JavaScript).

A Figura 1 apresenta a relação entre usuários, interface e banco de dados. Portanto, a plataforma de sumários consiste em um software , livre e gratuito, disponível para acesso por computadores, smartphones e tablets .

FIGURA 1
Estrutura da plataforma de sumários

A estrutura conceitual da plataforma dá-se por quatro eixos:

• colaboração;

• atualização e edição;

• avaliação;

• gamificação.

Colaboração

É o principal eixo da plataforma, permitindo que o usuário envie as informações para utilização pelos demais. O usuário pode criar três tipos diferentes de conteúdo médico: tópicos, que nada mais são que sumários baseados em evidências de doenças, problemas, síndromes, alterações laboratoriais, sinais ou sintomas; medicamentos, ou seja, sumários de medicamentos contendo principais usos, posologia recomendada, aspectos farmacológicos, efeitos adversos, interações medicamentosas, entre outros; e calculadoras, que permitem cálculos rápidos de escalas de risco, medidas antropométricas, cálculo de doses, entre outros.

Atualização e edição

Qualquer usuário da plataforma pode, além de criar o conteúdo, atualizar ou editar um tópico, medicamento ou calculadora criado por outro. Cada edição, atualização ou edição realizada é salva no banco de dados e pode ser recuperada na interface, prevenindo a ação de vândalos que porventura venham a apagar conteúdos criados.

Avaliação

Por se tratar de uma plataforma de tomada de decisão clínica, a qualidade das informações disponíveis é indispensável. Há um mecanismo presente em cada tópico e medicamento, no qual o usuário pode atribuir uma nota ao conteúdo (de 1 a 5). A nota final de um tópico ou medicamento é composta da média das avaliações. Após cada edição ou atualização, a nota altera-se de acordo com a porcentagem de alteração do conteúdo. Por exemplo, se um conteúdo é modificado em 50%, sua nota cai pela metade. Quando se faz uma edição, todos os usuários poderão avaliar novamente o sumário alterado.

Gamificação

Considerando o potencial já discutido da gamificação no contexto da educação digital, tais elementos foram incorporados à plataforma. O estímulo à participação na plataforma dá-se pela distribuição de pontos pela colaboração. A cada conteúdo criado (tópico, medicamento ou calculadora), o usuário ganha 10 pontos; a cada edição em conteúdo realizada, ganha 5 pontos; e a cada avaliação feita, 1 ponto. A soma dos pontos ganhos pelo usuário permite com que este avance níveis (iniciando em 1 e finalizando no nível 99). A pontuação necessária para avançar em cada nível é composta da fórmula expressa pela Equação 1:

$\frac{2n^2+2n–4}{2}$ (1)

Em que:

n = o nível a ser alcançado.

Além da recompensa mediante a obtenção de níveis subsequentes na plataforma, há o anseio de que em um futuro próximo os usuários recebam recompensas reais (descontos em congressos, livros, materiais médicos, entre outros).

Eixos norteadores para validação da plataforma: peça de avaliação

Com o desenvolvimento da plataforma, seu processo de validação foi realizado. Para isso, foram levados em consideração quatro eixos: pesquisa de satisfação, avaliação de usabilidade, estudo de dados gerados na plataforma e avaliação da força das recomendações criadas.

Esse processo de validação iniciou-se logo após a criação de uma versão minimamente viável da plataforma e envolveu os PRM em MFC convidados, sendo os membros dos programas (coordenadores, tutores, preceptores ou médicos residentes) os primeiros a testar o software e participar das etapas da avaliação.

As análises estatísticas do processo de avaliação foram realizadas utilizando o software R¹³ .

Pesquisa de satisfação

A percepção dos usuários em relação à plataforma foi mensurada por meio de uma pesquisa de satisfação composta de um questionário semiestruturado enviado a todos os usuários cadastrados no sistema. Esse questionário serviu de orientação para medir a satisfação geral, se o usuário recomenda o software para alguém e se o considera uma ferramenta útil para tomada de decisão clínica. Além disso, também contou com um campo aberto para críticas e sugestões, valendo-se como norte para melhorias.

Avaliação de usabilidade

A avaliação da percepção da usabilidade pelos usuários deu-se pela seleção aleatória de nove médicos (entre preceptores, tutores e residentes dos PRM de MFC), os quais foram divididos em três grupos de três participantes cada um:

• Grupo 1: usuários ativos da plataforma;

• Grupo 2: não usuários da plataforma, mas que receberam treinamento específico para o uso;

• Grupo 3: não usuários da plataforma e que não receberam treinamento para uso.

Com a seleção dos participantes, eles foram convidados a realizar algumas tarefas predeterminadas, e todo o progresso foi gravado por uma ferramenta on-line ¹⁴ . Os participantes selecionados ficaram em uma sala, acompanhados por um membro da equipe, sendo solicitado que realizassem as seguintes tarefas:

1. Fazer cadastro na plataforma;

2. Realizar o login ;

3. Criar um novo tópico, dar o título de “Insuficiência cardíaca” e escrever “Teste 2018” no conteúdo;

4. Inserir o registro de um medicamento (dipirona) e escrever “Teste 2018” no conteúdo;

5. Criar uma nova calculadora (para cálculo do índice de massa corporal — IMC), lembrando que IMC = Peso/Altura²;

6. Editar um tópico preexistente (“Infecção por sífilis”) e escrever “Teste 2018” em qualquer posição do texto;

7. Avaliar um tópico preexistente (“Infecção por sífilis”).

Após a realização das tarefas, os usuários foram convidados a responder ao questionário SUS, com o objetivo de mensurar a usabilidade do sistema. Como forma de avaliar a usabilidade de acordo com as tarefas, foram avaliados número de tarefas cumpridas, tempo total de realização e média e mediana da pontuação no SUS por grupo. Além disso, foram comparadas as médias no SUS entre os grupos e idade dos usuários em relação à pontuação no SUS.

Estudo de dados gerados pela plataforma

A atividade dos usuários durante o uso da plataforma foi registrada no banco de dados do software , de forma longitudinal, ao longo de quatro semanas. Foram considerados na análise:

• Número de usuários cadastrados;

• Número de tópicos criados;

• Número de medicamentos criados;

• Número de calculadoras criadas;

• Tópicos com média suficiente (ou seja, com avaliação maior ou igual a 3 pontos);

• Tópicos com média insuficiente (ou seja, com avaliação menor que 3 pontos).

Tais dados gerados foram analisados individualmente e alguns deles comparados, observando a significância estatística das comparações. Compararam-se: número de usuários cadastrados em relação ao número de tópicos criados; número de usuários em comparação ao número de medicamentos criados; número de usuários no tocante ao número de calculadoras criadas; número de usuários no que se refere ao número de tópicos com média suficiente; número de tópicos criados em relação ao número de tópicos com média suficiente.

Esses indicadores objetivaram identificar principalmente se o aumento do número de usuários implica maior participação na plataforma e se essa maior participação se reflete em maior qualidade do conteúdo gerado, algo fundamental para a utilização da plataforma enquanto ferramenta de educação médica.

Avaliação da força das recomendações

O processo de desenvolvimento de um tópico ou medicamento na plataforma tem gerado uma série de recomendações a serem seguidas pelos demais usuários, quando estes têm de tomar uma decisão clínica. Como forma de facilitar o processo de tomada de decisão, tem sido orientado aos usuários da plataforma que classifiquem cada recomendação publicada utilizando a metodologia SORT. Portanto, a validação deve garantir que tais informações estejam de acordo com as melhores evidências disponíveis.

Para isso, uma amostra aleatória de 20% dos temas criados pelos usuários foi validada por um avaliador externo, com expertise em MBE. A avaliação das recomendações foi feita tendo como norte a metodologia SORT, com classificação em níveis A, B ou C, na qual A se refere a uma evidência de maior qualidade e C a uma de menor qualidade. Os resultados dessa classificação foram analisados de modo individual e também comparados com as avaliações dadas pelos usuários, de maneira a assegurar a confiabilidade do sistema colaborativo como auxílio à tomada de decisão médica.

Posteriormente a essa fase de testes, a plataforma foi lançada definitivamente na web e em dispositivos móveis. Após o lançamento, tanto o software quanto a ferramenta de avaliação estão em constante atualização e aperfeiçoamento.

Por se tratar de pesquisa envolvendo seres humanos, a investigação foi submetida à avaliação por Comitê de Ética em Pesquisa, sendo aprovada sob o número do Certificado de Apresentação para Apreciação Ética (CAAE) 00241018.1.0000.5282.

RESULTADOS E DISCUSSÃO

A plataforma

A plataforma desenvolvida encontra-se em sua primeira versão. As versões para dispositivos móveis e para web possuem interface semelhante, sendo composta de um menu lateral com os botões “ Home” , “Tópicos”, “Medicamentos” e “Rede”, cada um deles levando a uma diferente tela.

Ao acessar as seções “Tópicos”, “Medicamentos” e “Calculadoras”, o usuário tem acesso a uma listagem dos tópicos, medicamentos e calculadoras já criados, com seus respectivos autores e também a avaliação média de cada um. Ainda, é possível criar um novo conteúdo clicando no botão flutuante no canto inferior direito. Na Figura 2 há uma tela de exemplo da seção “Tópicos”.

FIGURA 2
Seção “Tópicos”

A Figura 3 mostra a tela de criação de novo tópico. Sua estrutura é semelhante à de criação de novo medicamento, tendo disponível um editor de texto para criação livre de conteúdo.

FIGURA 3
Criação de novo tópico

Para criação de uma nova calculadora, é necessário que as variáveis sejam incluídas e também a fórmula ou equação do cálculo a ser realizado. A Figura 4 mostra esse processo para criação de uma calculadora para IMC.

FIGURA 4
Seção “Calculadoras”

Por fim, ao acessar um conteúdo (tópico ou medicamento), pode-se ver seu conteúdo completo. Além disso, é possível atribuir uma nota para ele (de 1 a 5, representado por estrelas), conforme apresentado na Figura 5 .

FIGURA 5
Visualização e avaliação de um tópico

A seção “Rede”, por sua vez, contém o nível atual do usuário, bem como quantos pontos são necessários para avançar ao próximo nível. No canto superior direito também se vê o nível do usuário ( Figura 6 ). Isso compõe a estrutura de gamificação da plataforma, na qual cada interação do usuário (criação, edição e avaliação de conteúdo) se converte em pontos de experiência.

FIGURA 6
Seção “Rede”

A seção “Rede” também mostra o conteúdo desenvolvido pelo usuário. Futuramente, pretende-se que essa seção permita ainda interações entre os usuários, até mesmo com possibilidade de criação de grupos e fóruns de discussão.

Resultados da avaliação

Pesquisa de satisfação

O questionário foi respondido por um total de 16 pessoas. A Figura 7 mostra a escolaridade dos participantes. Nota-se participação maior de médicos em detrimento a médicos residentes e estudantes de Medicina, correspondendo a mais da metade do total.

FIGURA 7
Escolaridade dos participantes do questionário de satisfação

Com relação à idade dos participantes, a média foi de 31 anos, com mediana de 30,5 (25–40) anos. O questionário, composto de quatro perguntas respondidas em escala de Likert variando de 0 a 10, tem suas respostas mais fortemente positivas quando mais próximas de 10.

Como resultados, no que tange à satisfação com o uso da plataforma, a média das respostas foi de 8,9, com mediana de 9 (7–10). Quando perguntados se recomendariam o uso da plataforma a outra pessoa, a média das respostas foi de 9,6, com mediana de 10 (8–10). Sobre a utilidade da plataforma enquanto ferramenta de tomada de decisão clínica, a média foi igual a 8,1, com mediana igual a 8 (6–10). Por fim, ao serem indagados se utilizariam novamente a plataforma, a média das respostas foi igual a 9,2, com mediana de 10 (7–10). Os resultados encontram-se compilados na Tabela 1 .

TABELA 1
Resultados do questionário de satisfação do usuário

Questão	Média	Mediana
1 – Satisfação com o uso da plataforma	8,9	9
2 – Recomenda o uso da plataforma a outra pessoa	9,6	10
3 – Considera a plataforma útil como ferramenta de tomada de decisão clínica	8,1	8
4 – Utilizaria a plataforma novamente	9,2	10

No campo aberto para críticas e sugestões, algumas considerações interessantes foram observadas. No tocante às sugestões, uma solicitação recorrente foi permitir o uso da plataforma off-line , de forma a facilitar a consulta em regiões sem conectividade. Também foram sugeridas uma divisão do conteúdo por especialidades médicas e uma forma mais fácil de gerar as referências para o conteúdo criado. Alguns usuários elogiaram o sistema de gamificação, sugerindo que haja também um ranking de usuários com maior nível. Como críticas, alguns usuários experimentaram certa lentidão na plataforma, bem como carência inicial de conteúdo.

Os resultados indicam tendência à boa satisfação geral com o uso da plataforma, além de os usuários considerarem a plataforma útil para tomada de decisão e ter uma possibilidade interessante de retenção por conta do bom resultado no que se refere à utilização da plataforma novamente. As medianas com valores próximos das médias apontam também que os resultados não foram influenciados por valores extremos.

Avaliação de usabilidade

A Figura 8 e a Tabela 2 apresentam a comparação entre as médias obtidas no teste de usabilidade divididas por grupos. A média da pontuação no SUS é de 68 pontos, e o resultado dos três grupos foi classificado como A, o que equivale a um índice acima do percentil 90. Isso indica que, em média, a plataforma tem boa usabilidade, não havendo grandes problemas mesmo para usuários que nunca a utilizaram.

FIGURA 8
Média dos resultados de usabilidade dividido por grupos

TABELA 2
Pontuação total no system usability scale (SUS) dividida por grupos

Grupo	Média	Mediana	Mínimo	Máximo
Grupo 1	92,5	92,5	90	95
Grupo 2	87,5	87,5	85	90
Grupo 3	83,3	82,5	82,5	85

Por outro lado, a importante diferença entre as pontuações de usuários que já usaram a plataforma em comparação com aqueles que nunca a fizeram pode demonstrar a necessidade de um tutorial ou seção de treinamento, que pode ser disponibilizado na própria plataforma.

O tempo para realização das tarefas dividido por grupos está expresso na Tabela 3 . Observa-se diferença de tempos entre os grupos, a qual pende para o cumprimento das tarefas mais rapidamente entre aqueles que já usaram a plataforma ou que receberam treinamento. Com relação ao cumprimento das tarefas, todas foram cumpridas por todos os participantes do teste de usabilidade. Apesar da divergência no tempo, este oscilou menos de 3 minutos entre os grupos extremos, não sendo uma diferença significativa a ponto de atrapalhar a usabilidade da plataforma. Outra questão relevante é que as medianas com valores bastante próximos às médias indicam que valores extremos não influenciaram a média de forma significativa.

TABELA 3
Tempo total de realização das tarefas por grupos

Grupo	Média	Mediana	Mínimo	Máximo
Grupo 1	5min41s	5min25s	5min17s	6min22s
Grupo 2	6min40s	6min37s	6min12s	7min08s
Grupo 3	8min35s	8min50s	7min43s	9min12s

A idade média dos usuários participantes do teste de usabilidade foi de 30,4 anos, com mediana de 31 (25–35) anos. Para comparação entre a idade e a pontuação do SUS, foi utilizado o coeficiente de Pearson, por conta da distribuição normal dos dados (verificada por meio do teste de Shapiro-Wilk¹⁵ ). Com a comparação, verificou-se que a diferença entre a pontuação no SUS pela idade não é estatisticamente significativa (p > 0.05). Isso parece apontar que a plataforma não teve sua usabilidade influenciada pela variação de faixa etária do usuário.

Estudo de dados gerados pela plataforma

A Tabela 4 apresenta os resultados ao longo das quatro semanas de avaliação voltadas para o estudo de dados da plataforma. Podemos observar que, durante esse período, um total de 19 usuários se cadastraram na plataforma. Ao todo, 11 tópicos, sete medicamentos e uma calculadora foram criados.

TABELA 4
Resultados da avaliação de dados da plataforma

	Semana 1	Semana 2		Semana 3	Semana 4
Usuários totais (cumulativo)	7		10	13	19
Tópicos	1		2	3	5
Medicamentos	0		1	2	4
Calculadoras	0		0	0	1
Tópicos com média suficiente (cumulativo)	6		9	13	19
Tópicos com média insuficiente (cumulativo)	1		1	0	0

O número de usuários foi comparado com o número de tópicos criados por meio do uso do coeficiente de Pearson, em razão da distribuição normal dos dados (verificada pelo teste de Shapiro-Wilk). Nota-se, por meio do uso do coeficiente de Pearson, tendência de crescimento do número de tópicos com o crescimento do número de usuários, demonstrando correlação estatisticamente significativa (p < 0.05).

Na comparação entre o número de usuários e o número de medicamentos criados, também foi utilizado o coeficiente de Pearson, em razão da distribuição normal dos dados (verificada pelo teste de Shapiro-Wilk). Há também nesse caso tendência positiva, indicando correlação estatisticamente significativa (p < 0.05).

Com relação à comparação entre o número de usuários e o número de calculadoras criadas, foi utilizado o teste de Mann-Whitney, em função da distribuição não normal dos dados referentes às calculadoras (verificada pelo teste de Shapiro-Wilk). Foi encontrada correlação positiva entre esses dados, apontando para correlação estatisticamente significante (p < 0.05).

Por fim, na comparação entre usuários e tópicos com média suficiente e entre tópicos criados e tópicos com média suficiente, também foi utilizado o coeficiente de Pearson (distribuição normal dos dados verificada com o teste de Shapiro-Wilk). Como resultado, em ambos os casos, houve tendência de crescimento, com indicação de correlação estatisticamente significativa (p < 0.05).

Tais resultados corroboram a tese de que, com o aumento de usuários, há a tendência de aumento proporcional do conteúdo, bem como aumento da sua qualidade. Dessa forma, ampliar a divulgação e incentivar a participação do máximo de usuários possível parece uma estratégia factível para melhora da plataforma.

Avaliação da força das recomendações

Dos 11 tópicos criados, o total de 37 recomendações foi gerado na plataforma. Destas, uma amostra de sete recomendações foi selecionada de forma aleatória para avaliação pelo validador externo.

Considerando as avaliações realizadas pelo validador, quatro recomendações (57%) foram classificadas como de alta qualidade, ou seja, obtiveram força de recomendação A.

O Quadro 1 apresenta os resultados das avaliações comparativas entre os usuários da plataforma e o validador. Do total de recomendações avaliadas, quatro delas (57%) obtiveram a mesma classificação pelos usuários e pelo validador. Uma delas não foi classificada pelos usuários da plataforma (14,5%) e duas (28,5%) foram classificadas de forma diferente, tendo uma recebido avaliação melhor pelo validador experiente em comparação à feita pelos usuários.

QUADRO 1
Avaliação da força de uma amostra das recomendações geradas

Recomendação	Tópico	Força da recomendação na plataforma	Força da recomendação pelo validador
Tratamento para enxaqueca leve a moderada: ibuprofeno 400 mg	Enxaqueca em adultos	A	A
Pré-adolescentes com hipertensão devem ser avaliadas quanto a possível hipertensão secundária	Hipertensão arterial	B	C
O tratamento inicial recomendado para pacientes hipertensos com insuficiência cardíaca ou infarto do miocárdio prévio inclui um betabloqueador e um inibidor da ECA	Hipertensão arterial	A	A
A combinação de aumento da frequência urinária e disúria com ausência de corrimento vaginal é diagnóstica para infecção do trato urinário	Infecção do trato urinário em mulheres	Sem avaliação	C
A avaliação inicial na suspeita de insuficiência cardíaca deve incluir história e exame físico, avaliação laboratorial, radiografia de tórax e eletrocardiografia. A ecocardiografia pode confirmar o diagnóstico	Insuficiência cardíaca	C	C
Os inibidores da ECA parecem reduzir a mortalidade e as taxas de infarto do miocárdio e internação hospitalar em pacientes com disfunção ventricular esquerda ou insuficiência cardíaca sintomática	Insuficiência cardíaca	A	A
Não solicite exames de imagem, a menos que haja presença de alertas vermelhos ( red flags )	Lombalgia	B	A

• ECA: enzima conversora de angiotensina.

O alto índice de recomendações de alta qualidade observadas na amostra, somado ao fato de as avaliações pelos usuários estarem semelhantes àquelas feitas pelo validador, aponta para a hipótese de que a plataforma pode ser uma importante ferramenta para tomada de decisão médica baseada em evidências. Uma ressalva é feita à parte das recomendações que não foram classificadas pelos usuários, sendo necessários observação longitudinal do uso da plataforma e aumento da participação para verificar se essa amostra será representativa do todo.

CONSIDERAÇÕES FINAIS

O desenvolvimento da plataforma permitiu importante relação interprofissional entre as áreas de tecnologia da informação e saúde. Foi possível compreender, pesquisar e desenvolver ferramentas tecnológicas no auxílio à decisão médica. Observaram-se também possibilidades que apontam para a plataforma de crowdsourcing proposta como um caminho viável na consolidação de uma plataforma de sumários médicos no Brasil. A perspectiva de se ultrapassar os entraves das plataformas tradicionais pela reunião de características que não são encontradas usualmente em outros sistemas (como a colaboração, gamificação, avaliação e reputação) torna a proposta inovadora.

As avaliações realizadas revelaram que o aumento do número de usuários é capaz de se converter em maior produção de conteúdo e consequente aumento da qualidade deste. Além disso, os testes de usabilidade demonstraram resultados animadores, mesmo para usuários que nunca haviam utilizado a plataforma previamente. Ao se comparar o nível das evidências atribuído pelos usuários com aquele atribuído por um especialista, os resultados foram semelhantes, apontando para a confiabilidade da plataforma colaborativa enquanto ferramenta de tomada de decisão médica. Em relação à gamificação, estudos prévios sobre o tema e também a percepção dos usuários da plataforma indicam que essa é uma boa estratégia, não só para agregar novos utilizadores, como também para ampliar a retenção deles como membros ativos.

Além disso, o trabalho permitiu a reflexão sobre os processos educacionais. Há a expectativa de que, ao contribuir com a criação de conteúdo e ao consultar as informações para resolução de problemas da prática, médicos e estudantes de Medicina vivenciem um modelo diferenciado de educação médica. Nesse modelo, o aprendizado fundamentado em problemas da vida real e a construção de conhecimento de forma colaborativa estão integrados.

Como trabalhos futuros, além da inclusão de melhorias extraídas das avaliações, novas avaliações com foco na satisfação do usuário e, principalmente, na qualidade das evidências das recomendações geradas poderão ser conduzidas. Caberá, por fim, contar com a adesão ampla de usuários, a qual será definidora para o alcance e o sucesso da plataforma e para o fortalecimento das tomadas de decisão baseadas em evidências na área médica.

REFERENCES

• ¹
  Ozdalga E , Ozdalga A , Ahuja N . The Smartphone in Medicine: A Review of Current and Potential Use Among Physicians and Students . J Med Internet Res [ on line ]. 2012 . 14 ( 5 ) [ capturado 10 jan. 2019 ]; e128 . Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3510747/ https://dx.doi.org/10.2196%2Fjmir.1994
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3510747/» https://dx.doi.org/10.2196%2Fjmir.1994
• ²
  Marcolino TQ , Lourenço GF , Reali AMMR . “Isso eu levo para a vida!”: aprendizagem da prática profissional em uma Comunidade de Prática . Interface ( Botucatu ) [ on line ]. 2017 . 21 ( 61 ) [ capturado 6 mar. 2019 ]; 411 - 20 . Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-32832017000200411&lng=en http://dx.doi.org/10.1590/1807-57622016.0099
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-32832017000200411&lng=en» http://dx.doi.org/10.1590/1807-57622016.0099
• ³
  Hole GO , Brenna SJ , Graverholt B , Ciliska D , Nortvedt MW . Educating change agents: a qualitative descriptive study of graduates of a Master’s program in evidence-based practice . BMC med educ 2016 ; 16 : 71 . https://doi.org/10.1186/s12909-016-0597-1
  » https://doi.org/10.1186/s12909-016-0597-1
• ⁴
  Ebell MH , Siwek J , Weiss BD , Woolf SH , Susman J , Ewigman B , et al . Strength of recommendation taxonomy (SORT): a patient-centered approach to grading evidence in the medical literature . Am fam physician 2004 ; 69 ( 3 ) 548 - 56 .
• ⁵
  Haynes RB . Of studies, syntheses, synopses, summaries, and systems: the “5S” evolution of information services for evidence-based healthcare decisions . Evid based med 2006 ; 11 ( 6 ) 162 - 4 . https://doi.org/10.1136/ebm.11.6.162-a
  » https://doi.org/10.1136/ebm.11.6.162-a
• ⁶
  Prorok JC , Iserman EC , Wilczynski NL , Haynes RB . The quality, breadth, and timeliness of content updating vary substantially for 10 online medical texts: an analytic survey . J clin epidemiol 2012 ; 65 ( 12 ) 1289 - 95 . https://doi.org/10.1016/j.jclinepi.2012.05.003
  » https://doi.org/10.1016/j.jclinepi.2012.05.003
• ⁷
  Ermoshina K . Is There an App for Everything? Potentials and Limits of Civic Hacking . Observatorio (OBS*) [ on line ]. 2016 [ capturado 7 mar. 2019 ]. Disponível em: http://obs.obercom.pt/index.php/obs/article/view/1088 https://doi.org/10.15847/obsOBS0020161088
  » http://obs.obercom.pt/index.php/obs/article/view/1088» https://doi.org/10.15847/obsOBS0020161088
• ⁸
  Ahmed M , Sherwani Y , Al-Jibury O , Najim M , Rabee R , Ashraf M . Gamification in medical education . Med Educ Online [ on line ]. 2015 . 20 [ capturado 7 mar. 2019 ]. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4590351/ https://dx.doi.org/10.3402%2Fmeo.v20.29536
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4590351/» https://dx.doi.org/10.3402%2Fmeo.v20.29536
• ⁹
  Tenório JM , Cohrs FM , Sdepanian VL , Pisa IT , Marin HF . Desenvolvimento e Avaliação de um Protocolo Eletrônico para Atendimento e Monitoramento do Paciente com Doença Celíaca . Rev informática teórica e aplicada 2010 ; 17 ( 2 ) 210 - 20 . https://doi.org/10.22456/2175-2745.12119
  » https://doi.org/10.22456/2175-2745.12119
• ¹⁰
  Nielsen J . Why You Only Need to Test with 5 Users [ on line ]. 2000 [ capturado 16 jan. 2019 ]. Disponível em: https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
  » https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
• ¹¹
  Angular [ on line ]. [ capturado 6 mar. 2019 ]. Disponível em: https://angular.io/
  » https://angular.io/
• ¹²
  Microsoft . Plataforma e serviços de computação em nuvem do Microsoft Azure [ on line ]. [ capturado 6 mar. 2019 ]. Disponível em: https://azure.microsoft.com/pt-br/
  » https://azure.microsoft.com/pt-br/
• ¹³
  The R Foundation . R: The R Project for Statistical Computing [ on line ]. [ capturado 7 mar. 2019 ]. Disponível em: https://www.r-project.org/
  » https://www.r-project.org/
• ¹⁴
  Apowersoft . Gravador de tela grátis da Apowersoft – Grava Grátis a Tela do PC [ on line ]. [ capturado 6 mar. 2019 ]. Disponível em: https://www.apowersoft.com.br/gravador-de-tela-gratis
  » https://www.apowersoft.com.br/gravador-de-tela-gratis
• ¹⁵
  Razali NM , Yap BW . Power Comparisons of Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors and Anderson-Darling Tests [ on line ]. 2011 . 2 ( 1 ) [ capturado 9 mar. 2019 ]; 21 - 33 . Disponível em: https://www.researchgate.net/publication/267205556_Power_Comparisons_of_Shapiro-Wilk_Kolmogorov-Smirnov_Lilliefors_and_Anderson-Darling_Tests/
  » https://www.researchgate.net/publication/267205556_Power_Comparisons_of_Shapiro-Wilk_Kolmogorov-Smirnov_Lilliefors_and_Anderson-Darling_Tests/

• ORGANIZAÇÃO DE FOMENTO
  Departamento de Inovação da Universidade do Estado do Rio de Janeiro (InovUERJ) – Financiamento do registro de produto digital junto ao Instituto Nacional da Propriedade Industrial (INPI), sob o número BR 51 2019 000026-9.

Datas de Publicação

• Publicação nesta coleção
  13 Jan 2020
• Data do Fascículo
  2019

Histórico

• Recebido
  6 Jun 2019
• Aceito
  22 Jul 2019