Desenvolvimento, validação e certificação internacional de um portal de saúde para pessoas com deficiência

RESUMO

Objetivos:

desenvolver, validar com especialistas e certificar internacionalmente um portal virtual de saúde, o D+Informação.

Métodos:

estudo metodológico quantitativo. A validação do Portal foi feita por 22 juízes especialistas nas áreas da saúde e da informática utilizando o Índice de Validade de Conteúdo e o teste de Gwet. A certificação internacional seguiu os princípios do HONcode^® para garantir a confiança das informações.

Resultados:

o Portal foi validado pelos juízes da saúde e da informática obtendo Índice de Validade de Conteúdo mínimo em mais de 75% dos tópicos, além da avaliação de concordância geral, 0,253; avaliação de conteúdo, 0,193; e avaliação da interface, 0,230. Todos apresentaram o valor de Gwet com p ≤ 0,001.

Conclusões:

o Portal D+Informação foi desenvolvido, validado, certificado internacionalmente e encontra-se hospedado neste endereço eletrônico: https://demaisinformacao.com.br

Descritores:
Website; Acesso à Informação; Informação de Saúde ao Consumidor; Pessoas com Deficiência; Inclusão Digital

ABSTRACT

Objectives:

to develop, validate with specialists and internationally certify a virtual health portal, the D+Informação.

Methods:

a quantitative methodological study. Twenty-two expert judges validated the Portal in the health and computer science areas using the Content Validity Index and the Gwet test. International certification followed HONcode principles^® to ensure the trust of information.

Results:

judges of health and computer science validated the portal obtaining a minimum Content Validity Index in more than 75% of the topics, in addition to the evaluation of general agreement, 0.253; content evaluation, 0.193, and interface evaluation, 0.230. All presented the value of Gwet with p ≤ 0,001.

Conclusions:

the portal D+Informação was developed, validated, internationally certified and is hosted on this website: https://demaisinformacao.com.br

Descriptors:
Website; Access to information; Consumer Health Information; Disabled People; Digital inclusion

RESUMEN

Objetivos:

desarrollar, validar con especialistas y certificar internacionalmente un portal virtual de salud, el D+Informação.

Métodos:

estudio metodológico cuantitativo. La validación del Portal fue hecha por 22 jueces especialistas en las áreas de salud y de la informática utilizando el Índice de Validez de Contenido y el test de Gwet. La certificación internacional siguió los principios del HONcode^® para garantizar la confianza de las informaciones.

Resultados:

el Portal fue validado por los jueces de salud y de la informática obteniendo Índice de Validez de Contenido mínimo en más de 75% de los tópicos, además la evaluación de concordancia general, 0,253; evaluación de contenido, 0,193; y evaluación de la interface, 0,230. Todos presentaron el valor de Gwet con p ≤ 0,001.

Conclusiones:

el Portal D+Informação fue desarrollado, validado, certificado internacionalmente y está hospedado en la siguiente dirección electrónica: https://demaisinformacao.con.br

Descriptores:
Redes de Comunicación de Computadores; Acceso a la Información; Información de Salud al Consumidor; Personas con Discapacidad; Inclusión Digital

INTRODUÇÃO

Atualmente, as mídias sociais digitais podem ser consideradas ferramentas para a promoção da inclusão, permitindo o acesso às informações e a troca de experiências entre as pessoas com deficiência, seus familiares e profissionais(¹). Assim, essas mídias sociais têm se estabelecido como locais de aprendizagem coletiva e de interatividade, em que os indivíduos podem interagir entre si, com a possibilidade de orientação profissional especializada, sem a necessidade de sair do seu domicílio. Nessa direção, há uma demanda da população por fontes de informações confiáveis, que ofereçam segurança e privacidade dos dados dos usuários, sem fins publicitários, em especial para públicos mais vulneráveis como as pessoas com deficiência(²-³). Esses recursos podem ser particularmente relevantes no contexto da pandemia de COVID-19, pois não há restrições para seu uso em razão de dispensarem contato físico, o que facilita o acesso à informação, pesquisa e acesso aos serviços de saúde.

O desafio atual é o acesso a informações seguras e baseadas em evidências científicas, o que favorece o combate às fake news e promove o conhecimento com vistas à ampliação das competências para melhor gestão do cuidado em saúde e da adoção de hábitos de vida mais saudáveis(⁴-⁵).

Nessa direção, um grupo de pesquisa (Neurorehab) tem desenvolvido ferramentas virtuais de aprendizagem. Entre elas, encontra-se um portal virtual de informações sobre saúde e inclusão, que objetiva contribuir para a divulgação do conhecimento científico, promovendo um ambiente de aprendizagem virtual e empoderamento, como forma de apoio às pessoas com deficiências (PcD), familiares e profissionais.

OBJETIVOS

Desenvolver, validar com especialistas e certificar internacionalmente um portal virtual de saúde, o D+Informação.

MÉTODOS

Aspectos éticos

O presente estudo recebeu aprovação pelo Comitê de Ética e Pesquisa e seguiu os padrões éticos de pesquisa envolvendo seres humanos estabelecidos pela Resolução nº 466/12 do Conselho Nacional de Ética em Pesquisa do Ministério da Saúde, que aborda a ética em pesquisa com seres humanos.

Desenho, período e local do estudo

Trata-se de um estudo metodológico, dividido em três etapas: desenvolvimento, validação por juízes das áreas de saúde e informática e certificação internacional das informações. O referencial da rede EQUATOR utilizado para sua elaboração foi o de melhoria da qualidade - SQUIRE. O desenvolvimento do Portal durou oito meses, entre julho de 2018 e março de 2019, quando foi disponibilizado para testes de funcionalidade antes do seu lançamento oficial.

Protocolo do estudo

Desenvolvimento do Portal

Para criar o Portal, optou-se pelo modelo proposto por um pesquisador brasileiro(⁶), que também já foi citado em outros estudos(¹,⁷). O modelo preconiza quatro fases de desenvolvimento de software: definição do escopo; planejamento; produção; e implementação(¹,⁶-⁷). Foi contratada uma empresa para desenvolver a estrutura inicial do Portal, utilizando o WordPress (projeto de código aberto usado para criar sites, blogs ou aplicativos). Em seguida, os conteúdos do Portal foram produzidos por especialistas no assunto e foram abordados e inseridos pelo grupo de pesquisa responsável. As postagens seguiram um template e foram revisadas pela equipe do Portal com um termo de direitos autorais para publicação das informações no ambiente virtual.

Validação do Portal Virtual por especialistas

Após seu desenvolvimento, o Portal D+Informação foi submetido à validação por juízes especialistas das áreas da saúde e da informática. Como método de seleção desses juízes, foram considerados os critérios e pontuação para classificação de juízes peritos segundo Fehring, adaptados e utilizados por outros pesquisadores para validação de plataformas virtuais(¹,⁷-⁸). Para ser considerado juiz neste estudo, foi requisitado como exigência mínima o ensino superior completo, preferencialmente com experiência em reabilitação, com participação em eventos científicos. Esses critérios estabelecem classificação por pontuação, com mínimo de 5 pontos para participação na pesquisa.

A amostra de juízes foi composta por 22 participantes (13 da área da saúde e 9 da área da informática), o que atendeu ao mínimo recomendado (5 juízes) para validação de plataformas virtuais(⁷-⁸). Os instrumentos de autoaplicação utilizados, confeccionados na plataforma Survey Monkey^®, possuem perguntas relacionadas à avaliação geral e de conteúdo pelos profissionais da saúde; e à avaliação geral e de interface para os juízes da informática.

Certificação internacional das informações

Após o aprimoramento do Portal, de acordo com a validação dos juízes, foi iniciado o processo de certificação internacional. A certificação das informações de saúde ocorreu segundo fluxograma do Código de Ética HONcode^® da Health on the Net Foundation - HON(⁹). Devem-se cumprir os oito princípios estabelecidos pelo HONcode: autoridade, complementaridade, confidencialidade, atribuição, justificativas, transparência, divulgação financeira e publicidade. Além desses princípios gerais, há o princípio da privacidade, por se tratar de uma plataforma colaborativa.

Análise dos dados

Para a análise dos dados e validação do Portal, utilizou-se o Índice de Validade do Conteúdo (IVC). Foram 24 questões para os juízes da saúde com temas relacionados à impressão geral e de conteúdo; e 37 questões para os juízes da informática relativas à avaliação geral e de interface, com escala Likert de 1 a 5, em que: 1 - concordo totalmente; 2 - concordo; 3 - nem concordo nem discordo; 4 - discordo; e 5 - discordo totalmente(¹⁰-¹¹). Determinou-se um alto índice de concordância entre os juízes(¹²): IVC mínimo de 0,80 (80% de concordância). Os critérios que obtiveram o IVC menor que 0,80 foram revisados. Além da análise estatística por meio do IVC, foram consideradas as observações e sugestões dos juízes inseridas na última questão aberta do instrumento. Foi utilizada também a estatística first-order agreement coefficient (AC1) de Gwet(¹³), que tem como vantagem a resistência com relação à homogeneidade marginal e ao traço de prevalência(¹⁴). Para as análises de concordância, foram empregados os programas R (R Core Team, 2018, versão 3.5.3) e o Excel(¹⁵). Adotou-se o nível de significância de 5%.

RESULTADOS

Os resultados serão apresentados segundo as três fases: desenvolvimento do Portal, validação por juízes especialistas e certificação das informações.

1ª fase: Desenvolvimento do Portal

O portal virtual, D+Informação (Figura 1), foi desenvolvido seguindo a metodologia descrita, utilizando o modelo de quatro fases de desenvolvimento para software: definição do escopo, planejamento, produção e implementação.

Figura 1
Página inicial do Portal D+Informação, Ribeirão Preto, São Paulo, Brasil, 2019

2ª fase: Validação por juízes especialistas

Caracterização dos juízes

Para a validação do conteúdo, participaram 13 juízes da área saúde, cumprindo a pontuação mínima necessária segundo os critérios de inclusão da pesquisa. Observou-se predomínio do sexo feminino (69,23%; n = 9) entre os juízes da saúde, com idade entre 30 e 60 anos e média de 40,57 anos (DP = 7,28). O tempo de formação variou entre 8 e 35 anos, com uma média de 15,30 anos (DP = 9,20) de formação, sendo que todos trabalhavam com reabilitação e afirmaram ter participado de algum evento científico relacionado à sua área de atuação nos últimos dois anos. Quanto à titulação acadêmica, os 13 participantes tinham alguma pós-graduação: 61,54% (n = 8), mestrado; 30,77% (n = 4), doutorado; e 7,69% (n = 1), pós-doutorado.

Para a validação específica da ergonomia e interface, além da geral, participaram nove juízes da área informática, todos do sexo masculino, com idade entre 28 e 57 anos e média de 41,22 anos (DP = 9,95). A média de tempo de formação foi de 17,70 (DP = 10,96) anos, e 100% trabalhavam com informática ou desenvolvimento de software. No tocante à titulação acadêmica, 22,22% (n = 2) tinham especialização; 33,33% (n = 3), mestrado; e 22,22% (n = 2), doutorado. Todos afirmaram participação em evento científico relacionado à sua área de atuação nos últimos dois anos.

Validação da impressão geral

Para a avaliação da impressão geral do D+Informação, participaram todos os 22 juízes (9 da informática e 13 da saúde), que analisaram os critérios descritos na Tabela 1.

Tabela 1
Distribuição dos critérios da avaliação da impressão geral do D+Informação, segundo os juízes da saúde e da informática e de acordo com o Índice de Validade de Conteúdo, Ribeirão Preto, São Paulo, Brasil, 2019, N = 22

Critérios	IVC Juízes saúde	IVC Juízes informática	IVC geral	% de concordância
1. Interface favorece a participação.	1,00	0,89	0,95	95,45
2. Apresentação do conteúdo favorece a participação.	0,92	0,89	0,91	90,91
3. Figuras e fotos ajudam na compreensão da temática do Portal.	0,84	1,00	0,91	90,91
4. O Portal é indicado como ferramenta educacional.	0,92	0,78	0,86	86,36
5. As limitações do Portal não excedem sua utilidade.	1,00	0,89	0,95	95,45
6. O nome do Portal (D+Informação) é adequado.	0,77	0,67	0,68	68,18
7. Recomendo o Portal.	1,00	1,00	1,00	100,00

Os números em negritos se referem aos itens que não atingiram o IVC mínimo; IVC - Índice de Validade de Conteúdo.Fonte: D+Informação, 2019.

No que diz respeito à avaliação geral, o Portal obteve a concordância geral dos juízes (AC1 = 0,253, EP = 0,043, p ≤ 0,001, teste Gwet). Somente o tópico relativo ao nome do Portal apresentou IVC inferior a 80% (68,18%).

No final do instrumento, foi oferecida a oportunidade para os juízes darem sugestões. Três sugeriram mais clareza e figuras ilustrativas para as PcDs, o que foi acatado e gerou modificações no Portal. Outro juiz recomendou a inserção de páginas governamentais que regulamentam os direitos das PcDs; assim, foi adicionada uma aba sobre “Leis e Direitos”. Foi sugerida e realizada uma revisão ortográfica dos textos do Portal, assim como a inserção de um ícone sobre desenvolvimento infantil na aba “Deficiências de A-Z”. Para aumentar a interatividade sugerida por três juízes, foram adicionadas enquetes e caixa de comentários em cada publicação, em que os usuários conseguem interagir entre si e fazer compartilhamento de conteúdo em suas redes sociais. Houve a sugestão de alteração do nome do Portal, mas esta não foi acatada.

Validação do conteúdo do Portal

Para a validação do conteúdo do D+Informação, os 13 juízes da saúde analisaram os critérios descritos na Tabela 2.

Tabela 2
Distribuição dos critérios de avaliação de conteúdo do D+Informação, segundo os juízes da saúde e de acordo com o Índice de Validade de Conteúdo, Ribeirão Preto, São Paulo, Brasil, 2019, N = 13

Critérios para avaliação do conteúdo	IVC	% de concordância
1. Os objetivos do Portal estão claramente definidos.	0,84	84,62
2. O Portal tem coerência com os objetivos a que se propõe.	0,92	92,30
3. O conteúdo do Portal é atualizado.	0,84	84,62
4. O conteúdo do Portal apresenta organização lógica.	0,84	84,62
5. O conteúdo é coerente com o público-alvo.	0,92	92,30
6. As informações são claras e concisas.	0,84	84,62
7. Os textos são de fácil leitura.	0,92	92,30
8. A apresentação de figuras e fotos é relevante para as informações incluídas nos textos.	0,84	84,62
9. A gramática é utilizada corretamente.	0,92	92,30
10. Os termos são utilizados corretamente.	1,00	100
11. A apresentação do conteúdo cativa a atenção dos usuários.	0,77	76,92
12. O Portal estimula a participação do usuário.	0,69	69,23
13. O Portal permite o aprendizado por meio de troca de experiências entre os usuários.	0,77	76,92
14. O Portal estimula o apoio mútuo.	0,84	84,62

Os números em negritos se referem aos itens que não atingiram o IVC mínimo; IVC - Índice de Validade de Conteúdo.

No que diz respeito ao conteúdo, o Portal obteve a concordância geral dos juízes da saúde (AC1 = 0,1925; EP = 0,0288; p ≤ 0,0000 teste Gwet). Foram obtidos IVCs inferiores a 80% em três tópicos do instrumento: 1) “A apresentação do conteúdo cativa a atenção dos usuários” (76,92%); 2) “O Portal estimula a participação do usuário” (69,23%) 3) “O Portal permite o aprendizado por meio de troca de experiências entre os usuários” (76,92%).

Um juiz sugeriu uma interface mais atrativa para crianças e adolescentes, e outro manteve a sugestão de linguagem menos técnica para as PcDs, além de mais figuras ilustrativas, sugestões estas já revistas na avaliação geral.

Validação ergonômica da interface do Portal

A validação ergonômica de interface do D+Informação foi realizada pelos nove juízes da informática seguindo os critérios descritos na Tabela 3.

Tabela 3
Distribuição dos critérios de avaliação de ergonomia e interface do D+Informação, segundo os juízes da informática e de acordo com o Índice de Validade de Conteúdo, Ribeirão Preto, São Paulo, Brasil, 2019, N = 9

Critérios	IVC	% de concordância
1. Páginas de menus possuem títulos e cabeçalhos.	1,00	100
2. Painéis de menus têm critério lógico de agrupamento.	1,00	100
3. Nomes das opções de menu são concisos.	0,89	88,89
4. Estrutura dos menus diminui passos para seleção.	0,89	88,89
5. Uso de abreviaturas é minimizado nos menus.	0,89	88,89
6. Ícones são legíveis.	1,00	100
7. Ícones são distintos e possuem sempre o mesmo significado.	1,00	100
8. Ícones são econômicos do ponto de vista do espaço nas telas.	0,89	88,89
9. Gramática é utilizada corretamente.	0,89	88,89
9. Usuário comanda a navegação no sistema.	1,00	100
10. Usuário pode interromper e retomar um diálogo.	0,89	88,89
11. Usuário desloca-se no sistema rapidamente.	0,89	88,89
12. Frases das mensagens de erro são concisas e objetivas.	0,89	88,89
13. Dados a serem lidos são apresentados continuamente.	1,00	100
14. Adota códigos significativos e familiares aos usuários.	0,67	66,67
15. Significados das cores são respeitados nos códigos.	0,78	77,78
16. Apresentação de textos e recursos de estilo é adequada.	1,00	100
17. Códigos visuais associam diferentes categorias de dados distribuídos de forma dispersa nas telas.	0,89	88,89
18. Itens selecionados para alteração, atualização ou acionamento estão destacados.	0,89	88,89
19. Qualquer mudança na situação de objetos de controle é apresentada visualmente de modo claro ao usuário.	0,89	88,89
20. Controles e comandos encontram-se visualmente diferenciados das informações apresentadas nas telas.	0,89	88,89
21. Telas apresentam somente os dados e informações indispensáveis para o usuário em sua tarefa.	0,89	88,89
22. Densidade informacional das janelas/telas é reduzida.	0,89	88,89
23. Design não sobrecarrega a memória.	0,89	88,89
24. Espaço de apresentação está diagramado em pequenas zonas funcionais.	0,89	88,89
25. Disposição dos objetos de interação de uma caixa de diálogo segue ordem lógica.	0,89	88,89
26. Os links funcionam corretamente.	1,00	100
27. Otimização do sistema é adequada para diferentes larguras de banda.	0,67	66,67
28. Sistema funciona corretamente em diferentes navegadores.	0,67	66,67

Os números em negritos se referem aos itens que não atingiram o IVC mínimo; IVC - Índice de Validade de Conteúdo.

No que tange à interface, o Portal obteve a concordância geral dos juízes da informática (AC1 = 0,2297; EP = 0,0221; p ≤ 0,001, teste Gwet). Foram obtidos IVCs inferiores a 80% em quatro tópicos do instrumento: 1) “O Portal adota códigos significativos ou familiares aos usuários” (66,67%); 2) “Os significados usuais das cores são respeitados nos códigos de cores definidos” (77,78%); 3) “A otimização do sistema é adequada para diferentes larguras de banda” (66,67%) 4) “O sistema funciona corretamente em diferentes navegadores” (66,67%).

3ª fase: Certificação das informações

A certificação do Portal pelo HONCode^® foi iniciada em outubro de 2019. O website foi visto e avaliado para cumprimento dos princípios da HON, de modo que as seguintes modificações/alterações foram realizadas conforme as sugestões dos avaliadores da HON:

Princípio 1 - Autoridade: A apresentação do autor principal e as qualificações do responsável editorial do Portal foram inclusas na aba “Quem Somos”;

Princípio 3 - Confidencialidade: Esclarecer que o site utiliza cookies, o que foi indicado na política de privacidade;

Princípio 4 - Atribuição: As informações foram referenciadas e datadas, além de revisadas todas as publicações do D+Informação, sendo incluída a data de postagem juntamente com a data da última modificação da página;

Princípio 8 - Publicidade: Foi claramente mencionado que o Portal não possui links ou banners publicitários. Inseriu-se texto nas políticas do D+Informação comunicando que o Portal não possui qualquer forma de publicidade.

Adicionalmente, para contemplar os Princípios Health 2.0, nos termos de uso do D+Informação” foram incluídos dois itens esclarecendo o usuário sobre a privacidade e autoridade do Portal.

DISCUSSÃO

O Portal D+Informação foi elaborado e implementado por uma equipe multidisciplinar de profissionais da área da enfermagem, informática, jornalismo, psicologia e comunicação social, seguindo os passos de desenvolvimento descritos no método deste estudo. Nesse sentido, a interdisciplinaridade se soma a uma fonte de informações baseada em evidências e compartilhamento mútuo de experiências. Os serviços e programas de reabilitação devem, o mais precocemente possível, iniciar o trabalho com equipes interdisciplinares para avaliarem as necessidades e capacidades das pessoas, incluindo adaptações e tecnologias assistivas(¹⁵).

A expertise dos juízes fez-se necessária para verificar a adequação e a qualidade dos itens na validação do Portal. Para participar do processo de validação, os juízes deviam apresentar os critérios mínimos exigidos neste estudo, resultando em uma pontuação que garantisse a expertise e a experiência necessárias para o aprimoramento desse instrumento virtual. Outros pesquisadores também utilizaram o sistema de pontuação como estratégia na seleção de juízes para participarem de estudos de validação, garantindo o nível de conhecimento e experiência na temática necessários para a avaliação e o aprimoramento das ferramentas desenvolvidas(¹⁰,¹⁶). Nessa linha, o presente estudo corrobora a necessidade do estabelecimento de critérios e pontuação para a seleção de juízes capacitados de acordo com a área e temática da ferramenta educacional digital a ser desenvolvida.

A avaliação da impressão geral do D+Informação contou com a colaboração de todos os juízes, da informática e da saúde, pois, nessa etapa, a intenção foi submeter o Portal a uma análise geral, isto é, não específica de determinada área. De acordo com as avaliações desses juízes, apenas o critério relacionado ao nome do Portal D+Informação não atingiu o IVC mínimo (0,80). Após discussão com o grupo de pesquisa desenvolvedor do Portal, optou-se por não mudar o nome, visto que este deriva de projetos anteriores, com o desenvolvimento de ferramentas virtuais como a rede social D+Eficiência (https://demaiseficiencia.com/) uma rede de apoio para pacientes, familiares e profissionais. Dessa maneira, para manter o público atual sem perder sua marca, o nome do Portal manteve-se D+Informação, porém foi utilizado o link de busca https://demaisinformacao.com.br conforme sugestão dos juízes de número 3, 8 e 9.

O espaço para os comentários e sugestões dos juízes ao final de cada instrumento mostrou-se essencial: apresentou-se como uma forma de extrair ainda mais a valiosa colaboração de juízes, extremamente experientes, para o aprimoramento do Portal. Seguindo as sugestões dos juízes, foram realizadas alterações na linguagem, na gramática, no conteúdo, além do incremento da interatividade e da participação dos usuários no Portal. Nesse sentido, foram adicionadas enquetes e caixas de comentários nas publicações; e encontra-se em fase de planejamento a inserção de podcasting e jogos, com intuito de trazer temas da atualidade para debates dentro do D+Informação.

A avaliação do conteúdo realizada pelos juízes da saúde mostrou que a maioria dos tópicos foi aprovada. Apenas três tópicos de conteúdo não alcançaram o IVC mínimo, relacionados à troca de experiência, atratividade e participação. Esses resultados levaram a alterações pertinentes na estrutura e conteúdo do Portal, inclusão de conteúdos diversos para as pessoas com deficiência e seus familiares, como a aba de últimas notícias, além de mais relatos de experiências. Para estimular a participação do usuário, foi inserida a enquete “O que você gostaria de ver no nosso Portal?”, visando atender os anseios do público-alvo e manutenção dos usuários ativos. Validações de plataformas interativas são amplamente utilizadas por estudiosos com objetivo de garantir a relação entre a plataforma e seu usuário(¹⁷-¹⁸). A validação do conteúdo por especialistas da área da saúde, na temática do estudo, foi fundamental para garantir a qualidade das informações e a sua adequação ao público a que se destina.

A avaliação ergonômica da interface pelos juízes da área da informática gerou uma série de alterações funcionais, que favoreceram a usabilidade e a acessibilidade do Portal. Por outro lado, segundo a avaliação desses especialistas, essa ferramenta educacional apresentou-se dentro dos parâmetros de validade em relação à ergonomia de interface, avaliado como acessível e de fácil navegação para os usuários. Nessa avaliação, apenas quatro tópicos avaliados não atingiram o IVC mínimo exigido (0,80). Destes, dois estavam relacionados a códigos e cores do Portal: “O Portal adota códigos significativos ou familiares aos usuários”; “Os significados usuais das cores são respeitados nos códigos de cores definidos”. Esse resultado levou à revisão dos códigos do Portal, facilitando a navegação do usuário dentro da página; e o esquema de cores foi padronizado com base no logo do D+Infomação. Essas alterações contribuíram para um processo de design participativo, recomendado por pesquisadores internacionais como forma de evitar complicações relacionadas ao design deficiente da interface da pesquisa em saúde(¹⁹).

Os outros dois tópicos que não atingiram o IVC mínimo na avaliação dos juízes da informática referiam-se ao sistema de navegação do Portal na internet: “A otimização do sistema é adequada para diferentes larguras de bandas”; “O sistema funciona corretamente em diferentes navegadores”. Nesses dois tópicos, o baixo IVC foi relacionado à dificuldade de avaliação dos juízes em vários sistemas e bandas diferentes, assim alguns assinalaram a opção “nem concordo, nem discordo”. Considerando isso, o Portal foi testado e verificado, estando disponível em diferentes larguras de bandas e em todos os navegadores e dispositivos com acesso à internet.

O Portal obteve concordância significativa nas três avaliações realizadas (avaliação geral, avaliação de conteúdo e avaliação ergonômica da interface), utilizando a estatística AC1 desenvolvida por Gwet. Apesar de o IVC ter mostrado a observação da frequência relativa, o AC1 Gwet é mais abrangente, pois considera a categorização diversificada da distribuição de frequência da escala de Likert. Assim, é cada vez mais comum o uso desse teste estatístico em estudo de validação de instrumentos(²⁰-²¹). A validação por juízes tem sido utilizada por pesquisadores no processo de desenvolvimento de tecnologias como método essencial para adequação das ferramentas ao público-alvo(²²). Esse processo permite que os avaliadores apontem as fragilidades no desenvolvimento de portais virtuais e façam sugestões baseadas nas experiências técnicocientíficas voltadas para as características do público-alvo. Nesse sentido, as sugestões dadas pelos juízes neste estudo foram pertinentes para complementar a qualidade das informações divulgadas aos usuários.

A certificação do D+Informação pelo HONcode^® foi produtiva, pois promoveu modificações essenciais para a sua adequação, elevando o seu nível de acordo com a padronização e certificação internacional. Enfatiza-se que o processo para conquistar a certificação exigiu um empenho considerável de toda a equipe de desenvolvimento do Portal, a fim de realizar os ajustes em consonância com os oito princípios da HONcode(²³). Por outro lado, os resultados mostraram que poucas alterações foram solicitadas após a avaliação do Portal pelos especialistas da HON. Isso pode ser atribuído ao fato de que, desde o início, o site foi feito de acordo com os princípios da HONcode. Nessa direção, tal experiência mostrou que iniciar o desenvolvimento de ferramentas digitais seguindo uma padronização internacional pode facilitar a aquisição de certificações no futuro.

A certificação de ferramentas virtuais com o uso do HONcode^® tem sido amplamente adotada por outros estudiosos da área de saúde no mundo todo(²⁴-²⁸). Mais de 7 mil sites de saúde, sediados em 102 países, usam o código HON para serem certificados (HONcode, 2020). O selo do HONcode^® certifica para os usuários que o Portal possui informações on-line de alta qualidade, claras e confiáveis. A duração da certificação HONcode^® é de um ano; assim, anualmente o Portal D+Informação deverá passar por todo o processo de certificação novamente para manter seu reconhecimento internacional. No futuro, visando aumentar a excelência, o Portal poderá ser submetido a outras certificações internacionais, como: American Acreditation Healthcare Commission (URAC-sites - Utilization Review Accreditation Commission) e a Agencia de Calidad Sanitaria de Andalucia (“Páginas Web Sanitárias”).

Limitações do estudo

Com relação às limitações do estudo, foram analisadas as oito principais páginas do Portal, para fins de avaliação nos processos de validação e certificação. Por se tratar de um portal grande, os inúmeros subtópicos, compostos principalmente de matérias postadas, não foram avaliados. Para complementar essa avaliação interiorizada do Portal, o próximo estudo do grupo de pesquisa irá avaliá-lo na perspectiva dos usuários, após a experiência individual de navegação em todos os subtópicos. Outra limitação que deve ser citada é que diferentes navegadores e bandas não conseguiram ser testados com eficácia pelos juízes. Apesar disso, depois do lançamento, nenhum usuário notificou dificuldades de navegação, o que foi também observado nos testes realizados pela equipe em diferentes navegadores e bandas.

Contribuições para a área de Enfermagem, Saúde ou Política Pública

Os rigorosos métodos de desenvolvimento e processo de validação do Portal permitiram o sucesso da ferramenta tecnológica desenvolvida e imprimiram um caráter científico ao processo de desenvolvimento, diferenciando-o de outros sites de saúde já existentes. Em síntese, o aprimoramento realizado durante a validação do D+Informação colaborou para a disseminação do conhecimento em saúde e inclusão, baseados em conhecimento científico e clínico, oferecendo informações claras, atrativas e acessíveis para a população.

Portanto, a expectativa é que o Portal D+Informação torne-se uma fonte de informação democrática, útil e confiável sobre saúde e inclusão, para todos os brasileiros, em especial para as PcDs, dentro de um ambiente interativo, participativo e certificado internacionalmente.

CONCLUSÕES

O Portal D+Informação foi desenvolvido, validado, certificado internacionalmente e encontra-se hospedado no seguinte endereço eletrônico: https://demaisinformacao.com.br/ O método criterioso para o desenvolvimento da ferramenta confere um caráter científico a todo esse processo, diferenciando-a de outros sites de saúde já existentes.

MATERIAL SUPLEMENTAR

Cintra, Michel Marcossi. Desenvolvimento, validação, análise da acessibilidade e certificação internacional de um portal de informações sobre saúde e inclusão [dissertação]. Ribeirão Preto: Universidade de São Paulo, Escola de Enfermagem de Ribeirão Preto; 2020 [citado 2021-10-02]. https://doi.org/10.11606/D.22.2020.tde-18032021-091718

• FOMENTO
  O presente estudo foi financiado pelo Programa CAPES-DAAD - Probral Edital nº14/2019 Processo nº 23038.005586/2019-95.

REFERENCES

• ¹
  Favoretto N, Faleiros F, Lopes F, Freitas G, Käppler C. Online health forum as a support for people who perform intermittent vesical catheterization. Texto Contexto Enferm. 2019;28(1):e20180263. https://doi.org/10.1590/1980-265X-TCE-2018-0263
  » https://doi.org/10.1590/1980-265X-TCE-2018-0263
• ²
  Frossard VC, Dias MCM. O impacto da internet na interação entre pacientes: novos cenários em saúde. Interface (Botucatu). 2016;20(57):349-61. https://doi.org/10.1590/1807-57622014.1334
  » https://doi.org/10.1590/1807-57622014.1334
• ³
  Rus HM, Cameron LD. Health communication in social media: message features predicting user engagement on diabetes-related Facebook pages. Ann Behav Med. 2016;50(5):678-89. https://doi.org/10.1007/s12160-016-9793-9
  » https://doi.org/10.1007/s12160-016-9793-9
• ⁴
  Frias Filho O. O que é falso sobre fake news. Rev USP. 2018;(116):39-44. https://doi.org/10.11606/issn.2316-9036.v0i116p39-44
  » https://doi.org/10.11606/issn.2316-9036.v0i116p39-44
• ⁵
  Silva MAR, Melo SA. Fake news: fronteiras do jornalismo e circulação de (des)informação sobre saúde. Rev Eletron Comunic Inf Inov Saude. 2020:14(1):1-5. https://doi.org/10.29397/reciis.v14i1.2047
  » https://doi.org/10.29397/reciis.v14i1.2047
• ⁶
  Bernardo V. Metodologia para desenvolvimento de projeto multimídia aplicado ao ensino da medicina [Dissertação]. São Paulo: Universidade Federal de São Paulo; 1996.
• ⁷
  Góes FSN. Desenvolvimento e avaliação de objeto virtual de aprendizagem interativo sobre o raciocínio diagnóstico em enfermagem aplicado ao recém-nascido pré-termo [Tese]. Ribeirão Preto: Universidade de São Paulo; 2010.
• ⁸
  Cucick CD. Desenvolvimento e validação de vídeo educativo para autocateterismo vesical intermitente limpo. Rev Eletron Enferm. 2019;21:53973 https://doi.org/10.5216/ree.v21.53973
  » https://doi.org/10.5216/ree.v21.53973
• ⁹
  Alexandre NMC, Coluci MZO. Content validity in the development and adaptation processes of measurement instruments. Cien Saude Colet. 2011;16(7):3061-8. https://doi.org/10.1590/S1413-81232011000800006
  » https://doi.org/10.1590/S1413-81232011000800006
• ¹⁰
  Campos Rivera NH, Sotelo Quiñonez TI. Design and validation of a scale of maternal attitudes towards childhood overweight and obesity. Acta Colomb Psicol. 2019;22(2):148-62. https://doi.org/10.14718/acp.2019.22.2.8
  » https://doi.org/10.14718/acp.2019.22.2.8
• ¹¹
  Martins MC, Veras JEGLF, Uchoa JL, Pinheiro PNC, Vieira NFC, Ximenes LB. Food safety and the use of regional foods: the validation of a serial album. Rev Esc Enferm USP. 2012;46(6):1354-61. https://doi.org/10.1590/S0080-62342012000600011
  » https://doi.org/10.1590/S0080-62342012000600011
• ¹²
  Gwet KL. Computing inter-rater reliability and its variance in the presence of high agreement. Br J Math Stat Psychol. 2008;61:29-48. https://doi.org/10.1348/000711006X126600
  » https://doi.org/10.1348/000711006X126600
• ¹³
  McCray G. Assessing inter-rater agreement for nominal judgement variables. Paper presented at: Language Testing Forum; 2013 Nov 15-17; Nottingham, England.
• ¹⁴
  R Core Team. A language and environment for statistical computing [Internet]. Vienna: R Foundation for Statistical Computing. 2018.Available from: http://www.R-project.org/
  » http://www.R-project.org/
• ¹⁵
  Health On the Net [Internet]. HON; 2019[cited 2020 Mar 22]. Available from: http://www.hon.ch/
  » http://www.hon.ch/
• ¹⁶
  Wild CF, Nietsche EA, Salbego C, Teixeira E, Favero NB. Validation of educational booklet: an educational technology in dengue prevention. Rev Bras Enferm. 2019;72(5):1385-92. https://doi.org/10.1590/0034-7167-2018-0771
  » https://doi.org/10.1590/0034-7167-2018-0771
• ¹⁷
  Bacallao-Pino LM. Recursos interactivos y redes sociales en la información sobre salud sexual y reproductiva en la prensa cubana: la sección “Sexo sentido", del diario Juventud Rebelde. Rev Cuba Inf Cienc Salud. 2015[cited 2020 Abr 15];26(2):94-106. Available from: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132015000200002
  » http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132015000200002
• ¹⁸
  Santiago DCS, Coutinho BD, Silva ASR. Uso de TICs: experiência a partir da extensão universitária. Ext Acao. 2017;2(14):108-17. https://doi.org/10.32356/exta.v2.n14.20315
  » https://doi.org/10.32356/exta.v2.n14.20315
• ¹⁹
  Hyochol A, Michael W, Debra L, Eunyoung CRN, Roger BFP. Depressão e dor em asiáticos americanos e brancos com osteoartrite do joelho. Physiol Behav. 2017[cited 2020 May 15];176(10):139-48. https://doi.org/10.1016/j.physbeh.2017.03.040
  » https://doi.org/10.1016/j.physbeh.2017.03.040
• ²⁰
  Alves MG, Batista DFG, Cordeiro ALPC, Silva MD, Canova JCM, Dalri MCB. Production and validation of a video lesson on cardiopulmonary resuscitation. Rev Gaucha Enferm. 2019;40:e20190012. https://doi.org/10.1590/1983-1447.2019.20190012
  » https://doi.org/10.1590/1983-1447.2019.20190012
• ²¹
  Grillo ACS, Faleiros F, Silva JCF, Tate DG, Greve JMA, Tholl AD. Portuguese language translation of the lower urinary tract data set for patients with spinal cord injury Texto Contexto Enferm. 2018;27(4):e5390016. https://doi.org/10.1590/0104-07072018005390016
  » https://doi.org/10.1590/0104-07072018005390016
• ²²
  Rosa BVC, Girardon-Perlini NMO, Gamboa NSG, Nietsche EA, Beuter M, Dalmolin A. Development and validation of audiovisual educational technology for families and people with colostomy by cancer. Texto Contexto Enferm. 2019;28:e20180053. https://doi.org/10.1590/1980-265x-tce-2018-0053
  » https://doi.org/10.1590/1980-265x-tce-2018-0053
• ²³
  Abdulrahman SA, Ganasegeran K, Surajudeen AA, Kurubaran G. m-Health in public health practice: a constellation of current evidence. In: Jude HD, Balas VE, editors. Telemedicine technologies: big data, deep learning, robotics, mobile and remote applications for global healthcare. London: Elsevier; 2019. p. 171-82 https://doi.org/10.1016/B978-0-12-816948-3.00011-8
  » https://doi.org/10.1016/B978-0-12-816948-3.00011-8
• ²⁴
  Bragazzi NL, Prasso G, Re TS, Zerbetto, Del Puente G. A reliability and content analysis of Italian language anorexia nervosa-related websites. Risk Manag Healthc Policy. 2019;12:145-51. https://doi.org/10.2147/RMHP.S193088
  » https://doi.org/10.2147/RMHP.S193088
• ²⁵
  Huang Z, Lum E, Car J. Medication management apps for diabetes: systematic assessment of the transparency and reliability of health information dissemination. JMIR Mhealth Uhealth. 2020;8(2):e15364. https://doi.org/10.2196/15364
  » https://doi.org/10.2196/15364
• ²⁶
  Murray KE, Murray TE, O’Rourke AC, Low C, Veale DJ. Readability and quality of online information on osteoarthritis: an objective analysis with historic comparison. Interact J Med Res. 2019;8(3):e12855. https://doi.org/10.2196/12855
  » https://doi.org/10.2196/12855
• ²⁷
  Neunez M, Goldman M, Ghezzi P. Online information on probiotics: does it match scientific evidence?. Front Med. 2020;6:296. https://doi.org/10.3389/fmed.2019.00296
  » https://doi.org/10.3389/fmed.2019.00296
• ²⁸
  Passos KK. Quality of information about oral cancer in Brazilian Portuguese available on Google, Youtube, and Instagram. Med Oral Patol Oral Cir Bucal. 2020;25(3):e346-52. https://doi.org/10.4317/medoral.23374
  » https://doi.org/10.4317/medoral.23374

Editado por

EDITOR CHEFE: Antonio José de Almeida Filho

EDITOR ASSOCIADO: Priscilla Valladares Broca

Datas de Publicação

• Publicação nesta coleção
  22 Abr 2022
• Data do Fascículo
  2022

Histórico

• Recebido
  01 Mar 2021
• Aceito
  22 Set 2021