SciELO - Scientific Electronic Library Online

 
vol.22 número6Fatores associados ao uso da Caderneta de Saúde da Criança em uma cidade de grande porte do nordeste brasileiro, 2009Coordenação da assistência à tuberculose: registro de dados e a implementação de um sistema informatizado índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

Compartilhar


Ciência & Saúde Coletiva

versão impressa ISSN 1413-8123versão On-line ISSN 1678-4561

Ciênc. saúde coletiva vol.22 no.6 Rio de Janeiro jun. 2017

http://dx.doi.org/10.1590/1413-81232017226.04412016 

Temas Livres

Avaliação participativa da qualidade da informação de saúde na internet: o caso de sites de dengue

André de Faria Pereira Neto1 

Rodolfo Paolucci1 

Regina Paiva Daumas2 

Rogério Valls de Souza3 

1 Programa de Pós-Graduação em Informação e Comunicação em Saúde (PPGICS), Instituto de Comunicação e Informação Cientifica e Tecnológica em Saúde (ICICT), Fundação Oswaldo Cruz (Fiocruz). R. Leopoldo Bulhões 1480, Manguinhos. 21041-210 Rio de Janeiro RJ Brasil. andrepereira@ensp.fiocruz.br

2 Escola Nacional de Saúde Pública Sergio Arouca, Fiocruz. Rio de Janeiro RJ Brasil.

3 Instituto Nacional de Infectologia Evandro Chagas, Fiocruz. Rio de Janeiro RJ Brasil.

Resumo

O mundo presenciou uma intensa e radical transformação nas relações sociais, econômicas e culturais promovida pela internet. Ela oferece oportunidades de acesso, difusão e produção de informação mundialmente. A saúde desponta como uma das principais áreas com informações de interesse para um número crescente de usuários. Muitas vezes estas informações são insatisfatórias, incorretas ou incompreensíveis. Este artigo analisa uma experiência de avaliação da qualidade da informação em sites de dengue, desenvolvida em um laboratório da Fundação Oswaldo Cruz. Ela contou com a participação de moradores de Manguinhos e de médicos da Atenção Primária de Saúde Pública, além de infectologistas e sanitaristas, na construção dos critérios e na avaliação dos sites. O artigo apresenta os principais resultados desta experiência que pode ser considerada inovadora porque seu processo e produto diferem dos propostos por agências e analistas nacionais e estrangeiros. Esta experiência pode subsidiar a constituição de um processo institucional que confira um selo de qualidade ao site que estiver em conformidade com os critérios e indicadores propostos.

Palavras-Chave: Normas; Avaliação; Internet; Dengue; Participação comunitária

Introdução

O mundo presenciou nos últimos anos uma intensa e radical transformação nas relações sociais, econômicas e culturais promovidas com o advento e a expansão da Internet1. Esta mudança permitiu que qualquer pessoa, com o mínimo de habilidade para manipular e poder aquisitivo para comprar dispositivos eletrônicos, consiga produzir e acessar informações anteriormente restritas a determinados grupos sociais ou de difícil alcance para a maioria da população2. Na Internet são incontáveis as fontes de informação e as possibilidades de interatividade entre indivíduos. Os sites de busca facilitam o acesso a estas fontes e as redes sociais constroem novos padrões de relacionamento online3. Além disso, o próprio indivíduo pode produzir informação, organizando seu próprio site, blog ou facebook. Assim, a Internet oferece novas oportunidades para o acesso, a difusão e a produção de informação no mundo todo4.

A saúde desponta como uma das principais áreas com informações de interesse para um número crescente de usuários sejam eles pacientes ou profissionais. Essas informações podem auxiliar na prevenção de doenças e estimular a promoção da saúde5. Elas permitem ainda a constituição do paciente informado: um consumidor especial de informações sobre serviços e produtos de saúde que se sente de alguma forma entendido em determinado assunto e detém condições potenciais de transformar a tradicional relação médico-paciente baseada na autoridade concentrada nas mãos do profissional6.

No facebook, muitos pacientes compartilham informações e experiências sobre os problemas que enfrentam7. Os incontáveis sites sobre temas vinculados, de alguma forma, às questões relativas à saúde-doença são produzidos por organizações públicas, privadas ou por indivíduos, sem qualquer tipo de avaliação. Muitas vezes estas informações são insuficientes, insatisfatórias, incorretas ou incompreensíveis. Por esta razão elas podem colocar em risco a saúde do cidadão. Diante deste contexto, a avaliação da qualidade da informação de saúde disponível online passou a assumir um papel relevante em várias partes do mundo8.

A preocupação com a avaliação da informação sobre saúde disponível na Internet tem pouco mais de quinze anos. Lopes9 analisou treze das principais iniciativas globais propostas por organismos internacionais, instituições privadas e não governamentais com esta finalidade. Algumas instituições, ao final da avaliação, oferecem um selo de qualidade enquanto outras fornecem instruções para provedores de informação. Há ainda quem divulgue um código de conduta que busca orientar o usuário a verificar se os sites estão em conformidade com critérios preestabelecidos. A autora destaca a Health on the Net Foundation (HON) e o Discern Questionnaire (DQ). A HON é uma instituição privada, com sede na Suíça, que certifica páginas de saúde na Internet desde 1995, oferecendo um selo de qualidade. O Discern Questionnaire foi criado em 1996 pela British Library and National Health Services (NHS). Ele oferece uma ferramenta para que os usuários façam esta avaliação. Em 1997, a Agency for Health Care Policy and Research e o Health Information Technology Institute (HITI) elaboraram o documento intitulado Criteria for the Quality of Health Information on the Internet, com finalidade semelhante a do Discern Questionnaire.

Eysenbach et al.10 publicaram os resultados de uma ampla revisão sistemática analisando 79 artigos sobre o tema que utilizaram 86 critérios diferentes para a avaliação de sites de saúde. Realizando um esforço de síntese, estes autores agruparam estes critérios em cinco: Acurácia, Técnico, Design, Abrangência e Legibilidade. A qualidade e a natureza desta investigação, a qual, associada ao fato de ter sido publicada no periódico da Associação Médica Americana, fez com que se transformasse em uma das principais referências no tema no momento da realização da presente experiência.

No Brasil, o Conselho Regional de Medicina de São Paulo (Cremesp) publicou, em 2001, uma Resolução acompanhada do “Manual princípios éticos para sites de medicina e saúde na internet”, apresentando recomendações para os usuários e gestores de sites. Em termos acadêmicos, a produção bibliográfica nacional sobre o tema pode ser considerada incipiente. Durante o mês de setembro de 2013, realizamos um levantamento bibliográfico sobre a produção brasileira em Internet e Saúde disponível na base da Scientific Electronic Library Online (SciELO). Utilizando a palavra-chave “internet”, na busca por assunto, foram encontrados 316 títulos. Destes, 112 foram identificados como abordando temas/problemas de saúde. Lendo seus resumos, encontramos 23 títulos que tratavam especificamente da questão da avaliação de qualidade da informação em sites de saúde11-33. Cada um deles avaliou a qualidade da informação de uma patologia específica ou de um comportamento ou estilo de vida associado à saúde ou à doença como o tabagismo e o aleitamento materno. Estes autores, em geral, tomam como referência os critérios das agências internacionais mencionadas acima. Eysenbach et al.10 identificaram cinco outros critérios na literatura internacional especializada. Não há, portanto, consenso em torno dos critérios e dos processos de realização desta avaliação.

O objetivo deste artigo é apresentar e analisar uma experiência de avaliação da qualidade da informação de saúde, desenvolvida no “Laboratório Internet, Saúde e Sociedade” (LaISS), vinculado ao Centro de Saúde Escola Germano Sinval de Faria da Escola Nacional de Saúde Pública da Fundação Oswaldo Cruz. Na oportunidade, foram avaliados 20 sites de dengue.

A dengue é uma doença reemergente nos trópicos e um problema de saúde pública de importância mundial34. É uma das maiores preocupações da saúde pública no mundo contemporâneo. Cerca de 2,5 bilhões de pessoas em mais de 100 países, aproximadamente 40% da população mundial, correm o risco de se infeccionar com o vírus da dengue35. A dengue foi considerada uma doença negligenciada durante muitos anos. Entretanto, recentemente, tem havido grande investimento em pesquisas sobre o tema. Um dos sinais, neste sentido, pode ser percebido no programa denominado “Controle abrangente da Dengue diante das alterações climáticas” pela Comissão Europeia (EC) que ofereceu, em 2011, cerca de 18 milhões de euros para pesquisa nesta área35.

A dengue vem afetando principalmente as populações residentes nas áreas urbanas dos países em desenvolvimento, onde a alta concentração demográfica e a insuficiente infraestrutura de saneamento básico produzem as condições ideais para a reprodução do mosquito36. Apesar de ser uma doença de baixa letalidade, a mortalidade por dengue tem aumentado no Brasil em consequência da expansão das áreas geográficas de transmissão da doença e da introdução de novos sorotipos do vírus. A grande maioria dos óbitos é considerada evitável pela adoção oportuna de medidas terapêuticas37. Assim, o acesso da população à informação de qualidade sobre a dengue é essencial tanto para reduzir a transmissão da doença, quanto para otimizar a utilização dos serviços de saúde e reduzir a mortalidade.

Por estas razões, o LaISS escolheu a dengue para esta pesquisa piloto de avaliação da qualidade da informação em sites.

Metodologia

Os critérios e os indicadores utilizados na experiência desenvolvida pelo LaISS foram construídos a partir dos resultados da revisão sistemática realizada por Eysenbach et al.10e por algumas reflexões introduzidas pela literatura nacional sobre o tema11-33. Inicialmente, apresentaremos estes resultados para então expormos aqueles adotados na experiência que será analisada neste artigo. Em seguida, descreveremos como estes critérios foram adotados na avaliação da informação em 20 sites de dengue desenvolvida pelo LaISS. Depois, explicaremos como foi realizado este processo de avaliação.

Critérios propostos na literatura

Um critério (do grego kritérion pelo latim criteriu) é um padrão que serve de base para que coisas e pessoas possam ser comparadas e julgadas. Eysenbach et al.10 encontraram 86 critérios que foram reunidos em cinco. O primeiro, denominado de Técnico, abrange a atribuição de responsabilidade e referência pela informação oferecida e a apresentação de datas de criação e atualização do site. Del Giglio et al.15, utilizando como referência o Discern Questionaire, incluiu em sua avaliação uma pergunta procurando saber se o site avaliado oferecia de forma clara as fontes de informação utilizadas.

O segundo critério encontrado por Eysenbach et al.10 visa avaliar aspectos estéticos do site como o layout, as cores e a facilidade de navegação. Ele foi nomeado pelos autores desta revisão sistemática de Design. Entre os autores nacionais, seis estudos12,19,22,31-33também se preocuparam com esta dimensão.

De acordo com Eysenbach et al.10, o terceiro critério envolve a Abrangência da informação oferecida. O objetivo deste critério é verificar se um site dispõe dos tópicos pertinentes ao tema de saúde-doença abordado. Geralmente, este critério não é explicitado, mas é empregado no contexto de outros critérios. Isto pode ser verificado nos exemplos de dois estudos nacionais30,32.

A Acurácia é o quarto critério. Ele foi definido por Eysenbach et al.10 pelo grau de concordância entre a informação oferecida e a melhor evidência geralmente aceita pela prática médica. No nosso entender, a precisão e a atualidade são atributos essenciais para provisão de informação sobre saúde. Por isso, os sites de saúde precisam apresentar uma informação correta do ponto de vista científico. Dois autores nacionais31,32 também se preocuparam com essa dimensão da informação.

Na revisão sistemática realizada por Eysenbach et al.10consta, ainda, um quinto critério denominado Legibilidade. Ele visa verificar o nível de compreensão do texto disponível online. Os autores que utilizaram este critério verificaram a extensão e a complexidade das frases e palavras, utilizando fórmulas como Flesh-Kincaid Grade Level Index10. Dentre os autores nacionais, dois31,32 se preocuparam com este aspecto da informação.

Nenhum dos trabalhos brasileiros11-33 disponíveis na SciELO utilizou, simultaneamente, os cinco critérios sugeridos pela revisão sistemática desenvolvida por Eysenbach et al.10. O que foi feito no trabalho desenvolvido pelo LaISS.

Critérios adotados na pesquisa

A avaliação realizada pelo LaISS adotou os cinco critérios propostos pela revisão sistemática desenvolvida por Eysenbach et al.10. Os critérios - Técnico, Abrangência e Acurácia - foram adotados na íntegra, com os mesmos sentidos e significados. Design e Legibilidade foram aplicados de outra forma.

A dimensão do critério Design foi denominada Interatividade. Neste sentido, a avaliação dos sites com este critério focou na verificação de recursos que facilitassem a navegação e que possibilitassem a comunicação entre os usuários e os gestores dos sites.

Em relação ao critério Legibilidade, a experiência do LaISS não utilizou fórmulas que verificam a extensão e a complexidade das frases e palavras. Estas ferramentas têm limitações, pois não levam em consideração outros aspectos subjetivos que afetam a compreensão dos textos e das palavras10. O trabalho do LaISS incorporou este critério de uma forma diferente e inovadora: usuários avaliaram se compreenderam ou não as informações disponíveis nos sites. Relataremos como essa participação ocorreu na apresentação do processo de avaliação.

Cabe mencionar, ainda, como o critério Abrangência foi estruturado de acordo com o tema da dengue. Foi considerado abrangente o site que apresentou informações sobre prevenção, transmissão, sintoma, diagnóstico e tratamento desta doença.

Cada critério foi acompanhado de um número distinto de indicadores que abordam aspectos específicos de cada dimensão da informação. Os 63 indicadores foram concebidos em forma de pergunta (Quadro 1).

Quadro 1 Critérios e Indicadores utilizados. 

Critério Indicador
1 Técnico O site apresenta o RESPONSÁVEL?
2 Constam INFORMAÇÕES sobre o responsável?
3 Consta a data da CRIAÇÃO do Site?
4 Consta a data da última ATUALIZAÇÃO?
5 Há quanto tempo foi feita a última ATUALIZAÇÃO?
6 O site tem alguma PROPAGANDA comercial?
7 Tem a fonte da informação de PREVENÇÃO?
8 Tem a fonte da informação de TRANSMISSÃO?
9 Tem a fonte da informação de SINTOMAS?
10 Tem a fonte da informação de DIAGNÓSTICO?
11 Tem a fonte da informação de TRATAMENTO?
12 Interatividade Tem E-MAIL ou FALE CONOSCO para contato na primeira página?
13 Participa de alguma REDE SOCIAL?
14 Tem como pesquisar?
15 Existe um MENU Principal?
16 A PRIMEIRA PÁGINA do site é ATRAENTE?
17 Abrangência Tem informação sobre PREVENÇÃO?
18 Tem informação sobre TRANSMISSÃO?
19 Tem informação sobre SINTOMAS?
20 Tem informação sobre DIAGNÓSTICO?
21 Tem informação de ONDE fazer o DIAGNÓSTICO?
22 Tem informação sobre TRATAMENTO?
23 Tem informação de ONDE fazer o TRATAMENTO?
24 Tem informação sobre os EFEITOS COLATERAIS do TRATAMENTO?
25 Legibilidade Você teve dificuldade de entender a informação sobre PREVENÇÃO?
26 Você encontrou FRASES difíceis na página de PREVENÇÃO?
27 Você encontrou PALAVRAS que não conhecia na página de PREVENÇÃO?
28 Têm IMAGENS na página de PREVENÇÃO?
29 As IMAGENS na página de PREVENÇÃO ajudam a entender o texto?
30 Você teve dificuldade de entender a informação sobre TRANSMISSÃO?
31 Você encontrou FRASES difíceis na página de TRANSMISSÃO?
32 Você encontrou PALAVRAS que não conhecia na página de TRANSMISSÃO?
33 Têm IMAGENS na página de TRANSMISSÃO?
34 As IMAGENS na página de TRANSMISSÃO ajudam a entender o texto?
35 Você teve dificuldade de entender a informação sobre SINTOMAS?
36 Você encontrou FRASES difíceis na página de SINTOMAS?
37 Você encontrou PALAVRAS que não conhecia na página de SINTOMAS?
38 Têm IMAGENS na página de SINTOMAS?
39 As IMAGENS na página de SINTOMAS ajudam a entender o texto?
40 Você teve dificuldade de entender a informação sobre DIAGNÓSTICO?
41 Você encontrou FRASES difíceis na página de DIAGNÓSTICO?
42 Você encontrou PALAVRAS que não conhecia na página de DIAGNÓSTICO?
43 Têm IMAGENS na página de DIAGNÓSTICO?
44 As IMAGENS na página de DIAGNÓSTICO ajudam a entender o texto?
45 Você teve dificuldade de entender a informação sobre TRATAMENTO?
46 Você encontrou FRASES difíceis na página de TRATAMENTO?
47 Você encontrou PALAVRAS que não conhecia na página de TRATAMENTO?
48 Têm IMAGENS na página de TRATAMENTO?
49 As IMAGENS na página de TRATAMENTO ajudam a entender o texto?
50 Acurácia A informação sobre PREVENÇÃO está de acordo com o atual estágio do conhecimento científico?
51 A informação sobre TRANSMISSÃO está de acordo com o atual estágio do conhecimento científico?
52 A informação sobre SINTOMAS está de acordo com o atual estágio do conhecimento científico?
53 A informação sobre DIAGNÓSTICO está de acordo com o atual estágio do conhecimento científico?
54 A informação sobre TRATAMENTO está de acordo com o atual estágio do conhecimento científico?
55 Tem informação sobre a fase crítica da doença em que há o risco de desenvolvimento de formas graves?
56 Tem informação clara, além dos sintomas iniciais da dengue, dos sintomas que podem surgir no período crítico?
57 Tem informação sobre a noção de SINAIS DE ALARME como prenúncio de agravamento da Dengue?
58 O Ministério da Saúde apresenta 11 SINAIS DE ALARME da Dengue descritos abaixo. Quantos destes SINAIS DE ALARME estão presentes neste site?
59 Tem informação de que a Dengue pode ser grave e mesmo causar a morte sem que o paciente apresente hemorragia ou plaquetas muito baixas?
60 Tem informação sobre a necessidade de diferenciar Dengue de outras doenças febris potencialmente fatais em caso de retardo como: as sepses de várias origens (aparelho digestório, urinário, respiratório e em especial a meningococcemia), a malária e a leptospirose?
61 Tem orientação sobre onde procurar TRATAMENTO em função da gravidade da doença ou dos sintomas apresentados?
62 Tem informação que oriente sobre a necessidade de retornar ao serviço de saúde para reavaliação clínica entre o terceiro e sexto dia da doença (fase crítica)?
63 Tem informação sobre a necessidade de procurar uma unidade de emergência imediatamente se surgirem SINAIS DE ALARME?

O processo

Analisando os trabalhos que integram a revisão sistemática realizada por Eysenbach et al.10podemos constatar que o trabalho desenvolvido no LaISS introduziu algumas contribuições relevantes em seu processo de realização.

A primeira, a mais importante, foi convidar usuários e profissionais para realizar esta avaliação. Eysenbach et al.10 concluíram em sua revisão sistemática que nenhum dos estudos levou em consideração em sua avaliação os pontos de vista de usuários reais ou experts sobre o tema.

Na experiência do LaISS, vinte moradores das Comunidades de Manguinhos fizeram a avaliação em nome dos usuários do Sistema Único de Saúde (SUS). Esses 20 moradores foram convidados por terem participado anteriormente de uma atividade de inclusão digital no LaISS. Este laboratório possui uma sala com 10 computadores. Assim, foi possível formar dois grupos com 10 moradores que se reuniram em dias e horários diferentes: dezessete mulheres e três homens. A maioria com o primeiro grau incompleto, tendo entre 30 e 40 anos. Muitos deles não tinham habilidade ou conhecimentos básicos de informática, nem tinham intimidade com as redes sociais. Por esta razão, foi realizada uma série de atividades para sensibilizá-los sobre as estruturas e os componentes básicos de páginas WEB.

Outro desafio foi familiarizar estes colaboradores com os termos normalmente utilizados no universo da Internet como site, homepage, website, link, download, send, delete: palavras estrangeiras de difícil compreensão para uma população com precária escolaridade. Esta familiarização durou cerca de seis meses.

Eles receberam uma bolsa de estudos da Vice-Presidência de Ambiente, Atenção e Promoção da Saúde (VPAAPS) da Fundação Oswaldo Cruz (Fiocruz). Podemos, portanto, admitir que o perfil socioeconômico e o nível de escolaridade se aproximem, em linhas gerais, daquele presente na maioria dos brasileiros. O projeto contou, ainda, com o apoio do “Programa de Desenvolvimento e Inovação Tecnológica em Saúde Pública no Território de Ações Integradas em Saúde” (PDT-SP-TEIAS).

Além dos moradores, foram convidados 10 médicos para fazer a avaliação em nome dos profissionais de saúde. A ideia inicial era reunir 20 médicos. A condição de voluntário dificultou a adesão deste montante. Entre 10 os médicos participantes incluem-se cinco profissionais experientes na atenção primária que trabalham no Centro de Saúde Escola Germano Sinval Faria (CSEGSF), da Escola Nacional de Saúde Publica (ENSP) da Fiocruz; um Pesquisador do Instituto de Pesquisa Clinica Evandro Chagas (IPEC) da Fiocruz, estudioso de doenças febris e quatro recém-formados que atuam na Estratégia de Saúde da Família, em Manguinhos.

Dois médicos-consultores auxiliaram na elaboração das perguntas relacionadas especificamente com esta doença. Todos participaram como avaliadores dos sites de dengue selecionados. Ao todo foram construídos 63 indicadores pelos moradores da Comunidade de Manguinhos e com os médicos consultores.

Para realizar a avaliação, o LaISS construiu duas ferramentas online, uma para cada grupo de avaliadores. A avaliação feita por usuários teve um sentido diferente daquela realizada por médicos. Os primeiros verificaram se o conteúdo era agradável, claro e se o site era de fácil navegação. Estes aspectos foram incluídos nos indicadores do critério Legibilidade. Os médicos avaliaram a conformidade da informação com o conhecimento cientifico sobre a dengue, critério denominado de Acurácia. Ambos verificaram os critérios Técnico, Interatividade e Abrangência. O trabalho de avaliação ocorreu nos cinco primeiros meses de 2013.

Uma segunda contribuição introduzida por este trabalho, desenvolvido pelo LaISS, está relacionada com a maneira pela qual os sites avaliados foram escolhidos. Em geral, os autores colocam alguma(s) palavra(s) chave(s) em um site de busca, escolhem os sites e realizam a avaliação. Neste caso, o procedimento para seleção dos sites que foram avaliados foi um pouco diferente.

Em primeiro lugar foi realizada uma pesquisa em 40 computadores de lanhouses localizadas nas Comunidades de Manguinhos. Foram relacionados os 10 primeiros sites apresentados como resultado na primeira página do buscador Google, utilizando a palavra dengue, em cada um destes computadores. Em geral, o usuário que utiliza este buscador dificilmente passa para a segunda página em sua pesquisa. Assim, existe uma grande possibilidade destes sites serem os mais acessados por quem realizasse a mesma busca para obter informações sobre essa doença nas lanhouses destas comunidades. O resultado final da aplicação deste método possibilitou que fossem selecionados 10 sites de dengue. Entre eles constam sites governamentais como o do Ministério da Saúde, de construção coletiva como o do Wikipédia e de iniciativas privadas independentes ou vinculadas a grandes órgãos de comunicação, como o G1 da Rede Globo de Televisão. A ordem em que eles são apresentados no Quadro 2 obedece à ordem encontrada na maioria dos 40 computadores pesquisados.

Quadro 2 Sites avaliados. 

Site Sites populares em Manguinhos Endereço
1 AJA Brasil www.dengue.org.br
2 Wikipédia pt.wikipedia.org/wiki/Dengue
3 Combate à dengue www.combateadengue.com.br
4 Minha vida www.minhavida.com.br/saude/temas/dengue
5 Dr. Drauzio Varella drauziovarella.com.br/corpo-humano/dengue/
6 Sua pesquisa www.suapesquisa.com/cienciastecnologia/dengue.htm
7 Brasil Escola www.brasilescola.com/doencas/dengue.htm
8 Secretaria Estadual de Saúde do Paraná www.combateadengue.pr.gov.br
9 G1 da Globo g1.globo.com/luta-contra-a-dengue
10 Ministério da Saúde portal.saude.gov.br/portal/saude/profissional/area.cfm?id_area=1525
11 Instituto Oswaldo Cruz www.ioc.fiocruz.br/dengue/
Site Sites certificados com selo da HON Endereço
12 Cria Saúde www.criasaude.com.br/N3599/doencas/dengue.html
13 Tua Saúde www.tuasaude.com/sintomas-da-dengue-tipo-4/
14 MD Saúde www.mdsaude.com/2009/02/dengue-sintomas.html
15 Saúde em movimento www.saudeemmovimento.com.br/conteudos/conteudo_frame.asp?cod_noticia=460
16 ABC da Saúde www.abcdasaude.com.br/artigo.php?101
Site Sites selecionados pela equipe do LaISS Endereço
17 Rede Dengue www.fiocruz.br/rededengue/cgi/cgilua.exe/sys/start.htm?tpl=home
18 Secretaria Estadual de Saúde do Rio de Janeiro www.riocontradengue.com.br
19 Secretaria Estadual de Saúde de Minas Gerais denguetemqueacabar.com.br
20 Secretaria Municipal de Saúde de Recife www.recife.pe.gov.br/especiais/dengue/

Foram incluídos ainda nesta relação os sites de dengue que possuem o selo de qualidade oferecido pela organização não governamental suíça HON. No endereço virtual desta ONG podem ser encontrados sites de saúde que foram certificados pela HON em diferentes países e que tratam de diferentes doenças ou problemas de saúde. Nele foram encontrados, no momento da realização desta pesquisa, cinco sites brasileiros sobre dengue que receberam seu selo de qualidade. Nenhum deles está entre os mais acessados nas Comunidades de Manguinhos. Nenhum deles está vinculado a órgãos governamentais, acadêmicos, grande mídia ou produção coletiva. Todos são de iniciativa privada.

Esta lista ficou completa com a inclusão de 3 sites públicos vinculados a órgãos governamentais. Assim foi constituído um grupo de 20 sites (Quadro 2).

Um terceiro aspecto inovador está associado ao princípio da transparência. Na avaliação realizada pelo LaISS consta a menção aos sites avaliados e seus respectivos endereços eletrônicos. Dos 23 artigos brasileiros que fizeram empreendimentos semelhantes, apenas cinco12,19,28,31,33mencionaram os sites que foram avaliados. A transparência também foi evidenciada nesta experiência através da forma com que os resultados foram expostos. A seguir será apresentado o resultado final que cada site obteve. Nos trabalhos nacionais, apenas dois28,31relacionaram os endereços eletrônicos de cada site avaliado.

Uma quarta e última contribuição merece ser mencionada: o processo de construção dos resultados.

Os sessenta e três indicadores foram organizados sob a forma de sentenças interrogativas. A maioria tem como respostas possíveis “Sim” ou “Não”. Elas indicam a presença ou a ausência de determinado aspecto da informação. Com isso, cada indicador teve uma resposta ideal para que a informação fosse considerada de qualidade. Esta estratégia teve como inspiração o conceito de conformidade. Segundo definição da Associação Brasileira de Normas Técnicas (ABNT), a conformidade é a “demonstração de que os requisitos especificados relativos a um produto, processo, sistema, pessoa ou organismo são atendidos” (ABNT NBR ISO/IEC 17000:2005).

Um exemplo pode ser dado neste sentido. No critério Técnico existe a seguinte pergunta: “O site apresenta o responsável?” Esta pergunta foi elaborada com a intenção de verificar se está explícita a informação sobre a pessoa física ou jurídica, pública ou privada, que se autodenomine responsável pelo site. Frequentemente, esta informação encontra-se em links como o “Quem somos” ou “Sobre”. Ela também pode estar ao lado do símbolo de copyright (©). Há neste caso duas respostas: “Sim” e “Não”. Estará em conformidade com este indicador o site que obtiver da maioria dos avaliadores a resposta “Sim”.

Ainda sobre o processo de construção dos resultados, no trabalho realizado pelo LaISS todos os critérios tiveram igual importância. Esta visão baseia-se no seguinte argumento: Um site que ofereça informações de saúde com qualidade deve obedecer a critérios de responsabilidade em relação à informação oferecida. Ela deve ser compreensível, correta e atual. No caso da dengue, o site deve conter informações sobre prevenção, transmissão, sintomas, diagnóstico e tratamento. O site por sua vez deve ser interativo. Na iniciativa do LaISS, o número de indicadores por critério é variável (Tabela 1). Como foi resolvido este problema? A solução encontrada foi transformar os resultados em percentuais.

Tabela 1 Ranking de sites por critério de Avaliação. 

Ranking Sites Média dos Critérios (%)

Técnico Interatividade Abrangência Acurácia Legibilidade Média Final(%)
1 Combate à Dengue 49,1 88,0 66,6 53,6 70,2 65,5
2 Cria Saúde 48,9 77,5 72,8 48,6 68,2 63,2
3 Secretaria Estadual de Saúde do Rio de Janeiro 41,6 89,5 66,9 65,7 46,8 62,1
4 ABC da Saúde 48,0 76,5 72,2 47,9 47,4 58,4
5 Wikipédia 61,8 44,0 71,9 38,6 53,6 54,0
6 AJA Brasil 31,4 59,5 56,3 42,9 78,4 53,7
7 Secretaria Estadual de Saúde do Paraná 62,7 54,0 64,1 38,6 45,8 53,0
8 Ministério da Saúde 37,5 76,0 57,8 62,9 28,4 52,5
9 MD Saúde 29,1 70,0 69,4 36,4 53,2 51,6
10 Minha vida 37,1 80,5 58,1 31,4 44,4 50,3
11 Dr, Drauzio Varella 23,9 59,5 58,8 43,6 33,2 43,8
12 Secretaria Estadual de Saúde de Minas Gerais 28,6 67,5 58,1 20,7 42,8 43,6
13 Saúde em movimento 29,3 65,5 60,0 16,4 41,2 42,5
14 Tua Saúde 39,8 65,5 49,1 15,0 40,6 42,0
15 Rede Dengue 48,2 61,0 36,9 24,3 29,2 39,9
16 Brasil Escola 29,8 70,0 44,4 17,9 31,8 38,8
17 G1 Globo 26,4 48,5 35,6 22,1 30,4 32,6
18 Secretaria Municipal de Saúde de Recife 23,9 25,0 50,9 23,6 33,8 31,4
19 Sua pesquisa 29,8 20,5 50,3 12,9 37,8 30,3
20 Instituto Oswaldo Cruz 36,4 24,0 23,1 11,4 16,8 22,3

Se a pergunta, mencionada anteriormente, sobre a existência ou não do responsável pelo site, tiver obtido 15 respostas “Sim” entre 30 avaliadores, nesse indicador o site avaliado terá atingido 50% de conformidade.

Nos resultados apresentados a seguir, serão mostrados os percentuais de respostas esperadas dentro de cada critério. Estes valores somados permitiram a criação de um ranking entre os sites (Tabela 1) que possibilita a identificação dos pontos fortes e fracos em cada critério.

Resultados

A Tabela 1 apresenta o resultado geral da avaliação. Com isso, tivemos a preocupação de enfatizar que a qualidade da informação em sites de saúde constitui-se em um problema que merece ser enfrentado. Por esta razão não destacamos os resultados a partir das diferentes contribuições de moradores e médicos.

Os 20 sites avaliados estão na coluna à esquerda obedecendo a posição que passaram a ocupar no ranking da avaliação realizada pelo LaISS. Esta organização dos dados por critério de avaliação utilizado facilita o trabalho do gestor do site. Ele será capaz de identificar os pontos fortes e fracos de seu site ou página. Com isso gostaríamos de chamar a atenção para esta característica do processo empreendido. Além disso, a transparência na apresentação dos resultados, por critério, é uma contribuição importante e justifica que sejam feitas novas avaliações nestes moldes.

A mesma tabela revela que nenhum dos dezoito sites de dengue avaliados pelos moradores e pelos médicos conseguiu estar 70% em conformidade com os critérios utilizados. Se este fosse o índice mínimo de conformidade aceito, nenhum site ou página receberia um selo que reconhecesse sua qualidade.

O fato de nenhum dos 20 sites avaliados ter atingido este nível de conformidade justifica a necessidade de iniciativas de avaliação de qualidade de informação online como esta.

Se o percentual aceitável para um site fosse de 60% das respostas esperadas por médicos e usuários, apenas três sites teriam atingido este índice: o site Combate a Dengue, o Cria Saúde e o site da Secretaria Estadual de Saúde do Rio de Janeiro (SESRJ). Vejamos mais detidamente cada um destes casos.

O primeiro colocado, com 65,5% de conformidade, foi o site combateadengue.com.br. Trata-se de um site que se dedica exclusivamente a dengue. Segundo consta em sua apresentação, suas informações foram produzidas com base em pesquisas em diversos sites sobre assunto, como as páginas do Ministério da Saúde, de instituições públicas e ONGs que realizam pesquisas sobre a doença. Este site afirma que se preocupa em transmitir as informações de forma clara e objetiva. Seu ponto forte é a Legibilidade, avaliada somente pelos moradores de Manguinhos, onde atingiu 70,2% de conformidade. No critério Acurácia (53,5%), avaliado somente pelos médicos, recebeu menores pontuações. Este é um aspecto que reputamos importante neste trabalho de avaliação de qualidade de informação: o site melhor posicionado no ranking final foi aquele que obteve a média mais alta somando e dividindo as notas obtidas em cada critério. Este site, por exemplo, não obteve a melhor nota em nenhum critério específico. O site combateadengue.com.br obteve médias altas em todos os critérios apesar de não ter obtido a maior nota em nenhum deles.

O segundo colocado foi a página da dengue no site do criasaude.com.br. Este site, diferindo do anterior, não se dedica exclusivamente à dengue. Nele podem ser encontradas páginas que abordam diferentes doenças, medicamentos e orientações nutricionais. Segundo consta no site, suas fontes de informação são os colaboradores, as agências de comunicação, livros médicos como o Larousse Médico e revistas médicas como a Tribune Médicale: jornal médico editado na Suíça. Consta no próprio site que ele é vinculado às empresas Swisscam Brasil e Pharmanetis Inc38 da Suíça. No site desta organização estrangeira pode ser identificado seu objetivo: se colocar no lugar do internauta propondo-lhe uma experiência inesquecível e aumentar as vendas. Afirma que seus clientes são os laboratórios farmacêuticos, clínicas e farmácias. Eles se propõem a editar conteúdo na Internet, no campo da saúde, com forte valor agregado (foto, texto, animação, vídeo), em diferentes idiomas. Eles afirmam que trabalham com o conceito news as process. Por isso, dizem que postam todos os dias informações novas no site. Esta estratégia talvez explique porque esta página recebeu a nota mais alta em Abrangência (72,8%) – média obtida com a avaliação realizada por médicos e moradores de Manguinhos. Ao inserir novas informações todos os dias, as chances da cobertura ser completa são maiores. A investigação desenvolvida pelo LaISS, permitiu identificar iniciativas online como esta ligadas a interesses da indústria farmacêutica internacional.

O terceiro colocado foi o site riocontraadengue.com.br da Secretaria Estadual de Saúde do Rio de Janeiro. Este site não consta entre os identificados no levantamento realizado nas lanhouses das Comunidades de Manguinhos. Este fato, em si, parece surpreendente, pois esta pesquisa foi feita em um bairro de uma cidade deste estado. Poder-se-ia supor, portanto, que este site fosse um dos mais acessados. Esta ausência talvez se justifique pelo precário índice de Legibilidade (46,8%) – critério avaliado somente pelos moradores de Manguinhos. Por esta razão, talvez ele não conste entre as preferências dos moradores das comunidades de Manguinhos apesar de ter obtido as melhores notas em Acurácia e Interatividade. Foi identificada, portanto, uma disparidade entre os resultados apresentados na Tabela 1 e a posição no ranking de Computadores de lanhouses de Manguinhos.

A Tabela 2 foi construída para comparar estes dois resultados. Na primeira coluna à esquerda, consta a posição que cada site ou página obteve na avaliação de qualidade de informação realizada. Em seguida, consta o nome da página ou site. Na terceira coluna está apresentada a posição ocupada por cada site ou página na busca através do Google nos computadores da Comunidade de Manguinhos, seguida daqueles que receberam o selo da HON.

Tabela 2 Comparação entre os resultados. 

Posição na Avaliação Site Posição em Manguinhos Site com Selo HON
1 Combate à Dengue 3
2 Cria Saúde
3 Secretaria Estadual de Saúde do Rio de Janeiro
4 ABC da Saúde
5 Wikipédia 2
6 AJA Brasil 1
7 Secretaria Estadual de Saúde do Paraná 8
8 Ministério da Saúde 10
9 MD Saúde
10 Minha vida 4
11 Dr. Drauzio Varella 5
12 Secretaria Estadual de Saúde de Minas Gerais
13 Saúde em movimento
14 Tua Saúde
15 Rede Dengue
16 Brasil Escola 7
17 G1 Globo 9
18 Secretaria Municipal de Saúde de Recife
19 Sua pesquisa 6
20 Instituto Oswaldo Cruz 11

O primeiro colocado na preferência da Comunidade de Manguinhos ficou em 10olugar na avaliação realizada. Trata-se da página de dengue do site AjaBrasil. Ele encabeçou a lista dos mais visitados em Manguinhos. Esta adesão talvez se explique na medida em que obteve o melhor índice de Legibilidade desta pesquisa (78,4% cf. Tabela 1). O fato do site mais acessado pelos moradores de Manguinhos ficar em décimo lugar justifica a necessidade de iniciativas de avaliação de qualidade de informação online como esta.

Outro aspecto merece destaque. Dos cinco sites chancelados com o selo HON apenas um ficou entre os três melhores avaliados. Trata-se do Criasaude analisado anteriormente. Vejamos mais detidamente outro site chancelado pela HON: A página da dengue do site saudeemmovimento.com.br. Ela ficou em décimo segundo lugar na avaliação realizada, apesar de ter o selo da HON. Consta em sua página, que este site vem se submetendo aos critérios desta organização desde julho de 2001. A última avaliação foi feita em julho de 2012 e sua validade expira em julho de 2014. Este selo foi conferido porque o site atendia aos oito “Princípios do Código HON”, a saber: responsabilidade pelo site; complementaridade da informação; privacidade; fonte da informação; justificativa dos benefícios da informação oferecida; transparência; interesses financeiros e política de propaganda.

Fica evidente que os critérios utilizados pela HON para oferecer um selo de qualidade são bem diferentes daqueles utilizados na iniciativa avaliada neste artigo. A HON utiliza critérios que se concentram no aspecto denominado de Técnico pela avaliação realizada. Os demais critérios não são contemplados pela agência suíça. Ela também não esclarece como esta avaliação foi realizada. Este artigo revela a diferença entre a avaliação realizada e aquela desenvolvida pela HON. Sugerimos que sejam incrementadas iniciativas como as que foram desenvolvidas pelo LaISS, que não se restrinjam aos critérios adotados pela agência HON.

Cabe um comentário para a página do site do Ministério da Saúde que trata o tema da dengue. Na avaliação realizada, esta página ficou em sétimo lugar. Esta posição talvez se justifique pelo fato desta página ter obtido o menor índice de conformidade em matéria de Legibilidade (28,4%) entre todos os 20 sites ou páginas avaliados (Tabela 1). Em relação à Acurácia, ele obteve o segundo melhor índice de conformidade (62,8%; Tabela 1). Esta pontuação não indica necessariamente que haja informação tecnicamente errada, mas que a informação disponibilizada está aquém do desejável no sentido de divulgar conceitos essenciais como aqueles relacionados com a identificação dos sinais de alarme e a compreensão de que a dengue pode ser grave e mesmo levar à morte, mesmo sem a ocorrência de hemorragia. Assim, a pontuação obtida pela página do Ministério da Saúde nesta avaliação indica que ela foi feita de maneira semelhante em todos os sites e páginas, independente de sua vinculação institucional.

Considerações finais

O trabalho realizado pelo LaISS apresenta algumas contribuições importantes que merecem ser destacadas.

Em primeiro lugar, cabe ressaltar que esta experiência construiu dois produtos – os critérios e o processo de avaliação de qualidade de informação em sites de saúde. Eles não são exatamente iguais àqueles propostos pelas avaliações dominantes como o da organização não governamental HON, dos estudos analisados por Eysenbach et al.10 e dos trabalhos desenvolvidos no Brasil. Os critérios e o processo foram apresentados e analisados neste artigo.

Em segundo lugar, destacamos o papel atribuído aos usuários e profissionais do Sistema Único de Saúde (SUS) como avaliadores da qualidade da informação. Esta experiência introduziu uma inovação incremental. Na experiência realizada pelo LaISS, cidadãos que vivem em condições de vulnerabilidade de diversas ordens, inclusive no acesso às mídias digitais, tornaram-se sujeitos do processo.

Avaliar a qualidade da informação não é um fim em si. A literatura sugere que a informação desempenha um papel importante na promoção da saúde e na prevenção de doenças13,14,16,22,26,29,31. Segundo Garbin et al.5, a internet pode vir a ser uma grande aliada na construção de projetos de promoção da saúde, em especial no que se refere ao desenvolvimento de habilidades pessoais. Entretanto, se não for compreendida e se não estiver disposta de forma correta e atualizada, sua apropriação pelo usuário pode ser dificultada.

Com a análise desta experiência e os resultados obtidos, pretendemos colocar em debate a importância que a certificação de sites pode ter para a Prevenção de Doenças e a Promoção da Saúde5. A certificação através de selo de qualidade parece ser uma opção para informar tanto ao público em geral quanto aos profissionais de saúde sobre a qualidade da informação disponível em um determinado site15.

Finalmente, ressaltamos que os resultados deste projeto guardam todas as condições de participar de forma crítica e criativa do debate internacional sobre os critérios de avaliação de sites de saúde.

Referências

1. Lévy P. Cybercultura. São Paulo: Editora 34; 1999. [ Links ]

2. Lemos A, Lévy P. O futuro da internet: Em direção a uma ciberdemocracia planetária. São Paulo: Paulus; 2010. [ Links ]

3. Recuero R. Redes sociais na internet. 2a ed. Porto Alegre: Sulina; 2011. [ Links ]

4. Castiel LR, Vasconcelos-Silva PR. Precariedades do Excesso: Informação e Comunicação em Saúde Coletiva. Rio de Janeiro: Fiocruz; 2006. [ Links ]

5. Garbin HBR, Guilam MCR, Pereira Neto AF. Internet na promoção da saúde: um instrumento para o desenvolvimento de habilidades pessoais e sociais. Physis 2012; 22(1):347-363. [ Links ]

6. Garbin HB, Pereira Neto A, Guilam MC. A internet, o paciente expert e a prática médica: uma análise bibliográfica. Interface (Botucatu) 2008; 12(26):579-588. [ Links ]

7. Pereira Neto A, Barbosa L, Silva A, Dantas, M. O paciente informado e os saberes médicos: um estudo de etnografia virtual em comunidades de doentes no Facebook. Hist. cienc. saude-Manguinhos 2015; 22 (Supl.):1653-1671. [ Links ]

8. Mendonça AP, Pereira Neto A. Critérios de avaliação da qualidade da informação em sites de saúde: uma proposta. Reciis 2015; 9(1):1-15. [ Links ]

9. Lopes IL. Iniciativas internacionais para o controle da qualidade da informação em Saúde na Web. Reciis 2012; 6(2):2-12. [ Links ]

10. Eysenbach G, Powell J, Kuss O, Sá E. Empirical studies assessing the quality of health information for consumers on the World Wide Web: a systematic review. JAMA 2002; 287(20):2691-2700. [ Links ]

11. Barbosa AL, Martins EN. Avaliação da informação dos pacientes sobre miopsias e fotopsias através da Internet. Arq Bras Oftalmol 2007; 70(5):839-843. [ Links ]

12. Carlini BH, Ronzani TM, Martins LF, Gomide HP, Souza ICW. Demand for and availability of online support to stop smoking. Rev Saude Publica 2012; 46(6):1066-1081. [ Links ]

13. Conti MA, Jardim AP, Hearst N, Cordás TA, Tavares H, Abreu CN. Avaliação da equivalência semântica e consistência interna de uma versão em português do Internet Addiction Test (IAT). Rev Psiq Clin 2012; 39(3):106-110. [ Links ]

14. Cubas MR, Felchner PCZ. Análise das fontes de informação sobre os autoexames da mama disponíveis na Internet. Cien Saude Colet 2012; 17(4):965-970. [ Links ]

15. Del Giglio A, Abdala B, Ogawa C, Amado D, Carter D, Gomieiro F, Salama F, Shiroma M, Del Giglio A. Qualidade da informação da internet disponível para pacientes em páginas em português. Rev Assoc Med Bras 2012; 58(6):645-649. [ Links ]

16. Gondim APS, Falcão CB. Avaliação das farmácias virtuais brasileiras. Rev Saude Publica 2007; 41(2):297-300. [ Links ]

17. Gondim APS, Weyne DP, Ferreira BSP. Qualidade das informações de saúde e medicamentos nos sítios brasileiros. Einstein 2012; 10(3):335-341. [ Links ]

18. Guardiola-Wanden-Berghe R, Sanz-Valero J, Wanden-Berghe C. Quality assessment of the Website for Eating Disorders: a systematic review of a pending challenge. Cien Saude Colet 2012; 17(9):2489-2497. [ Links ]

19. Leite F, Correia A. Avaliação da qualidade dos sítios da internet com informação de cárie na criança em língua Portuguesa. Rev Odonto Cienc 2011; 26(2):116-120. [ Links ]

20. Lins TH, Marin HF. Avaliação de website sobre assistência de enfermagem na sala de recuperação pós-anestésica. Acta Paul Enferm 2012; 25(1):109-115. [ Links ]

21. Lopes IL. Novos paradigmas para avaliação da qualidade da informação em saúde recuperada na Web. Ci Inf 2004; 33(1):81-90. [ Links ]

22. Moretti FA, Heymann RE, Marvulle V, Pollak DF, Riera R. Avaliação do nível de conhecimento sobre fibromialgia entre usuários da internet. Rev Bras Reumatol 2011; 51(1):13-19. [ Links ]

23. Moretti FA, Oliveira VE, Silva EMK. Acesso a informações de saúde na internet: uma questão de saúde pública? Rev Assoc Med Bras 2012; 58(6):650-658. [ Links ]

24. Prado OZ, Meyer SB. Avaliação da relação terapêutica na terapia assíncrona via internet. Psicol Estud 2006; 11(2):247-257. [ Links ]

25. Santos V, Portal MM, Ferigolo M, Dantas DCM, Barros HMT, Trindade CS. Sites sobre drogas de abuso: recursos para avaliação. Trab Educ Saúde 2010; 8(3):575-585. [ Links ]

26. Silva LVER, Mello Junior JF, Mion O. Avaliação das informações sobre rinite alérgica em sites brasileiros na rede mundial de computadores (Internet). Rev Bras Otorrinolaringol 2005; 71(5):590-597. [ Links ]

27. Silva RQ, Gubert MB. Qualidade das informações sobre aleitamento materno e alimentação complementar em sites brasileiros de profissionais de saúde disponíveis na internet. Rev Bras Saúde Matern Infant 2010; 10(3):331-340. [ Links ]

28. Silveira PCM, Costa AES, Lima CC. Gagueira na web: qualidade da informação. Rev CEFAC 2012; 14(3):430-437. [ Links ]

29. Souza CLN, Luz ZP, Rabello A. Análise da informação sobre a leishmaniose visceral disponível em portais brasileiros da rede mundial de computadores: internet. Rev Soc Bras Med Trop. 2008; 41(4):352-357. [ Links ]

30. Cronemberger EV, Portocarrero ML, Donato AR, Cunha MS, Barreto TF, Meneses JVL. O uso da internet como fonte de informação sobre cirurgia plástica na Bahia, Brasil. Rev. Bras. Cir. Plást. 2012; 27(4):531-535. [ Links ]

31. Pithon M, Santos E. Information available on the internet about pain after orthognathic surgery: A careful review. Dental Press J. Orthod. 2014; 19(6):86-92. [ Links ]

32. Mori S, Whitaker IY, Marin HF. Avaliação do website educacional em Primeiros Socorros. Rev. esc. enferm. USP 2013; 47(4):950-957. [ Links ]

33. Sousa P, Fonseca H, Gaspar P, Gaspar F. Usability of an internet-based platform (Next.Step) for adolescent weight management. J Pediatr 2015; 91(1):68-74. [ Links ]

34. World Health Organization (WHO). Dengue: Guidelines for Diagnosis, Treatment, Prevention and Control: New Edition. Geneva: WHO; 2009. [ Links ]

35. Jaenisch T; IDAMS, Sakuntabhai A; DENFREE, Wilder-Smith A; DengueTools. Dengue Research Funded by the European Commission-Scientific Strategies of Three European Dengue Research Consortia. PLoS Negl Trop Dis 2013; 7(12):e2320. [ Links ]

36. Guzman A, Istúriz RE. Update on the global spread of dengue. Int J Antimicrob Agents 2010; 36 (Supl. 1):S40-42. [ Links ]

37. Nogueira RM, Eppinghaus AL. Dengue virus type 4 arrives in the state of Rio de Janeiro: a challenge for epidemiological surveillance and control. Mem Inst Oswaldo Cruz 2011; 106(3):255-256. [ Links ]

38. Pharmanetis Sàrl [Internet]. Pharmanetis Sàrl (GmbH); c2010. [cited 2014 Feb 3]. Available from: http://www.pharmanetis.com/Links ]

Recebido: 19 de Fevereiro de 2016; Revisado: 14 de Junho de 2016; Aceito: 16 de Junho de 2016

Colaboradores

AF Pereira Neto e R Paolucci trabalharam em todas as etapas da elaboração do artigo e RP Daumas e RV Souza na sua revisão crítica e na aprovação da versão a ser publicada.

Creative Commons License  This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.