Acessibilidade / Reportar erro

Ferramenta de apoio à decisão sobre o rastreamento do câncer de próstata no Brasil

RESUMO

OBJETIVO

Apresentar o processo de desenvolvimento e validação de uma ferramenta de apoio à decisão para o rastreamento do câncer de próstata no Brasil.

MÉTODOS

Estudo com desenho qualitativo-participativo para elaboração de uma ferramenta de apoio à decisão para o rastreamento do câncer de próstata, com a participação de um grupo de homens e médicos inseridos na atenção primária à saúde de 11 estados brasileiros. Realizou-se síntese de evidências, teste de campo e utilização nos cenários clínicos, de modo a adaptar o conteúdo, formato, linguagem e a aplicabilidade às necessidades do público-alvo nos anos de 2018 e 2019. As versões foram avaliadas de forma subsequente pelos participantes, sendo modificada a partir dos dados obtidos.

RESULTADOS

Foi elaborada uma ferramenta inédita no Brasil, com informações sobre os exames utilizados no rastreamento, comparação dos seus possíveis benefícios e malefícios e um infográfico numérico com as consequências dessa prática. Verificou-se utilidade da ferramenta para auxiliar na comunicação entre o médico e o homem no contexto da atenção primária à saúde, além de identificar a necessidade de maior discussão sobre o compartilhamento das decisões nos cenários clínicos.

CONCLUSÃO

A ferramenta foi avaliada como de fácil utilização, objetiva e com pouca interferência no tempo de consulta. É um material técnico-científico, produzido por meio de pesquisa, com a participação do seu principal público-alvo e que se encontra disponível gratuitamente para utilização nos cenários clínicos do Brasil.

Neoplasias da Próstata, prevenção & controle; Programas de Rastreamento; Tomada de Decisão Clínica; Uso da Informação Científica na Tomada de Decisões em Saúde; Relações Médico-Paciente

ABSTRACT

OBJECTIVE

To present the development and validation processes of a decision aid for prostate cancer screening in Brazil.

METHODS

Study with qualitative-participatory design for the elaboration of a decision aid for prostate cancer screening, with the participation of a group of men and physicians inserted in primary health care in 11 Brazilian states. Evidence synthesis, field testing, and use in clinical scenarios were performed to adapt the content, format, language, and applicability towards the needs of the target audience in the years 2018 and 2019. The versions were subsequently evaluated by the participants and modified based on the data obtained.

RESULTS

We elaborated an unprecedented tool in Brazil, with information about the tests used in the screening, comparison of their possible benefits and harms and a numerical infographic with the consequences of this practice. We verified the decision aid usability to assist in the communication between the doctor and the man in the context of primary health care, besides identifying the need for greater discussion about sharing decisions in clinical scenarios.

CONCLUSION

The tool was easy to use, objective, and has little interference in consultation time. It is a technical-scientific material, produced by research, with the participation of its main target audience and which is available free of charge for use in Brazilian clinical scenarios.

Prostatic Neoplasms, prevention & control; Mass Screening. Clinical Decision-Making; Use of Scientific Information for Health Decision Making; Physician-Patient Relations

INTRODUÇÃO

O rastreamento do câncer de próstata é amplamente difundido na prática clínica, embora as melhores evidências disponíveis apontem para um desequilíbrio entre os riscos e os possíveis benefícios dessa prática11. Lowenstein LM, Basourakos SP, Williams MD, Troncoso P, Gregg JR, Thompson TC, et al. Active surveillance for prostate and thyroid cancers: evolution in clinical paradigms and lessons learned. Nat Rev Clin Oncol. 2019;16(3):168-84 https://doi.org/10.1038/s41571-018-0116-x
https://doi.org/10.1038/s41571-018-0116-...
. A realização rotineira do antígeno prostático específico (PSA) e/ou toque retal em homens assintomáticos resulta em muitos diagnósticos e é acompanhada de importantes danos à qualidade de vida do homem22. Fenton JJ, Weyrich MS, Durbin S, Liu Y, Bang H, Melnikow J. Prostate-specific antigen–based screening for prostate cancer: evidence report and systematic review for the US Preventive Services Task Force. JAMA. 2018;319(18):1914-31. https://doi.org/10.1001/jama.2018.3712
https://doi.org/10.1001/jama.2018.3712...
.

Esses danos decorrem de resultados falso-positivos, que podem levar à necessidade de uma biópsia para descartar o câncer, podendo ocasionar dor, sangramento e infecção22. Fenton JJ, Weyrich MS, Durbin S, Liu Y, Bang H, Melnikow J. Prostate-specific antigen–based screening for prostate cancer: evidence report and systematic review for the US Preventive Services Task Force. JAMA. 2018;319(18):1914-31. https://doi.org/10.1001/jama.2018.3712
https://doi.org/10.1001/jama.2018.3712...
como consequência desse procedimento. Outros riscos estão relacionados ao sobrediagnóstico e ao sobretratamento, que se caracterizam, respectivamente, a diagnosticar e tratar um câncer que não evoluiria a ponto de ameaçar a vida e tem por complicações mais comuns a disfunção sexual erétil e a incontinência urinária22. Fenton JJ, Weyrich MS, Durbin S, Liu Y, Bang H, Melnikow J. Prostate-specific antigen–based screening for prostate cancer: evidence report and systematic review for the US Preventive Services Task Force. JAMA. 2018;319(18):1914-31. https://doi.org/10.1001/jama.2018.3712
https://doi.org/10.1001/jama.2018.3712...
,33. Modesto AAD, Lima RLB, D’Angelis AC, Augusto DK. Um novembro não tão azul: debatendo rastreamento de câncer de próstata e saúde do homem. Interface. 2018;22(64):251-62. https://doi.org/10.1590/1807-57622016.0288
https://doi.org/10.1590/1807-57622016.02...
, além de efeitos emocionais ao homem e aos familiares.

Considerando essas informações, a recomendação do Instituto Nacional do Câncer (INCA), desde 2008, é que o rastreamento só seja feito em homens que demandam espontaneamente esses exames e após um processo de decisão compartilhada, considerando os riscos e a incerteza sobre os benefícios44. Ministério da Saúde (BR), Secretaria de Atenção à Saúde, Coordenação Nacional de Saúde dos Homens, Coordenação de Saúde da Pessoa Idosa; Instituto Nacional do Câncer. Nota Técnica Conjunta n° 001/2015. Posicionamento do Ministério da Saúde acerca da integralidade da saúde dos homens no contexto do Novembro Azul. Brasília, DF; 2015 [cited 2019 Mar 3]. Available from: https://www.inca.gov.br/sites/ufu.sti.inca.local/files/media/document/nota-tecnica-saude-do-homem-ms.pdf
https://www.inca.gov.br/sites/ufu.sti.in...
,55. Instituto Nacional de Câncer. Rastreamento do Câncer de Próstata. Rio de Janeiro: INCA; 2013 [cited 2019 Mar 13]. Available from: https://www.inca.gov.br/sites/ufu.sti.inca.local/files/media/document/rastreamento-prostata-2013.pdf
https://www.inca.gov.br/sites/ufu.sti.in...
.

A tomada de decisão compartilhada se caracteriza por um processo colaborativo, onde são discutidas as opções de cuidado e suas possíveis consequências, de modo a alcançar a decisão mais adequada ao contexto de vida da pessoa. Essa abordagem é especialmente relevante em situações com algum grau de incerteza na relação entre riscos e benefícios. De modo a facilitar essa abordagem de cuidado, experiências internacionais recomendam a utilização de ferramentas clínicas, denominadas de apoio à decisão, para facilitar a comunicação e deliberação dessas informações. Essas ferramentas são indicadas, principalmente, quando há opções razoáveis em termos de resultados de saúde, as quais as pessoas valorizam de maneira diferente66. Coylewright M, Keevil JG, Xu K, Dodge SE, Frosch D, Field ME. Pragmatic study of clinician use of a personalized patient decision aid integrated into the electronic health record: an 8-year experience. Telemed J E Health. 2020;26(5):597-602. https://doi.org/10.1089/tmj.2019.0112
https://doi.org/10.1089/tmj.2019.0112...
.

As ferramentas de apoio à decisão são encontradas em diversos formatos, incluindo material impresso, vídeos ou dispositivos eletrônicos, que estimulam a participação dos usuários na tomada de decisão, facilitando o aumento de conhecimento sobre a temática discutida77. Stacey D, Légaré F, Lewis K, Barry MJ, Bennett CL, Eden KB, et al. Decision aids for people facing health treatment or screening decisions. Cochrane Database Syst Rev. 2017;(4):CD001431. https://doi.org/doi/10.1002/14651858.CD001431.pub5/full
https://doi.org/doi/10.1002/14651858.CD0...
,88. Riikonen JM, Guyatt GH, Kilpeläinen TP, Craigie S, Agarwal A, Agoritsas T, et al. Decision aids for prostate cancer screening choice: a systematic review and meta-analysis. JAMA Intern Med. 2019;179(8):1072-82. https://doi.org/10.1001/jamainternmed.2019.0763
https://doi.org/10.1001/jamainternmed.20...
.

Com intuito de auxiliar na comunicação clínica das implicações do rastreamento do câncer de próstata, prática sensível às preferências individuais, propôs-se construir um material que possa ser utilizado durante a consulta na atenção primária à saúde, nível responsável pela detecção precoce do câncer no Sistema Único de Saúde99. Ministério da Saúde (BR). Portaria de Consolidação Nº 2. Consolidação das normas sobre as políticas de saúde do Sistema Único de Saúde. Anexo IX Política Nacional para Prevenção e Controle do Câncer (PNPCC). Art 3º. Brasília, DF; 2017 [cited 2018 Dec 11]. Available from: https://bvsms.saude.gov.br/bvs/saudelegis/gm/2017/MatrizesConsolidacao/Matriz-2-Politicas.html
https://bvsms.saude.gov.br/bvs/saudelegi...
. A ferramenta é um material técnico de uma instituição federal, sendo disponibilizada e distribuída para as unidades básicas de saúde no Brasil. Dessa forma, o objetivo desse estudo é apresentar o processo de desenvolvimento e validação de uma ferramenta de apoio à decisão para o rastreamento do câncer de próstata no Brasil.

MÉTODOS

Seguindo as recomendações do International Patient Decision Aid Standards e experiências anteriores1010. Sepucha KR, Abhyankar P, Hoffman AS, Bekker HL, LeBlanc A, Levin CA, et al. Standards for UNiversal reporting of patient decision aid evaluation studies: the development of SUNDAE Checklist. BMJ Qual Saf. 2018;27(5):380-8. https://doi.org/10.1136/bmjqs-2017-006986
https://doi.org/10.1136/bmjqs-2017-00698...
, uma abordagem de três etapas foi utilizada para desenvolver e validar a ferramenta de apoio à decisão, considerando a avaliação do público-alvo: homens saudáveis e médicos inseridos na atenção primária à saúde. O desenho do estudo foi o qualitativo-participativo, que preconiza a integração dos sujeitos nos processos de produção da pesquisa, contribuindo não apenas com consentimento ou informação, mas modificando sua condução a partir de seus conhecimentos e vivências1313. Wallerstein NB, Duran B. Using community-based participatory research to address health disparities. Health Promot Pract. 2006;7(3):312-23. https://doi.org/10.1177/1524839906289376
https://doi.org/10.1177/1524839906289376...
,1414. Parker M, Wallerstein N, Duran B, Magarati M, Burgess E, Sanchez-Youngman S, et al. Engage for equity: development of community-based participatory research tools. Health Educ Behav. 2020;47(3):359-71. https://doi.org/10.1177/1090198120921188
https://doi.org/10.1177/1090198120921188...
, conforme descrito nas etapas a seguir:

Etapa 1: Concepção da Ferramenta

A primeira etapa teve o intuito de definir o conteúdo e construir a primeira versão da ferramenta com especialistas. Foi realizada revisão de literatura, com síntese das principais evidências disponíveis sobre o rastreamento do câncer de próstata, considerando ensaios clínicos e revisões sistemáticas sobre a efetividade e as consequências do rastreamento. A busca foi por meio das palavras-chave “câncer de próstata”, “rastreamento” e “apoio à decisão” de forma combinada, na base de dados MEDLINE, em português e inglês, para estudos publicados nos últimos cinco anos, sem filtro de idioma.

Inicialmente, foram selecionadas 1.200 referências que, após leitura do título para verificar o escopo e excluir 247 duplicatas, resultou em 150 artigos. A avaliação desses 150 resumos, selecionou 20 artigos para leitura completa e análise das evidências. Sítios eletrônicos de instituições de pesquisa que desenvolvem ferramentas de apoio à decisão também foram consultados como fontes adicionais e exemplos de infográficos1515. Canadian Task Force on Preventive Health Care. Ottawa (CA): CTFPHC; 2014 [cited 2019 Dec 31]. Available from: https://canadiantaskforce.ca/
https://canadiantaskforce.ca/...
,1616. US Preventive Services Task Force. Final Recommendation Statement: Prostate Cancer: screening. Rockville, MD: USPSTF; 2018 [cited 2019 Dec 2]. Available from: https://www.uspreventiveservicestaskforce.org/Page/Document/RecommendationStatementFinal/prostate-cancer-screening1
https://www.uspreventiveservicestaskforc...
. A busca subsidiou a primeira versão da ferramenta, construída a partir da contribuição de seis especialistas das áreas de detecção precoce do câncer e medicina de família.

Etapa 2: Calibração: Teste Piloto.

O teste piloto buscou adequar o formato e a linguagem ao público-alvo: homens saudáveis em idade madura (aproximadamente 40 anos). A avaliação ocorreu por meio de um grupo focal, com 19 participantes, funcionários de uma empresa pública de energia, localizada na cidade do Rio de Janeiro.

A escolha desse cenário se deu devido à solicitação prévia da empresa à instituição federal para palestras educativas sobre câncer para seus trabalhadores. Na ocasião, foi verificado que a empresa possuía considerável número de funcionários que correspondiam ao critério de inclusão do estudo. Dessa forma, realizou-se convite aberto aos trabalhadores para participação, de forma voluntária, em um encontro de pesquisa, realizado durante o turno de trabalho.

O encontro ocorreu com gravação de áudio, conduzido por dois facilitadores, que trabalharam as questões de pesquisas após leitura individual e coletiva da ferramenta impressa. As contribuições foram analisadas e incorporadas à segunda versão, que seguiu para a próxima etapa do estudo.

Etapa 3: Viabilidade e Uso da Ferramenta

Nesta etapa, a ferramenta foi aplicada pelos médicos que atuam na atenção primária à saúde a uma amostra de seu público-alvo, com o objetivo de avaliar sua aplicabilidade. Foi solicitado aos médicos que utilizassem a ferramenta em seus atendimentos, quando algum homem demandasse os exames para o rastreamento do câncer de próstata. Como critério de inclusão os médicos deveriam atuar há pelo menos um ano em uma unidade básica de saúde.

Os médicos foram convidados por e-mail, telefone ou aplicativo de mensagens, após divulgação da pesquisa pela rede de contato dos pesquisadores. O convite explicitava os objetivos da pesquisa, os critérios para participação e solicitava aos interessados contatar a pesquisadora principal por e-mail ou telefone. Também foi solicitado que os entrevistados indicassem outros médicos para serem convidados.

Os pesquisadores enviaram 93 convites, resultando em 42 respostas de médicos interessados em receber e testar a ferramenta. Realizou-se contatos semanais com os participantes para acompanhar a pesquisa e solicitar agendamento de entrevista por videoconferência, após no mínimo três utilizações. Nenhum médico informou desistir de participar do estudo, no entanto, 21 não retornaram as mensagens de acompanhamento e seis alegaram não ter tido nenhuma oportunidade para utilizar a ferramenta. Ao final, 15 médicos de 11 estados brasileiros (Espírito Santo, Minas Gerais (2), Rio de Janeiro (2), Paraná, Paraíba (2), São Paulo, Santa Catarina, Rio Grande do Sul, Goiás, Rondônia e Sergipe (2)) foram entrevistados.

Os médicos avaliaram a ferramenta quanto aos seguintes critérios1111. Abreu MM, Gafni A, Ferraz MB. The use of a decision board to elicit Brazilian patients’ and physicians’ preferences for treatment: the case of lupus nephritis. Value Health. 2011;14(5 Suppl):S141-6. https://doi.org/10.1016/j.jval.2011.05.015
https://doi.org/10.1016/j.jval.2011.05.0...
,1212. Ferraz MB, Ciconelli RM, Vilar MJ. Patient’s preference regarding the option of performing unselective liver biopsy following methotrexate treatment in rheumatoid arthritis. Clin Exp Rheumatol. 1994;12(6):621-5.:

  • Qualidade do conteúdo: examinar a qualidade da informação e a exatidão das evidências científicas;

  • Formato: avaliar o layout e o infográfico;

  • Aplicabilidade: verificar sua utilização no contexto clínico, uso, aceitabilidade e interferência no tempo de consulta.

As entrevistas foram gravadas, transcritas na íntegra e analisadas a partir dos critérios previamente descritos. As sugestões de mudanças foram incorporadas à ferramenta, que seguiu para a versão final com adequações de texto e formatação, sendo posteriormente publicada como produto técnico de uma instituição nacional especializada em câncer. A versão final foi enviada para dez médicos entrevistados que manifestaram desejo de receber a ferramenta e quatro enviaram comentários.

Esse estudo observou as exigências das Resoluções 466/2012 e 580/2018 do Conselho Nacional de Saúde no que concerne à ética em pesquisa com seres humanos, sendo aprovado pelo CEP/ENSP, CAE: 12165019.4.0000.5240. Todos os participantes forneceram sua concordância por meio da assinatura do Termo de Consentimento Livre e Esclarecido.

RESULTADOS

O desenvolvimento da ferramenta ocorreu durante os anos de 2018 e 2019 e resultou em um material de duas páginas, composto por textos explicativos sobre o rastreamento do câncer de próstata, os exames utilizados, uma tabela comparativa sobre seus riscos e benefícios, finalizando com um infográfico numérico sobre as consequências dessa prática. O conteúdo técnico foi construído a partir de evidências sobre a efetividade do rastreamento22. Fenton JJ, Weyrich MS, Durbin S, Liu Y, Bang H, Melnikow J. Prostate-specific antigen–based screening for prostate cancer: evidence report and systematic review for the US Preventive Services Task Force. JAMA. 2018;319(18):1914-31. https://doi.org/10.1001/jama.2018.3712
https://doi.org/10.1001/jama.2018.3712...
,1515. Canadian Task Force on Preventive Health Care. Ottawa (CA): CTFPHC; 2014 [cited 2019 Dec 31]. Available from: https://canadiantaskforce.ca/
https://canadiantaskforce.ca/...
, sendo a revisão sistemática mais atual encontrada, 201822. Fenton JJ, Weyrich MS, Durbin S, Liu Y, Bang H, Melnikow J. Prostate-specific antigen–based screening for prostate cancer: evidence report and systematic review for the US Preventive Services Task Force. JAMA. 2018;319(18):1914-31. https://doi.org/10.1001/jama.2018.3712
https://doi.org/10.1001/jama.2018.3712...
, a principal fonte do infográfico.

Seguindo modelos internacionais, o infográfico inicia com a estimativa de rastreamento em 1.000 homens com idade de 55 a 69 anos, acompanhados por 13 anos. Os dados seguem com a taxa de positividade de 10,2% para câncer de próstata, seguido de falso-positivo, que apresentou variação nos estudos entre 10,9% e 19,8%, sendo utilizada a taxa de 17,8%, relatada em cinco centros de pesquisa monitorados pelo european randomized study of screening for prostate cancer (ERSPC)1818. Schröder FH, Hugosson J, Roobol MJ, Tammela TLJ, Zappa M, Nelen V, et al. Screening and prostate cancer mortality: results of the European Randomised Study of Screening for Prostate Cancer (ERSPC) at 13 years of follow-up. Lancet. 2014;384(9959):2027-35. https://doi.org/10.1016/S0140-6736(14)60525-0
https://doi.org/10.1016/S0140-6736(14)60...
. Desse estudo também foram extraídas as taxas de redução de mortalidade específica de 1,3% e a de sobrediagnóstico de 50%22. Fenton JJ, Weyrich MS, Durbin S, Liu Y, Bang H, Melnikow J. Prostate-specific antigen–based screening for prostate cancer: evidence report and systematic review for the US Preventive Services Task Force. JAMA. 2018;319(18):1914-31. https://doi.org/10.1001/jama.2018.3712
https://doi.org/10.1001/jama.2018.3712...
,1616. US Preventive Services Task Force. Final Recommendation Statement: Prostate Cancer: screening. Rockville, MD: USPSTF; 2018 [cited 2019 Dec 2]. Available from: https://www.uspreventiveservicestaskforce.org/Page/Document/RecommendationStatementFinal/prostate-cancer-screening1
https://www.uspreventiveservicestaskforc...
.

Em relação às consequências do tratamento, optou-se por evidenciar os potenciais danos da prostatectomia radical, por ser o tipo de tratamento mais comum e o indicado como padrão-ouro nas diretrizes brasileiras para diagnóstico e tratamento do adenocarcinoma de próstata1919. Ministério da Saúde (BR), Secretaria de Atenção à Saúde. Portaria Nº 498, de 11 de maio de 2016. Aprova as Diretrizes Diagnósticas e Terapêuticas do Adenocarcinoma de Próstata. Brasília, DF; 2016 [cited 2020 Dec 23]. Available from: http://conitec.gov.br/images/Protocolos/DDT/DDT_Adenocarcinoma_Prostata.pdf
http://conitec.gov.br/images/Protocolos/...
. Assim, apresentou-se as taxas de 60% para disfunção sexual, 20% para incontinência urinária e 0,5% para complicações mais graves e morte22. Fenton JJ, Weyrich MS, Durbin S, Liu Y, Bang H, Melnikow J. Prostate-specific antigen–based screening for prostate cancer: evidence report and systematic review for the US Preventive Services Task Force. JAMA. 2018;319(18):1914-31. https://doi.org/10.1001/jama.2018.3712
https://doi.org/10.1001/jama.2018.3712...
,1616. US Preventive Services Task Force. Final Recommendation Statement: Prostate Cancer: screening. Rockville, MD: USPSTF; 2018 [cited 2019 Dec 2]. Available from: https://www.uspreventiveservicestaskforce.org/Page/Document/RecommendationStatementFinal/prostate-cancer-screening1
https://www.uspreventiveservicestaskforc...
.

Essa primeira versão da ferramenta seguiu para o teste piloto, sendo avaliada em um grupo focal composto por 19 homens, com idade entre 38 e 72 anos (média = 51 anos) e variados níveis de escolaridade e função laboral (Tabela 1).

Tabela 1
Perfil dos homens participantes do grupo focal do teste piloto, Rio de Janeiro, 2019.

A avaliação do grupo de homens gerou modificações na quantidade de informação (diminuição de texto e dados numéricos) e o infográfico foi alterado para uma apresentação mais simples e linear. Alguns termos também foram modificados, de modo a facilitar a compreensão, porém o conteúdo foi considerado adequado e esclarecedor pela maioria dos homens. Perguntas reflexivas ao final do material também foram excluídas por terem sido consideradas de pouca utilidade pelos homens.

Essas informações são muito importantes, aqui a gente consegue ver bem o que pode acontecer depois de fazer esses exames. M15

O material está muito bom, o fluxograma [infográfico] mostra as possibilidades de acontecer alguma coisa… de ter uma complicação, fazer a cirurgia, daí a gente pensa nas possibilidades. M2

A segunda versão da ferramenta, produto resultante das modificações sugeridas pelo grupo de homens, foi avaliada por médicos que a utilizaram entre três e doze vezes (média = 6), possuíam idade entre 25 e 46 anos (média = 35 anos), mais da metade era do sexo feminino e a maioria com pouco tempo de formação (< 5 anos) (Tabela 2). Devido à heterogeneidade geográfica da inserção dos médicos, que atuavam em áreas urbana (60%) e rural (40%), a ferramenta foi utilizada em homens de diferentes perfis, sendo a maior parte de baixa escolaridade e baixo nível socioeconômico, com idade em torno de 50 anos.

Tabela 2
Perfil dos médicos que aplicaram a ferramenta, 2019.

A ferramenta foi considerada útil para a prática clínica e de fácil utilização pela maioria dos médicos (86%), que destacaram a objetividade e o designer como as principais potencialidades. O conteúdo técnico foi qualificado como adequado e correto, não havendo discordância com as informações apresentadas.

A forma de utilização ficou a critério de cada médico, sendo utilizada na tela do computador ou impressa, porém, não foi identificada superioridade entre as duas formas, mesmo quando intercalada pelo profissional. No entanto, alguns relatos sugerem maior praticidade quando a ferramenta está disponível no computador do consultório.

É mais fácil quando o material já está ali disponível no computador que a gente está atendendo e preenchendo as informações no prontuário… quando o paciente toca no assunto é só abrir e mostrar. M5

Em contrapartida, dois entrevistados consideraram a ferramenta pouco útil; o primeiro afirma que os riscos do rastreamento não deveriam ser apresentados aos homens e sugeriu excluir essas informações; o segundo afirmou que o médico não precisaria discutir as implicações do rastreamento com o homem, já que essa prática não é recomendada e sugeriu que os dados numéricos poderiam dificultar o entendimento de homens de baixa escolaridade sobre as informações.

Eu achei bom para o médico, mas achei difícil passar daquela maneira… senti que a informação não é bem absorvida e acabei gastando um pouco mais de tempo para pedir para pessoa olhar… traduzir para ele… pra mim foi bom, me ajudou a sistematizar as informações, mas pro público em si, não achei muito. M9

Em relação a interferência no tempo de consulta, 53% dos médicos relataram não ter alteração e 33% apontaram diminuição do tempo, afirmando que a ferramenta ajuda a lembrar todos os pontos que devem ser abordados durante a conversa, conforme destacado na fala abaixo:

É muita coisa que a gente tem que falar para o paciente, tenho que falar de diabetes, tuberculose… quando já está tudo ali, ajuda muito… e como eu tenho pouco tempo de prática, fica mais fácil lembrar tudo que tenho que dizer. M3

A maioria dos médicos (67%) informou que os homens optaram menos pelo rastreamento após exposição à ferramenta, em comparação aos atendimentos anteriores. Essa mudança foi atribuída à maior compreensão dos riscos, facilitada pelos recursos gráficos e pela credibilidade institucional conferida à ferramenta.

Faz diferença quando você tem uma instituição por trás. Não sou eu que estou falando, não é só o médico da cidade… Tem uma credibilidade aí, eu fico mais seguro de falar e o paciente vê escrito… faz muita diferença. M8

Com a ferramenta, os médicos afirmaram ter mais segurança para transmitir as informações sobre os riscos, devido ao respaldo institucional conferido pelo material. Da mesma forma, há relatos de que os homens demonstraram mais confiança em não realizar os exames, quando se depararam com a ferramenta. Essa observação foi acrescida da afirmação de que, sem a ferramenta, os homens repletos de informações favoráveis ao rastreamento, frequentemente se mostravam desconfiados quando apresentados aos riscos, especialmente os que já haviam realizado algum exame anteriormente.

Tem homem que fica um pouco desconfiado, principalmente os mais velhos, que já fazem esses exames há anos… eu achei que o material me ajudou a mostrar isso para eles, que tem uma ciência nisso. M6

Por outro lado, a análise das entrevistas também permitiu identificar que mesmo diante da ferramenta a opinião do médico sobre o rastreamento prevalece com grande peso na decisão, uma vez que, suas crenças podem determinar a escolha do homem, conforme destacado a seguir:

Tem aqui o que acontece se fizer [rastreamento]… os riscos… mas eu já mostro que tem benefício, que eu acho melhor fazer, daí a maioria quer fazer né... M9

Nesse sentido, como ponto negativo da ferramenta houve menção ao sentimento de frustração do médico quando o homem opta por uma decisão diferente de sua opinião particular e o tempo para incorporar uma nova ferramenta na sua rotina. No entanto, 13 entrevistados (87%) responderam que incorporariam a ferramenta à prática profissional, sendo que dois dos médicos condicionaram seu uso a mudanças na formatação e diminuição na quantidade de texto, que foram posteriormente incorporadas à versão final.

As alterações sugeridas pelos médicos foram a exclusão de um texto explicativo sobre o desenvolvimento do câncer de próstata, uma vez que 93% dos médicos avaliaram como desnecessário, além de alongar o material, e a diminuição de texto no infográfico, colocando maior ênfase nos números e elementos gráficos.

Outra questão identificada pelas entrevistas foi o estranhamento de alguns médicos com uma ferramenta para compartilhar a decisão, sendo necessário inserir na versão final, um texto instrutivo sobre sua finalidade e a importância de discutir os riscos e benefícios com o homem, quando ele demandar o rastreamento do câncer de próstata.

Figura 1
Versão final da ferramenta de apoio à decisão para o rastreamento do câncer de próstata, página 7.

Figura 2
Versão final da ferramenta de apoio à decisão para o rastreamento do câncer de próstata, página 8.

A versão final publicada foi caracterizada pelos médicos como de fácil utilização, linguagem e conteúdo adequados, tendo o layout atrativo e de fácil visualização das informações. Como validação externa, a ferramenta foi avaliada pelos critérios do International Patient Decision Aid Standards (IPDAS) para ser incorporada ao International Inventory of Decision Aids2020. Ottawa Hospital. A to Z Inventory of Patient Decision Aids. Ottawa (CA): Hospital Research Institute; 2019 [cited 2020 Dec 23]. Available from: https://decisionaid.ohri.ca/azinvent.php
https://decisionaid.ohri.ca/azinvent.php...
. A ferramenta atendeu a todos os sete critérios que caracterizam uma ferramenta de apoio à decisão, os quatro critérios para ferramenta de rastreamento, seis dos nove critérios para baixo risco de víeis e 11 dos 13 critérios de qualidade.

DISCUSSÃO

O processo de elaboração e validação da ferramenta possibilitou demostrar sua utilidade no contexto da atenção primária à saúde no Brasil, a partir da percepção do seu público-alvo. A ferramenta foi considerada de fácil utilização e adequada para a comunicação entre o médico e o homem, no que se refere à deliberação sobre os possíveis riscos e benefícios do rastreamento do câncer de próstata. Dentre as vantagens associadas ao seu uso estão a sistematização das informações, objetividade e pouca interferência no tempo de consulta.

A pouca interferência e até mesmo a diminuição no tempo de consulta, percebida por alguns médicos neste estudo, confere à ferramenta uma importante característica para sua implementação na prática clínica, visto que os profissionais de saúde constantemente enfrentam o desafio de equilibrar seu tempo com muitas tarefas2121. Santos ROM, Romano VF, Engstrom EM. Vínculo longitudinal na Saúde da Família: construção fundamentada no modelo de atenção, práticas interpessoais e organização dos serviços. Physis. 2018;28(2):e280206. https://doi.org/10.1590/S0103-73312018280206
https://doi.org/10.1590/S0103-7331201828...
. Revisões sistemáticas que avaliaram ferramentas de apoio à decisão afirmam que, a depender do contexto, do tipo de intervenção e a forma de uso, poderá haver aumento ou diminuição no tempo de consulta77. Stacey D, Légaré F, Lewis K, Barry MJ, Bennett CL, Eden KB, et al. Decision aids for people facing health treatment or screening decisions. Cochrane Database Syst Rev. 2017;(4):CD001431. https://doi.org/doi/10.1002/14651858.CD001431.pub5/full
https://doi.org/doi/10.1002/14651858.CD0...
,88. Riikonen JM, Guyatt GH, Kilpeläinen TP, Craigie S, Agarwal A, Agoritsas T, et al. Decision aids for prostate cancer screening choice: a systematic review and meta-analysis. JAMA Intern Med. 2019;179(8):1072-82. https://doi.org/10.1001/jamainternmed.2019.0763
https://doi.org/10.1001/jamainternmed.20...
. No entanto, é necessário ponderar que o tempo gasto em uma comunicação de qualidade, ganha-se em satisfação e melhores resultados em saúde, dentre esses, a diminuição do retorno às consultas pelas mesmas causas2222. Pieterse AH, Stiggelbout AM, Montori VM. Shared decision making and the importance of time. JAMA. 2019;322(1):25-6. https://doi.org/10.1001/jama.2019.3785
https://doi.org/10.1001/jama.2019.3785...
,2323. Hargraves IG, Montori VM, Brito JP, Kunneman M, Shaw K, LaVecchia C, et al. Purposeful SDM: a problem-based approach to caring for patients with shared decision making. Patient Educ Couns. 2019;102(10):1786-92. https://doi.org/10.1016/j.pec.2019.07.020
https://doi.org/10.1016/j.pec.2019.07.02...
.

No que se refere à aceitabilidade da ferramenta, apenas dois médicos entrevistados indicaram que não a incorporariam em sua prática clínica. Um refere ser contrário ao rastreamento e, assim, prefere não discutir essa possibilidade com o homem e o outro, por ser favorável, acredita que o homem não deveria ser exposto às informações sobre os riscos. Em ambos os casos, as posições denotam desacordo com a decisão compartilhada para rastrear o câncer de próstata e não a ferramenta em si.

A tomada de decisão compartilhada se caracteriza por um processo interpessoal, no qual os envolvidos colaboram entre si, de modo a alcançar a ação mais apropriada2222. Pieterse AH, Stiggelbout AM, Montori VM. Shared decision making and the importance of time. JAMA. 2019;322(1):25-6. https://doi.org/10.1001/jama.2019.3785
https://doi.org/10.1001/jama.2019.3785...
,2323. Hargraves IG, Montori VM, Brito JP, Kunneman M, Shaw K, LaVecchia C, et al. Purposeful SDM: a problem-based approach to caring for patients with shared decision making. Patient Educ Couns. 2019;102(10):1786-92. https://doi.org/10.1016/j.pec.2019.07.020
https://doi.org/10.1016/j.pec.2019.07.02...
. Embora as ferramentas de apoio à decisão facilitem essa abordagem2424. Goldwag J, Marsicovetere P, Scalia P, Johnson HA, Durand MA, Elwyn G, et al. The impact of decision aids in patients with colorectal cancer: a systematic review. BMJ Open. 2019;9(9):e028379. https://doi.org/10.1136/bmjopen-2018-028379
https://doi.org/10.1136/bmjopen-2018-028...
, por si só, não correspondem a todo o processo, uma vez que foi possível perceber algumas barreiras para seu desenvolvimento, tais como a omissão dos riscos do rastreamento ou a resistência do médico em aceitar a opinião do homem, quando diferente da sua.

A despeito de uma intenção protecionista, no que se refere à transmissão de informações complexas, tal postura é contraditória com a ética em saúde, que prima pelo direito individual de conhecer as consequências das intervenções em seu corpo, em especial aquelas com balanço incerto ou desfavoráveis entre os riscos e benefícios2525. Nunes FDBRS, Almeida ADL. Informação médica e consentimento de pessoas com câncer. Rev Bioética. 2018;26(1):119-26. https://doi.org/10.1590/1983-80422018261233
https://doi.org/10.1590/1983-80422018261...
.

Ademais, o estranhamento dos médicos com a ferramenta revela a necessidade de estimular a discussão sobre uma maior participação das pessoas nas decisões sobre saúde. Os poucos estudos nacionais sobre a decisão compartilhada apontam para a falta de implementação e institucionalização dessa abordagem nos cenários clínicos, o que demonstra a necessidade de incentivo a essa prática, com ações educacionais voltadas aos profissionais2626. Stephan LS, Almeida ED, Guimarães RB, Ley AG, Mathias RG, Assis MV, et al. Anticoagulação oral na fibrilação atrial: desenvolvimento e avaliação de um aplicativo de saúde móvel para suporte à decisão compartilhada. Arq Bras Cardiol. 2018;110(1):7-15. https://doi.org/10.5935/abc.20170181
https://doi.org/10.5935/abc.20170181...
.

Resultados semelhantes são encontrados em estudos de avaliação de ferramentas internacionais de apoio à decisão, tais como a necessidade de investir em recursos visuais, menor quantidade de texto para transmitir o conteúdo2323. Hargraves IG, Montori VM, Brito JP, Kunneman M, Shaw K, LaVecchia C, et al. Purposeful SDM: a problem-based approach to caring for patients with shared decision making. Patient Educ Couns. 2019;102(10):1786-92. https://doi.org/10.1016/j.pec.2019.07.020
https://doi.org/10.1016/j.pec.2019.07.02...
,2424. Goldwag J, Marsicovetere P, Scalia P, Johnson HA, Durand MA, Elwyn G, et al. The impact of decision aids in patients with colorectal cancer: a systematic review. BMJ Open. 2019;9(9):e028379. https://doi.org/10.1136/bmjopen-2018-028379
https://doi.org/10.1136/bmjopen-2018-028...
, dificuldade dos profissionais em partilhar informações consideradas de difícil compreensão e a resistência para a incorporar algo novo à prática clínica2424. Goldwag J, Marsicovetere P, Scalia P, Johnson HA, Durand MA, Elwyn G, et al. The impact of decision aids in patients with colorectal cancer: a systematic review. BMJ Open. 2019;9(9):e028379. https://doi.org/10.1136/bmjopen-2018-028379
https://doi.org/10.1136/bmjopen-2018-028...
.

Como limitações do presente estudo destaca-se a impossibilidade de captar a interferência direta da ferramenta na decisão dos homens, devido à dificuldade em sincronizar a demanda do atendimento com a coleta de dados e a ausência de comparação dos atendimentos com e sem a ferramenta. No mais, recomenda-se cautela na generalização dos resultados por tratar-se de um estudo qualitativo.

Como contribuição considera-se o processo metodológico de desenvolvimento da ferramenta, que envolveu o público-alvo na produção de um material técnico-institucional a ser implementado na atenção primária à saúde no Brasil, que poderá ser replicado para a elaboração de outros materiais, assim como a própria ferramenta em si, que também poderá ser adaptada para outros cenários e países. A versão final da ferramenta se encontra disponível gratuitamente para download no endereço: https://www.inca.gov.br/publicacoes/infograficos/ferramenta-de-apoio-decisao-no-rastreamento-do-cancer-de-prostata, também distribuída impressa em pequena quantidade.

Conclui-se que a ferramenta desenvolvida neste estudo apresenta utilidade para a prática clínica, auxiliando na comunicação entre homens e médicos, além de favorecer a discussão sobre os riscos e benefícios do rastreamento do câncer de próstata. A objetividade, elementos gráficos e a credibilidade foram destacadas como pontos positivos, além da pouca interferência no tempo de consulta.

Por fim, destaca-se que a participação de pacientes e médicos no desenvolvimento da ferramenta possibilitou aproximar o conteúdo e a linguagem das necessidades do público-alvo e, assim, maior correspondência com o material. No entanto, há a necessidade de avaliar a interferência direta da ferramenta na decisão dos homens em estudos futuros, além da efetivação de um plano de implantação para o país, considerando sua heterogeneidade regional no que se refere à organização de serviços de atenção primária à saúde.

REFERENCES

  • 1
    Lowenstein LM, Basourakos SP, Williams MD, Troncoso P, Gregg JR, Thompson TC, et al. Active surveillance for prostate and thyroid cancers: evolution in clinical paradigms and lessons learned. Nat Rev Clin Oncol. 2019;16(3):168-84 https://doi.org/10.1038/s41571-018-0116-x
    » https://doi.org/10.1038/s41571-018-0116-x
  • 2
    Fenton JJ, Weyrich MS, Durbin S, Liu Y, Bang H, Melnikow J. Prostate-specific antigen–based screening for prostate cancer: evidence report and systematic review for the US Preventive Services Task Force. JAMA. 2018;319(18):1914-31. https://doi.org/10.1001/jama.2018.3712
    » https://doi.org/10.1001/jama.2018.3712
  • 3
    Modesto AAD, Lima RLB, D’Angelis AC, Augusto DK. Um novembro não tão azul: debatendo rastreamento de câncer de próstata e saúde do homem. Interface. 2018;22(64):251-62. https://doi.org/10.1590/1807-57622016.0288
    » https://doi.org/10.1590/1807-57622016.0288
  • 4
    Ministério da Saúde (BR), Secretaria de Atenção à Saúde, Coordenação Nacional de Saúde dos Homens, Coordenação de Saúde da Pessoa Idosa; Instituto Nacional do Câncer. Nota Técnica Conjunta n° 001/2015. Posicionamento do Ministério da Saúde acerca da integralidade da saúde dos homens no contexto do Novembro Azul. Brasília, DF; 2015 [cited 2019 Mar 3]. Available from: https://www.inca.gov.br/sites/ufu.sti.inca.local/files/media/document/nota-tecnica-saude-do-homem-ms.pdf
    » https://www.inca.gov.br/sites/ufu.sti.inca.local/files/media/document/nota-tecnica-saude-do-homem-ms.pdf
  • 5
    Instituto Nacional de Câncer. Rastreamento do Câncer de Próstata. Rio de Janeiro: INCA; 2013 [cited 2019 Mar 13]. Available from: https://www.inca.gov.br/sites/ufu.sti.inca.local/files/media/document/rastreamento-prostata-2013.pdf
    » https://www.inca.gov.br/sites/ufu.sti.inca.local/files/media/document/rastreamento-prostata-2013.pdf
  • 6
    Coylewright M, Keevil JG, Xu K, Dodge SE, Frosch D, Field ME. Pragmatic study of clinician use of a personalized patient decision aid integrated into the electronic health record: an 8-year experience. Telemed J E Health. 2020;26(5):597-602. https://doi.org/10.1089/tmj.2019.0112
    » https://doi.org/10.1089/tmj.2019.0112
  • 7
    Stacey D, Légaré F, Lewis K, Barry MJ, Bennett CL, Eden KB, et al. Decision aids for people facing health treatment or screening decisions. Cochrane Database Syst Rev. 2017;(4):CD001431. https://doi.org/doi/10.1002/14651858.CD001431.pub5/full
    » https://doi.org/doi/10.1002/14651858.CD001431.pub5/full
  • 8
    Riikonen JM, Guyatt GH, Kilpeläinen TP, Craigie S, Agarwal A, Agoritsas T, et al. Decision aids for prostate cancer screening choice: a systematic review and meta-analysis. JAMA Intern Med. 2019;179(8):1072-82. https://doi.org/10.1001/jamainternmed.2019.0763
    » https://doi.org/10.1001/jamainternmed.2019.0763
  • 9
    Ministério da Saúde (BR). Portaria de Consolidação Nº 2. Consolidação das normas sobre as políticas de saúde do Sistema Único de Saúde. Anexo IX Política Nacional para Prevenção e Controle do Câncer (PNPCC). Art 3º. Brasília, DF; 2017 [cited 2018 Dec 11]. Available from: https://bvsms.saude.gov.br/bvs/saudelegis/gm/2017/MatrizesConsolidacao/Matriz-2-Politicas.html
    » https://bvsms.saude.gov.br/bvs/saudelegis/gm/2017/MatrizesConsolidacao/Matriz-2-Politicas.html
  • 10
    Sepucha KR, Abhyankar P, Hoffman AS, Bekker HL, LeBlanc A, Levin CA, et al. Standards for UNiversal reporting of patient decision aid evaluation studies: the development of SUNDAE Checklist. BMJ Qual Saf. 2018;27(5):380-8. https://doi.org/10.1136/bmjqs-2017-006986
    » https://doi.org/10.1136/bmjqs-2017-006986
  • 11
    Abreu MM, Gafni A, Ferraz MB. The use of a decision board to elicit Brazilian patients’ and physicians’ preferences for treatment: the case of lupus nephritis. Value Health. 2011;14(5 Suppl):S141-6. https://doi.org/10.1016/j.jval.2011.05.015
    » https://doi.org/10.1016/j.jval.2011.05.015
  • 12
    Ferraz MB, Ciconelli RM, Vilar MJ. Patient’s preference regarding the option of performing unselective liver biopsy following methotrexate treatment in rheumatoid arthritis. Clin Exp Rheumatol. 1994;12(6):621-5.
  • 13
    Wallerstein NB, Duran B. Using community-based participatory research to address health disparities. Health Promot Pract. 2006;7(3):312-23. https://doi.org/10.1177/1524839906289376
    » https://doi.org/10.1177/1524839906289376
  • 14
    Parker M, Wallerstein N, Duran B, Magarati M, Burgess E, Sanchez-Youngman S, et al. Engage for equity: development of community-based participatory research tools. Health Educ Behav. 2020;47(3):359-71. https://doi.org/10.1177/1090198120921188
    » https://doi.org/10.1177/1090198120921188
  • 15
    Canadian Task Force on Preventive Health Care. Ottawa (CA): CTFPHC; 2014 [cited 2019 Dec 31]. Available from: https://canadiantaskforce.ca/
    » https://canadiantaskforce.ca/
  • 16
    US Preventive Services Task Force. Final Recommendation Statement: Prostate Cancer: screening. Rockville, MD: USPSTF; 2018 [cited 2019 Dec 2]. Available from: https://www.uspreventiveservicestaskforce.org/Page/Document/RecommendationStatementFinal/prostate-cancer-screening1
    » https://www.uspreventiveservicestaskforce.org/Page/Document/RecommendationStatementFinal/prostate-cancer-screening1
  • 17
    Moyer VA; U.S. Preventive Services Task Force. Screening for prostate cancer: U.S. Preventive Services Task Force recommendation statement. Ann Intern Med. 2012;157(2):120-34. https://doi.org/10.7326/0003-4819-157-2-201207170-00459
    » https://doi.org/10.7326/0003-4819-157-2-201207170-00459
  • 18
    Schröder FH, Hugosson J, Roobol MJ, Tammela TLJ, Zappa M, Nelen V, et al. Screening and prostate cancer mortality: results of the European Randomised Study of Screening for Prostate Cancer (ERSPC) at 13 years of follow-up. Lancet. 2014;384(9959):2027-35. https://doi.org/10.1016/S0140-6736(14)60525-0
    » https://doi.org/10.1016/S0140-6736(14)60525-0
  • 19
    Ministério da Saúde (BR), Secretaria de Atenção à Saúde. Portaria Nº 498, de 11 de maio de 2016. Aprova as Diretrizes Diagnósticas e Terapêuticas do Adenocarcinoma de Próstata. Brasília, DF; 2016 [cited 2020 Dec 23]. Available from: http://conitec.gov.br/images/Protocolos/DDT/DDT_Adenocarcinoma_Prostata.pdf
    » http://conitec.gov.br/images/Protocolos/DDT/DDT_Adenocarcinoma_Prostata.pdf
  • 20
    Ottawa Hospital. A to Z Inventory of Patient Decision Aids. Ottawa (CA): Hospital Research Institute; 2019 [cited 2020 Dec 23]. Available from: https://decisionaid.ohri.ca/azinvent.php
    » https://decisionaid.ohri.ca/azinvent.php
  • 21
    Santos ROM, Romano VF, Engstrom EM. Vínculo longitudinal na Saúde da Família: construção fundamentada no modelo de atenção, práticas interpessoais e organização dos serviços. Physis. 2018;28(2):e280206. https://doi.org/10.1590/S0103-73312018280206
    » https://doi.org/10.1590/S0103-73312018280206
  • 22
    Pieterse AH, Stiggelbout AM, Montori VM. Shared decision making and the importance of time. JAMA. 2019;322(1):25-6. https://doi.org/10.1001/jama.2019.3785
    » https://doi.org/10.1001/jama.2019.3785
  • 23
    Hargraves IG, Montori VM, Brito JP, Kunneman M, Shaw K, LaVecchia C, et al. Purposeful SDM: a problem-based approach to caring for patients with shared decision making. Patient Educ Couns. 2019;102(10):1786-92. https://doi.org/10.1016/j.pec.2019.07.020
    » https://doi.org/10.1016/j.pec.2019.07.020
  • 24
    Goldwag J, Marsicovetere P, Scalia P, Johnson HA, Durand MA, Elwyn G, et al. The impact of decision aids in patients with colorectal cancer: a systematic review. BMJ Open. 2019;9(9):e028379. https://doi.org/10.1136/bmjopen-2018-028379
    » https://doi.org/10.1136/bmjopen-2018-028379
  • 25
    Nunes FDBRS, Almeida ADL. Informação médica e consentimento de pessoas com câncer. Rev Bioética. 2018;26(1):119-26. https://doi.org/10.1590/1983-80422018261233
    » https://doi.org/10.1590/1983-80422018261233
  • 26
    Stephan LS, Almeida ED, Guimarães RB, Ley AG, Mathias RG, Assis MV, et al. Anticoagulação oral na fibrilação atrial: desenvolvimento e avaliação de um aplicativo de saúde móvel para suporte à decisão compartilhada. Arq Bras Cardiol. 2018;110(1):7-15. https://doi.org/10.5935/abc.20170181
    » https://doi.org/10.5935/abc.20170181
  • 27
    Abreu MM, Battisti R, Martins RS, Baumgratz TD, Cuziol M. Shared decision making in Brazil: history and current discussion. Z Evid Fortbild Qual Gesundhwes. 2011;105(4):240-4. https://doi.org/10.1016/j.zefq.2011.04.009
    » https://doi.org/10.1016/j.zefq.2011.04.009
  • 28
    Abreu MM, Kowalski SC, Ciconelli RM, Ferraz MB. Apoios de decisão: instrumento de auxílio à medicina baseada em preferências. Uma revisão conceitual. Rev Bras Reumatol. 2006;46(4):266-72. https://doi.org/10.1590/S0482-50042006000400006
    » https://doi.org/10.1590/S0482-50042006000400006
  • Financiamento: Edital Interno de Apoio Financeiro a Projetos de discentes do Programa - 2019, Portaria n.º 34, de 30 de maio de 2006, que aprova e regulamenta o Programa de Excelência Acadêmica - PROEX/CAPES.

Datas de Publicação

  • Publicação nesta coleção
    08 Abr 2022
  • Data do Fascículo
    2022

Histórico

  • Recebido
    6 Jan 2021
  • Aceito
    22 Jun 2021
Faculdade de Saúde Pública da Universidade de São Paulo Avenida Dr. Arnaldo, 715, 01246-904 São Paulo SP Brazil, Tel./Fax: +55 11 3061-7985 - São Paulo - SP - Brazil
E-mail: revsp@usp.br