SciELO - Scientific Electronic Library Online

 
vol.34 número4Conhecimento sobre tumores pediátricos comuns entre estudantes de medicina no nordeste do BrasilRever, pensar e (re)significar: a importância da reflexão sobre a prática na profissão docente índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

Compartilhar


Revista Brasileira de Educação Médica

versão impressa ISSN 0100-5502

Rev. bras. educ. med. vol.34 no.4 Rio de Janeiro out./dez. 2010

http://dx.doi.org/10.1590/S0100-55022010000400013 

RESEARCH

 

Mudança de comportamento de médicos com transferência passiva de informações

 

Change of physicians' behavior with passive transfer of information

 

 

Jorge de AzevedoI; Paul Douglas FisherII; Ronaldo BordinII

ISecretaria Municipal de Saúde de Canela,Canela, RS, Brasil
IIUniversidade Federal do Rio Grande do Sul, Porto Alegre, RS, Brasil

Endereço para correspondência

 

 


RESUMO

Avaliou-se a mudança de comportamento de um grupo de médicos empregando-se a mala direta como estratégia de divulgação de informações, objetivando otimizar o uso de "Serviços Auxiliares de Diagnose e Terapia - SADT" numa regional de cooperativa médica do Sul do Brasil. Do total de 176 médicos, 130 constituíram a amostra para estudo quase-experimento. Utilizando-se o método Audit and Feedback, mensalmente durante um ano, a relação SADT solicitados/consultas atendidas (aqui denominada "Índice de Solicitação de SADT - IsSADT") retornou em forma de gráficos aos médicos. Para análises, os respondentes foram estratificados de diferentes formas, compararam-se os IsSADT pré e pós-intervenções e entre e intraestratos com testes de Wilcoxon, Mann-Whitney e Kruskall Wallis. Apesar de as solicitações de SADT que vinham sendo praticadas serem o quádruplo do estimado para a população de beneficiários, o comportamento do grupo estudado não se modificou com o fornecimento de informações desacompanhadas de outras medidas administrativas.

Palavras-chave: - Economia da Saúde. - Política de Saúde. - Administração e Planejamento em Saúde.


ABSTRACT

This study evaluated the change of behavior in a group of physicians using direct mailing as a strategy for disseminating information, aimed at the optimization of the use of "Ancillary Diagnostic and Treatment Services" in a regional division of a medical cooperative in southern Brazil. Of the total of 176 physicians, 130 comprised the quasi-experimental study sample. Using the Audit and Feedback method monthly for a year, the ratio between diagnostic and treatment services ordered and consultations provided was fed back to the physicians in the form of graphs. For the analyses, the respondents were stratified in different ways, and the pre and post-intervention and inter and intra-stratum ratios were compared using the Wilcoxon, Mann-Whitney, and Kruskall Wallis tests. Although the orders for ancillary diagnostic and treatment services were fourfold the expected number for the portfolio of policy-holders under the medical cooperative, the group's behavior did not change by providing information without other accompanying administrative measures.

Keywords: - Health Economics. - Health Policy. - Health Administration and Planning.


 

 

INTRODUÇÃO

Expor pacientes a procedimentos desnecessários é tão pernicioso quanto deixar de solicitá-los quando preciso, pois em ambas as situações a saúde fica ameaçada, e os recursos são consumidos de modo inadequado1,2,3. Em tese, não há economia de recursos em ambas as situações. Na primeira, porque são gastos recursos com procedimentos desnecessários, e os pacientes se expõem a riscos inerentes ao procedimento; na segunda, os recursos não gastos com procedimentos necessários logo se transformam em grandes despesas com o agravo da saúde de pacientes por terem seus diagnósticos ou tratamentos retardados. Parece não existir forma mais eficiente de otimização a não ser atender, segundo os preceitos da boa prática médica, as necessidades por cuidados de saúde dos pacientes (entendidos em seu sentido mais amplo de prevenção, tratamento e recuperação). Esta forma é a mesma, seja a instituição prestadora dos serviços pública ou privada - no caso das operadoras de saúde no Brasil, especialmente a partir da ampliação dos limites de cobertura com a promulgação da Lei nº 9.656, de 3 de junho de 1998, que dispõe sobre planos e seguros privados de assistência à saúde4,5.

O desperdício com a utilização inadequada de procedimentos, já apontado por outros autores6,11,2, a oferta crescente de novos procedimentos diagnóstico-terapêuticos nem sempre custo-efetivos do ponto de vista de promover melhores indicadores de saúde baseados em desfechos12 e a dificuldade de continuar a aumentar os recursos destinados ao setor saúde11,13-15 têm levado à busca incessante por processos de otimização.

Em 2004, o Sistema Único de Saúde (SUS) gastou o equivalente a US$ 432.969.716,00 com apenas um dos grupos de procedimentos gerados em atividades de ambulatório (exames de patologia clínica - grupo de menor preço médio dos procedimentos)16. A redução hipotética de apenas 1% deste montante com o melhor controle da utilização inadequada corresponderia a um valor na casa dos milhões de dólares, que poderiam ser realocados. Para singulares de grande porte de cooperativa médica, que chegam a 400 mil beneficiários4, estimam-se gastos anuais de US$ 10.375.757,00 com SADT demandados em consultórios de cooperados.

Processos como as diretrizes de Medicina Baseada em Evidências (MBE) e o método Audit and Feedback (A&F), centrados no desempenho de médicos17, para serem bem-sucedidos, dependem de decisões individuais que levem a mudanças de comportamento. Costumam ter custo mais baixo quando as estratégias de implantação não empregam ações coercitivas ou incentivo financeiro, utilizando apenas a mala direta para fornecimento de informações como estratégia de implantação. Assim, esta estratégia costuma ter boa aceitação porque, além de custo financeiro baixo, não costuma gerar desgastes no relacionamento entre administradores e administrados, sendo também de baixo custo político. Entretanto, para a escolha da estratégia a ser utilizada, deve ser levado em conta não só o custo, mas também a eficiência.

Em 2005, a Cochrane Library disponibilizou uma revisão sistemática na qual 85 ensaios clínicos randomizados sobre o tema A&F atenderam os critérios de inclusão e 13 foram selecionados, apresentando resultados de percentual relativo de mudanças entre -16% e 152% entre os grupos experimental e de controle18. Estudos mais recentes com avaliação de estratégias de implementação de diretrizes de MBE têm demonstrado que as estratégias que utilizam ações passivas de transferência de informações podem produzir algum efeito, mas este é pequeno ou desprezível, sendo os melhores resultados obtidos quando se combinam ações coercitivas de vigilância constante e incentivos financeiros19-21.

Neste trabalho, aplica-se a estratégia em cenário diferente, isto é, no consultório privado de médicos de uma cooperativa médica, diferentemente da maioria dos trabalhos citados, nos quais a prática foi avaliada no nível hospitalar. Por se tratar de prática em ambiente privado, o médico fica mais à vontade para tomar a decisão que melhor lhe convier. Em ambiente hospitalar, sua prática fica exposta a vários outros profissionais. Neste grupo de médicos, em tese, os interesses por otimização de recursos seria maior, visto que, por características próprias de cooperativa, todos são sócios, e o resultado líquido é por lei repartido entre todos.

Para obtenção das informações a serem enviadas, utilizou-se o processo conhecido por Audit and Feedback (A&F), já usado em outros países, como Austrália22, Canadá23,2, Escócia10, Holanda24, Inglaterra25-28, México8 e Estados Unidos29,9,30. A dinâmica do A&F se resume em devolver ao grupo-alvo de profissionais informações comparativas sumarizadas (tabelas de frequência e gráficos de colunas) sobre a performance em relação aos aspectos de produção auditados. No caso deste estudo, tratava-se da solicitação de "Serviços Auxiliares de Diagnose e Terapia - SADT", onde cada profissional identificava sua posição no grupo em relação aos demais e à média do grupo, não havendo identificação personalizada de outro cooperado a não ser dele próprio. Como nos grupos de profissionais que se distanciam da média existem os que estão fazendo uso adequado de SADT, na dependência da gravidade dos pacientes atendidos, o material informativo não fazia julgamentos de comportamentos individuais. Assim, a intenção era fornecer elementos para estimular a reflexão individual.

O objetivo principal foi avaliar, no nível ambulatorial, mudanças de comportamento de um grupo de médicos desencadeadas pelo fornecimento de informações por mala direta, buscando diminuir os desvios de subutilização e superutilização no uso de SADT já apontados por outros autores7,6,31.

Como objetivo secundário, buscou-se encontrar possíveis associações entre características do médico cooperado (gênero, tempo de formado, tempo de cooperado e especialidade) e a utilização de SADT em diferentes períodos do seguimento.

 

MATERIAL E MÉTODO

Dentre os 176 cooperados em atividade em 1º de janeiro de 2004, selecionou-se a amostra com 130 (73,86% de toda a população), cuja produção de consultas nos meses pré e pós-intervenções permitiram formar no mínimo 10 pares de meses iguais de anos diferentes. Do total de pares possíveis (130 x 12 = 1.560 pares), não foi viável a formação de 34 pares (2,17% de perdas).

Testes de sensibilidade da amostra conduzidos com o software Pepi revelaram que a amostra de 130 pares possuía poder de 91,49% para detectar diferenças de até 0,25 entre médias, considerando um nível de significância bicaudal de 0,05 e o desvio padrão das diferenças pré e pós, que foi de 0,8489.

Após seleção da amostra e coleta de todos os dados de cada cooperado, a identificação do médico contida na planilha eletrônica (nome; número do Cremers; datas de formatura e de nascimento) foi substituída por uma numeração aleatória de forma a impedir, a partir daquele momento, a identificação individual.

A variável dependente foi a mudança de comportamento medida pelo "Índice de Solicitações de SADT" (IsSADT), definido como o quociente da divisão cujo numerador foi o número absoluto de SADT solicitados num período, e o denominador, o número absoluto de consultas atendidas no mesmo período.

Para cada médico e cada um dos meses de 2004 e 2005, foram calculadas as referidas razões. De cada um dos integrantes da amostra foram coletados dados referentes a sexo, idade, anos de formado e anos de cooperado (cálculo de anos com referência a 01/01/2004).

A base de dados empregada foi o centro de processamento de dados (CPD) de uma cooperativa médica regional (singular) do Sul do Brasil, cuja abrangência engloba 14 municípios da região serrana do Estado do Rio Grande do Sul.

Para controle pré-intervenções, foram utilizadas informações de produção de consultas e solicitações de SADT gerados por cada um dos 130 cooperados componentes da amostra, referentes apenas aos beneficiários da área de cobertura da singular, excluindo os de outras singulares atendidos na área de atuação (operação denominada intercâmbio entre singulares).

Os dados de produção de consultas e SADT para cada um dos períodos do ano de 2005 que antecederam cada uma das intervenções, para posterior processamento das informações para feedback, foram contabilizados em planilha eletrônica com estrutura semelhante à de controle pré-intervenções, possuindo ainda, para cada grupo de especialistas, os totais de consultas, SADT e percentuais. Estas planilhas geraram as tabelas de frequência e os gráficos enviados por mala direta aos profissionais em seis ocasiões. Para fins de análise de produção de serviços, foram empregados os parâmetros assistenciais que constam da Portaria Ministerial 1.10132.

Recibos de entrega de correspondência foram assinados pelos cooperados ao receberem as informações por mala direta, cabendo aos médicos a opção de ler ou não o material.

Para atender a exigências éticas, todas as informações foram elaboradas no sentido de permitir que o médico identificasse sua posição dentro do grupo e impedir a identificação personalizada de outro cooperado a não ser dele próprio.

As informações não veiculavam julgamento ou análise crítica de performance individual. Informações que continham análise crítica se referiam à produção do conjunto de todos os médicos da cooperativa.

Para não confundir os resultados, a diretoria da regional da cooperativa, ciente da importância da pesquisa, se comprometeu a não tomar nenhuma medida administrativa e/ou de auditoria formal diferente das que já vinham sendo adotadas no período pré-intervenção.

Este projeto está cadastrado sob o número 2.006.616 no Comitê de Ética em Pesquisa da Faculdade de Medicina da Universidade Federal do Rio Grande do Sul (UFRGS) e conta com a Carta de Aprovação do referido Comitê, estando de acordo com as normas da Resolução 196/96 do Conselho Nacional de Saúde do Brasil.

 

RESULTADOS E DISCUSSÃO

Características da população de beneficiários

A população de beneficiários (17.734 beneficiários em 01/07/2004 e 18.136 em 01/07/2005) era constituída de indivíduos cobertos por planos empresariais (71%), que residiam e trabalhavam na área de cobertura da cooperativa. Destes, 22% possuíam planos empresariais de copagamento, e 49% tinham planos empresariais de pré-pagamento. O restante dos beneficiários (29%) era coberto por planos familiares.

Estes beneficiários pertenciam a uma área geograficamente restrita (área de atuação da singular já descrita), composta por 14 municípios vizinhos, com condições climáticas semelhantes, condições de trabalho e moradia semelhantes, e acesso livre a qualquer cooperado, independentemente da cidade de localização do consultório.

A população de beneficiários apresentava as seguintes características:

- 65% com menos de 40 anos de idade;

- coeficiente de mortalidade geral baixo (0,96/1.000 e 1,32/1.000 em 2004 e 2005, respectivamente);

- trabalhadores ativos de empresas (indivíduos com emprego fixo) ou indivíduos com renda suficiente para adquirir um plano de saúde familiar;

- população descendente, principalmente, de alemães e italianos, residente numa região considerada com boa qualidade de vida, localizada no Estado do Rio Grande do Sul, um dos Estados brasileiros com melhores indicadores de saúde.

Utilização de SADT na Singular Estudada

Com tal perfil, esta era uma população para a qual não se esperariam gastos extremos com procedimentos de diagnóstico e terapia, mas o que se constatou na prática foi uma situação diversa da esperada. Levando-se em conta um único subgrupo de procedimentos (subgrupo 28 da tabela da AMB = exames laboratoriais de patologia clínica), escolhido por ser o responsável por 60% de todo o gasto com SADT, e comparando-se o número absoluto de procedimentos deste subgrupo (realizado em atendimentos a beneficiários apenas da singular em estudo) com as estimativas da Portaria Ministerial 1.10132, tivemos que, em 2004, a cooperativa realizou 116.865 SADT, enquanto a estimativa para uma população de igual número de indivíduos estaria entre 17.734 e 26.601 SADT; e, em 2005, realizou 118.326 para uma estimativa entre 18.136 e 27.204, valores que representam, na melhor das hipóteses, o quádruplo das estimativas.

O Impacto do Método

A situação hipotética ideal almejada com a aplicação da referida estratégia seria a diminuição da variabilidade dos IsSADT alcançada caso os profissionais que estivessem praticando superutilização (solicitando desnecessariamente procedimentos) modificassem seu comportamento, diminuindo os IsSADT, e caso os que estivessem praticando subutilização (deixando de solicitar procedimentos necessários) também modificassem seu comportamento, aumentando os IsSADT. Observando as informações contidas na Tabela 1, não se constatou diferença estatisticamente significativa dos IsSADT de nenhum dos grupos e estratos, exceto o de gineco-obstetras, que estava acima da mediana no período pré-intervenção, que, neste caso, aumentou ainda mais os IsSADT. Em todos os outros estratos não houve modificações significativas da mediana nem tampouco da amplitude entre quartis.

Dos 130 médicos da amostra, 59 diminuíram os IsSADT pós-intervenções e 71 aumentaram, sendo que os valores para mais ou para menos no total da amostra e dentro de cada estrato não apresentaram diferenças estatisticamente significativas.

Na tentativa de identificar características próprias de estratos com maiores ou menores IsSADT, foram realizadas comparações entre estratos (Tabelas 2 e 3) e não foram identificadas diferenças estatisticamente significativas, com exceção das diferenças dos IsSADT dos médicos estratificados por tipo de especialidades praticadas, com Valor-P significativo e que se explicam pelas já conhecidas diferentes demandas por SADT para cada tipo de especialidade.

 

 

 

 

CONCLUSÕES

Apesar dos indícios de superutilização, com solicitações de SADT de aproximadamente o quádruplo do esperado para a população de beneficiários, o fornecimento por mala direta de informações obtidas pelo método Audit and Feedback desacompanhadas de medidas coercitivas e/ou incentivos financeiros não foi capaz de provocar diferenças significativas nas solicitações por procedimentos nos diferentes grupos de médicos formados pelas diversas estratificações realizadas com a amostra selecionada. Não foram evidenciadas relações significativas entre as variáveis independentes deste estudo (sexo, tempo de formado e tempo de cooperado) e os Índices de Solicitações de SADT dos médicos que estavam acima ou abaixo da mediana nos diferentes estratos em comparações tanto entre estratos quanto intraestratos.

As evidências deste e de outros estudos aqui citados que não associaram ações coercitivas demonstram que a falta de informação não tem sido a principal responsável pelo fracasso de programas cujo objetivo seria mudar o comportamento de médicos, objetivando otimizar recursos com a melhoria da qualidade da assistência.

A estratégia se revelou inócua para mudar a prática do grupo de profissionais, permanecendo como desafio a busca do fator ou fatores responsáveis pela ausência de efeito significativo frente a este processo de conscientização.

 

REFERÊNCIAS

1. Ruof J, Schöffski O. Cost and outcomes.Limitations between optimizing and rationing of health care. Z Rheumatol. 1998;57(5):340-4.         [ Links ]

2. Van Walraven C, Naylor D. Do we know what inappropriate laboratory utilization is? JAMA. 1998; 280(6):550-8.         [ Links ]

3. Gil A, Toledo ME, Jústiz FR. La economía e la salud, la eficiencia y el costo de oportunidad. Rev Cubana Med Gen Integr. 2001;17(4):395-8.         [ Links ]

4. Bahia L. O mercado de planos e seguros de saúde no Brasil: tendências pós-regulamentação. In: Barjas Negri GD. Brasil: radiografia da saúde. Campinas: Unicamp; 2001. p.325-61.         [ Links ]

5. Duarte C. A assistência médica suplementar no Brasil: história e características da cooperativa de trabalho médico Unimed. In: Barjas Negri GD. Brasil: radiografia da saúde. Campinas: Unicamp; 2001. p.363-93.         [ Links ]

6. Eisenberg J, Williams SV. Computer-based audit to detect and correct overutilization of laboratory tests. Med Care. 1977;15(11):915-21.         [ Links ]

7. Faulkner P, Nevick R, Williams SV, Pascale LA, Poyss L, Eisenberg JM. Many diagnostic tests may be unnecessary. Hospitals. 1981;55(8):57-9.         [ Links ]

8. McConnel T, Berger P, Dayton HH, Umbland BE, Skipper BE. Professional review of laboratory utilization. Hum Pathol. 1982;13(4):399-403.         [ Links ]

9. Studnicki J, Bradham DD, Marshbum J, Foulis PR, Straumfjord JV. A Feedback system for reducing excessive laboratory tests. Arch Pathol Lab Med. 1993;117(1):35-9.         [ Links ]

10. Smellie W, Murphy MJ, Galloway PJ, Hinnie J, McIlroy J, Dryburgh FJ. Audit of an emergency biochemistry service. J Clin Pathol. 1995;48(12):1126-9.         [ Links ]

11. Hindmarsh J, Lyon AW. Strategies to promote rational clinical chemistry test utilization. Clin Biochem. 1996;19(4):291-9.         [ Links ]

12. World Health Organization. Essential Health Technologies. [on line]. 2007. Disponível em: http://www.who.int/ eht/en/         [ Links ]

13. Maxwell RJ. Resource constraints and the quality of care. Lancet. 1985;2(8461):936-9.         [ Links ]

14. Chiu R. Universal health care and high-tech medicine. J Formos Med Assoc. 1995;94(6):293-7. Discussion.         [ Links ]

15. Carrin G, Hanvoravongchai P. Health care cost-containment policies in high-income countries: how successful are monetary incentives? WHO - Discussion Paper. 2002;2:1-20.         [ Links ]

16. Ministério da Saúde. Cadernos de Informações de Saúde: sistema de Informações Ambulatoriais SIA/SUS [on line]. Brasília: MS; 2007. [acesso em abr. 2009]. Disponível em: http://tabnet.datasus.gov.br/tabdata/cadernos/cadernosmap.htm?saude=http%3A%2F%2Ftabnet.datasus.gov.br%2Ftabdata%2Fcadernos%2Fcadernosmap.htm&botaook=
OK&obj=%24VObj
        [ Links ]

17. Corder M. Modification of physician behavior by performance feedback. Physician Executive 1996;22(4):26-8.         [ Links ]

18. Jamtvedt G, Young JM, Kristoffersen DT, O'Brien MA, Oxman AD. Audit and feedback: effects on professional practice and health care outcomes. Cochrane Database of Systematic Reviews 2006;(2).         [ Links ]

19. Bosse G, Breuer JP, Spies C. The resistance to changing guidelines: what are the challenges and how to meet them. Best Pract Res Clin Anaesthesiol. 2006;20(3):379-95.         [ Links ]

20. Dijkstra R, Wensing M, Thomas R, Akkermans R, Braspenning J, Grimshaw J, et al. The relationship between organisational characteristics and the effects of clinical guidelines on medical performance in hospitals, a meta-analysis. BMC Health Serv Res. 2006;6:53.         [ Links ]

21. Gulmezoglu AM, Langer A, Piaggio G, Lumbiganon P, Villar J, Grimshaw J. Cluster randomised trial of an active,         [ Links ]

22. multifaceted educational intervention based on the WHO Reproductive Health Library to improve obstetric practices. BJOG. 2007;114:16-23.         [ Links ]

23. O'Connell D, Henry D, Tomlins R. Randomised controlled trial of effect of feedback on general practitioners' prescribing in Australia. BMJ. 1999;318(7182):507-14.         [ Links ]

24. Lomas J, Enkin M, Anderson GM, Hannah WJ, Vayda E, Singer J. Opinion leaders vs audit and feedback to implement practice guidelines - delivery after previous cesaren section. JAMA. 1991; 265(17):2202-7.         [ Links ]

25. Verstappen W, Weijden T, Sijbrandij J, Smeele I, Hermsen J, Grimshaw J, Grol RPTM. Effect of a practice-based strategy on test ordering performance of primary care physicians. A randomized trial. JAMA. 2003;289(18):2407-12.         [ Links ]

26. Mugford M, Banfield P, O'Hanlon M. Effects of feedback of information on clinical practice: a review. BMJ. 1991;303(6799):398-403.         [ Links ]

27. Smith D, Shaw RW, Slack J, Marteau TM. Training obstetricians and midwives to present screening tests: evaluation of two brief intreventions. Prenat Diagn. 1995; 15(4):317-24.         [ Links ]

28. Eccles M, Steen N, Grimshaw J, Thomas L, McNamee P, Soutter J, et al. Effect of audit and feedback, and reminder messages on primary-care radiology referrals: a randomised trial. The Lancet. 2001;357(9266):1406-12.         [ Links ]

29. Foy R, MacLennan G, Grimshaw J, Penney G, Campbell M, Grol R. Attributes of clinical recomendations that influence change in pratice following audit and feedback. J Clin Epidemiol. 2002;55(7):717-22.         [ Links ]

30. Braham R, Ruchlin HS. Physician practice profiles: a case study of the use of audit and feedback in an ambulatory care group practice. Health Care Manage Rev. 1987;12(3):11-6.         [ Links ]

31. Hillman A, Ripley K, Goldfarb N, Weiner J, Nuamah I, Gask E. The use of financial incentives and feedback to improve pediatric preventive care in medicaid manage care. Pediatrics. 1999;104(4 Pt 1): 931-5.         [ Links ]

32. Statland B, Winkel P. Utilization review and management of laboratory testing in the ambulatory setting. Medical Clinics of North America. 1987;71(4):719-31.         [ Links ]

33. Brasil. Ministério da Saúde. Gabinete do Ministro. Portaria GM nº1101, de 12 de junho de 2002.         [ Links ]

 

 

Endereço para correspondência:
Ronaldo Bordin
Departamento de Medicina Social - Faculdade de Medicina - UFRGS
Rua Ramiro Barcelos, 2600 - sala 428 Rio Branco
Porto Alegre CEP. 90035-003 RS
E-mail: ronaldo.bordin@ufrgs.br

Recebido em: 18/07/2009
Reencaminhado em: 16/04/2010
Aprovado em: 26/04/2010
CONFLITO DE INTERESSES
Declarou não haver.

 

 

CONTRIBUIÇÃO DOS AUTORES
Jorge de Azevedo na qualidade de mestrando em epidemiologia, participou no desenho do estudo, aquisição, análise e interpretação de dados e da de redação do artigo. Paul Douglas Fisher na qualidade de co-orientador do mestrando, partici-pou no desenho do estudo, aquisição, análise e interpretação de dados e da redação do artigo. Ronaldo Bordin na qualidade de orientador do mestrando, participou da concepção e desenho do estudo, aquisição, análise e interpretação de dados e da redação do artigo.

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons