SciELO - Scientific Electronic Library Online

 
vol.35 suppl.2Evaluation of the performance of regionalization of health surveillance in six Brazilian Health Regions author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Cadernos de Saúde Pública

Print version ISSN 0102-311XOn-line version ISSN 1678-4464

Cad. Saúde Pública vol.35  supl.2 Rio de Janeiro  2019  Epub Aug 15, 2019

http://dx.doi.org/10.1590/0102-311x00071518 

ARTIGO

Incorporação de tecnologias nos sistemas de saúde do Canadá e do Brasil: perspectivas para avanços nos processos de avaliação

Incorporation of technologies by the Canadian and Brazilian health systems: prospects for progress in assessment processes

Incorporación de tecnologías en los sistemas de salud de Canadá y Brasil: perspectivas para avances en los procesos de evaluación

Hudson Pacifico da Silva1 
http://orcid.org/0000-0001-7507-0917

Flavia Tavares Silva Elias2 
http://orcid.org/0000-0002-7142-6266

1 Public Health Research Institute, University of Montreal, Montreal, Canada.

2 Fundação Oswaldo Cruz, Brasília, Brasil.


RESUMO

Garantir o acesso equitativo a tecnologias que têm qualidade, segurança, eficácia e custo-efetividade comprovados, bem como assegurar que sua utilização seja baseada em evidências científicas de qualidade, constitui um dos principais desafios dos modernos sistemas de saúde. A avaliação de tecnologias em saúde (ATS) é uma das estratégias mais usadas em todo o mundo para apoiar a tomada de decisão relativa às tecnologias em saúde. O objetivo do artigo é examinar como os sistemas de ATS estão organizados no Brasil e no Canadá e discutir suas implicações para o planejamento da incorporação de tecnologias no Brasil, considerando os desafios impostos pelo processo de regionalização e da constituição das redes de atenção à saúde. Trata-se de um estudo exploratório, em perspectiva comparada, com base em dados secundários. Os resultados mostram que os dois países contam com sistemas de ATS fragmentados, com níveis diferenciados de maturidade. Caracterizam-se pela multiplicidade de organizações que atuam no campo da ATS, pela abrangência do escopo das atividades desenvolvidas e pela concentração das atividades em agências/órgãos nacionais. Os dois sistemas têm fragilidades, mas o caso brasileiro apresenta um conjunto de fatores (recursos insuficientes, impacto das decisões judiciais, forte dependência de tecnologias provenientes do exterior, e processos e planejamentos regionais incipientes no campo da ATS) que torna o cenário mais complexo. Argumenta-se que a estrutura regionalizada para o planejamento da incorporação de tecnologias no Canadá pode ser uma experiência interessante para o sistema brasileiro, a despeito das diferenças de contexto entre os dois países.

Palavras-chave: Avaliação da Tecnologia Biomédica; Regionalização; Sistemas de Saúde

ABSTRACT

One of the main challenges for modern health systems is to guarantee equitable access to technologies with proven quality, safety, efficacy, and cost-effectiveness, as well as to ensure that their use is based on high-quality scientific evidence. Health technology assessment (HTA) is one of the most widely used strategies in the world to support decisions on health technologies. The article analyzes how HTA systems are organized in Brazil and Canada and discusses the implications for planning the incorporation of technologies in Brazil, considering the challenges posed by the regionalization process and the establishment of healthcare networks. This is an exploratory comparative study based on secondary data. The results show that both countries have fragmented HTA systems with different levels of maturity. The systems are characterized by multiple organizations working in the field of HTA, the scope of activities, and the concentration of activities in national agencies/bodies. Both systems have weaknesses, but the Brazilian case presents a series of factors (insufficient resources, impact of court rulings, heavy dependence on foreign technologies, and incipient regional HTA processes and planning) that make the scenario more complex. The article argues that the regionalized structure for planning the incorporation of technologies in Canada can serve as an interesting experience for the Brazilian system, despite the different contexts in the two countries.

Keywords: Biomedical Technology Assessment; Regional Haelth Planning; Health Systems

RESUMEN

Garantizar el acceso equitativo a tecnologías que poseen calidad, seguridad, eficacia y costo-efectividad comprobados, así como asegurar que su utilización esté basada en evidencias científicas de calidad, constituye uno de los principales desafíos de los sistemas de salud modernos. La evaluación de tecnologías en salud (ETS) es una de las estrategias más usadas en todo el mundo para apoyar en la toma de decisiones relativa a las tecnologías en salud. El objetivo del artículo es examinar cómo los sistemas de ETS están organizados en Brasil y en Canadá y discutir sus implicaciones para la planificación de la incorporación de tecnologías en Brasil, considerando los desafíos impuestos por el proceso de regionalización y la constitución de las redes de atención a la salud. Se trata de un estudio exploratorio, desde una perspectiva comparada, basado en datos secundarios. Los resultados muestran que los dos países cuentan con sistemas de ETS fragmentados, con niveles diferenciados de madurez. Se caracterizan por la multiplicidad de organizaciones que actúan en el campo de la ETS, por la amplitud del alcance de las actividades desarrolladas y por la concentración de las actividades en agencias/órganos nacionales. Los dos sistemas tienen fragilidades, pero el caso brasileño presenta un conjunto de factores (recursos insuficientes, impacto de decisiones judiciales, fuerte dependencia de tecnologías provenientes del exterior, y procesos y planificaciones regionales incipientes en el campo de la ETS) que hacen que el escenario sea más complejo. Se argumenta que la estructura regionalizada para la planificación de la incorporación de tecnologías en Canadá puede ser una experiencia interesante para el sistema brasileño, a pesar de las diferencias de contexto entre ambos países.

Palabras-clave: Evaluación de la Tecnología Biomédica; Regionalización; Sistemas de Salud

Introdução

Os desafios e necessidades dos sistemas de saúde são numerosos e diversos. Uma revisão recente da literatura internacional sobre o tema 1 identificou que os desafios documentados com mais frequência incluíam a necessidade e a demanda por tecnologias. De acordo com a Organização Mundial da Saúde (OMS), as tecnologias em saúde constituem um componente essencial dos sistemas de saúde, sendo que um sistema de saúde eficaz deve garantir o acesso equitativo a tecnologias que têm qualidade, segurança, eficácia e custo-efetividade comprovados, e sua utilização deve estar baseada em evidências cientificas de qualidade 2. Entretanto, uma quantidade grande e crescente de novas tecnologias tem sido incorporada nos sistemas de saúde, implicando novos desafios para todas as partes interessadas. Tais desafios incluem, por exemplo, questões éticas relativas ao uso seguro dos dados relativos à saúde (big data), novos padrões para a aprovação de inovações que combinam diferentes tecnologias, impacto orçamentário da incorporação de tecnologias de alto custo e questões de equidade relacionadas à cobertura e ao acesso de grupos vulneráveis aos serviços de saúde 3.

O planejamento da incorporação e do uso de tecnologias em saúde pode contribuir para o enfretamento desses desafios. Dentre as recomendações propostas por especialistas para ampliar a efetividade dos recursos utilizados, o uso de avaliações de tecnologias em saúde (ATS) e de políticas de cobertura e preço ganha destaque especial 3. Entendida como a avaliação sistemática das propriedades, efeitos e outros impactos das tecnologias e intervenções em saúde, incluindo tanto seus efeitos diretos e esperados como suas consequências indiretas e inesperadas, mediante a aplicação de quadros analíticos explícitos baseados em uma variedade de métodos 4; a ATS constitui uma das estratégias mais usadas em todo o mundo para informar a tomada de decisão relativa às tecnologias em saúde.

Historicamente, as políticas de incorporação tecnológica em países desenvolvidos começaram no final da década de 1980, com a criação de agências governamentais no campo da ATS 5. No entanto, barreiras para o uso das ATS em sistemas e serviços de saúde são relatadas tanto em países de renda média como em países de renda alta 6,7. Na maioria deles, os processos de organização das demandas de incorporação de tecnologias foram impulsionados pelo aumento dos gastos com atenção à saúde. No entanto, as atividades de ATS seguem pautadas em experiência organizacional e metodológica de agências estabelecidas nos países de renda alta 7.

As barreiras para as boas práticas na ATS em dez países da América Latina foram exploradas por avaliadores, financiadores e produtores de tecnologias em saúde, cuja recomendação foi estabelecer forte ligação com a tomada de decisões desenvolvendo processos adequados aos contextos locais 8. Entre 2014 e 2015, um inquérito com responsáveis pela ATS nos países das Américas demonstrou que, embora unidades formais tenham sido estabelecidas, existe fragilidade de vinculação com processos decisórios nos sistemas e serviços de saúde em que a implantação da ATS está em estágios iniciais 9.

O objetivo do presente artigo é examinar como os sistemas de ATS estão organizados no Brasil e no Canadá, e discutir suas implicações para o planejamento da incorporação de tecnologias no Brasil, considerando os desafios impostos pelo processo de regionalização e da constituição das redes de atenção à saúde. Brasil e Canadá foram selecionados por serem dois países federativos de dimensões continentais e que contam com sistemas de saúde públicos, universais e regionalizados. O Canadá é considerado um país de referência mundial na adoção de políticas e programas abrangentes de ATS 7, ao passo que o Brasil tem avançado rapidamente neste campo no período recente 10,11,12,13,14.

Métodos

Estudo em perspectiva comparada, valendo-se de dados secundários provenientes da literatura especializada sobre o tema e bases de dados de organismos governamentais e instituições multilaterais, com destaque para: Central Intelligence Agency (CIA), Institute of Health Metrics and Evaluation, The Organisation for Economic Co-operation and Development (OECD), OMS e Sistema de Orçamento Público em Saúde (SIOPS).

A caracterização dos sistemas de ATS do Brasil e do Canadá foi realizada mediante busca na base de dados Google Scholar, em abril de 2018, valendo-se da combinação dos seguintes termos de busca nos idiomas português e inglês: “tecnologias em saúde”, “avaliação”, “incorporação”, “gestão”, “Brasil” e “Canadá”, a qual permitiu identificar não apenas artigos publicados em periódicos científicos, mas também em outros tipos de publicações, como livros e relatórios. Adicionalmente, foram consultadas informações disponibilizadas na Internet pelas agências e organizações responsáveis pela produção de ATS nos dois países. Organizações que atuam no campo da ATS no Brasil: Rede Brasileira de Avaliação de Tecnologias em saúde (Rebrats) e Comissão Nacional de Incorporação de Tecnologias no Sistema Único de Saúde (Conitec). Organizações que atuam no campo da ATS no Canadá: Alberta Health Evidence Reviews, Canadian Agency for Drugs and Technologies in Health (CADTH), Health Quality Ontario (HQO) e Institut National d’Excellence en Santé et en Services Sociaux (INESSS).

As dimensões utilizadas na descrição do sistema de ATS nos dois países foram: abrangência de atuação das instituições, classificada com nacional, provincial, regional/local; o mandato ou missão das instituições nacionais; o tipo de organização; o financiamento da incorporação; os produtos e serviços; a clientela; o processo de deliberação; e as ações de disseminação dos relatórios de ATS. As dimensões analíticas para a reflexão do sistema de ATS no Brasil foram pautadas em apontamentos das fragilidades e das perspectivas de avanços comparando-se à experiência canadense, considerando-se o amadurecimento de mais de duas décadas de implantação das agências do Canadá.

Foram utilizadas as definições de sistemas de saúde e de tecnologias em saúde da OMS. Sistemas de saúde contemplam o conjunto de todas as “organizações, instituições e recursos com a finalidade de melhorar, manter ou recuperar a saúde”, incluindo os “serviços coletivos e individuais, assim como as atividades para influenciar as políticas e as ações de outros setores destinadas a enfrentar os determinantes políticos, sociais, ambientais e econômicos da saúde15 (p. 7). Tecnologias em saúde são “aplicações de conhecimento e habilidades organizadas na forma de dispositivos, medicamentos, vacinas, procedimentos e sistemas desenvolvidos para resolver um problema de saúde e melhorar a qualidade de vida16 (p. 106).

Resultados

Brasil e Canadá: semelhanças e diferenças

Esses dois países apresentam semelhanças e diferenças importantes, como mostram os dados da Tabela 1. Do ponto de vista das semelhanças, ambos podem ser caracterizados como sociedades relativamente heterogêneas, abertas e democráticas; estão organizados de forma federativa, com diversas unidades territoriais autônomas e dotadas de governo próprio, o que dificulta a coordenação das políticas públicas em função da sobreposição de competências e da competição entre os diferentes entes da federação; contam com sistemas de saúde públicos e descentralizados, com forte participação do Estado no financiamento, gestão e provisão de serviços; e têm dimensões continentais, com vastas áreas pouco povoadas (p. ex. Amazônia brasileira e Ártico canadense), o que implica barreiras geográficas para a oferta de serviços de saúde e problemas de acesso para a população que reside nestas áreas 17.

Tabela 1 Dados selecionados sobre o Brasil e o Canadá. 

Item Brasil Canadá
Extensão territorial (milhões de km2) 8,5 9,1
População (milhões de habitantes, 2017) 207,3 35,6
População 0-14 anos (% do total, 2017) 22,3 15,4
População ≥ 65 anos (% do total, 2017) 8,3 18,6
Expectativa de vida ao nascer (anos, 2017) 74,0 81,9
Mortalidade infantil 1 ano (mortes por nascidos vivos, 2017) 17,5 4,5
Saúde - carga de doenças (% do total, 2016)
Doenças crônicas e não transmissíveis 70,6 86,3
Ferimentos 15,8 9,5
Doenças transmissíveis, maternas, neonatais e nutricionais 13,6 4,2
Educação - resultados do PISA (valor médio, 2015)
Ciências 401 528
Leitura 407 257
Matemática 377 516
Composição do PIB por setor (%, 2017)
Agricultura 6 2
Indústria 21 28
Serviços 73 70
Renda por habitante/ano (Dólar internacional PPC, 2017) 15.500 48.100
Distribuição de renda (coeficiente de Gini, 2015) 0.515 0.340
Índice de Desenvolvimento Humano (2015) 0,754 0,920
Gasto total com saúde (% do PIB, 2015) 8,9 10,45
Gasto do governo com saúde (% do gasto total, 2015) 43 74
Gasto do governo com saúde por habitante/ano (Dólar internacional PPC, 2015) 595 3.383
Índice de acesso e qualidade da atenção à saúde (HAQ Index, 2015) 64,9 87,6
Gasto com pesquisa e desenvolvimento (% do PIB, 2014) 1,17 1,62
Índice global de inovações (2015) 34,9 55,7

HAQ Index: Healthcare Access and Quality Index; PIB: Produto Interno Bruto; PISA: Programa Internacional de Avaliação de Estudantes; PPC: paridade do poder de compra.

Fontes: Central Intelligence Agency 16, Organisation for Economic Co-operation and Development 17; World Health Organization (Global health expenditure database: indicators and data. http://apps.who.int/nha/database/Select/Indicators/en, acessado em 05/Out/2018); Departamento de Informática do SUS (Sistema de Informações sobre Orçamentos Públicos em Saúde - SIOPS. http://www.saude.gov.br/repasses-financeiros/siops, acessado em 05/Out/2018).

Por outro lado, os dois países também compartilham muitas diferenças, incluindo: formas de governo (republica presidencialista no Brasil e monarquia parlamentarista no Canadá); clima (tropical e temperado no Brasil versus temperado e ártico/subártico no Canadá); características demográficas (a população brasileira é cerca de seis vezes maior do que a população canadense e proporcionalmente mais jovem); perfil epidemiológico (carga de doença com proporção mais elevada de ferimentos e doenças infecciosas no Brasil); indicadores de saúde e educação (mais favoráveis no Canadá); composição do Produto Interno Bruto - PIB (maior peso da agricultura no Brasil e maior peso da indústria no Canadá); renda média (mais elevada no Canadá); distribuição de renda (mais desigual no Brasil); desenvolvimento humano (mais alto no Canadá); esforço de inovação (mais acentuado no Canadá); e aspectos históricos e socioculturais (natureza da colonização, legado da escravidão, idioma, religião, manifestações culturais etc.) 17.

Embora os dois países contem com sistemas de saúde públicos e universais, há distinções importantes a serem destacadas.

Abrangência dos serviços

No Brasil, a integralidade da atenção à saúde, entendida como abordagem integral e contínua do indivíduo 18, é uma das diretrizes fundamentais do Sistema Único de Saúde (SUS) e inclui todas as ações e serviços para a promoção, proteção e recuperação da saúde. No Canadá, o sistema de saúde deve garantir o acesso da população a todos os serviços médicos necessários, mas não há uma definição clara sobre quais serviços devem ser cobertos. De modo geral, estão cobertos serviços hospitalares considerados necessários para manter a saúde, prevenir, diagnosticar e tratar uma lesão, doença ou incapacidade, assim como serviços prestados por médicos em outras unidades de saúde 19.

Atribuições dos entes da federação

No Brasil, União, estados e municípios têm atribuições comuns e competências específicas na gestão do SUS, com grande protagonismo do executivo federal na formulação de políticas, na coordenação e no financiamento do sistema, e dos municípios na prestação de serviços. No Canadá, o Governo Federal se ocupa principalmente da administração dos cinco princípios nacionais do sistema de saúde - universalidade, acessibilidade, abrangência, portabilidade e administração pública - e do apoio financeiro às províncias, que são as esferas diretamente responsáveis pela gestão e prestação de serviços em seus territórios.

Regionalização

No Brasil, as ações e serviços públicos de saúde devem integrar uma rede regionalizada e hierarquizada, mediante a instituição de regiões de saúde formadas por agrupamentos de municípios com a finalidade de integrar sua organização, planejamento e execução. Existem aproximadamente 450 regiões de saúde em todo o país. No Canadá, o estabelecimento de Autoridades Regionais de Saúde (ARS) responsáveis pela administração e prestação de serviços numa área geográfica específica, com orçamento próprio e relativa autonomia decisória, é uma prerrogativa de cada província/território. Em 2015, havia cerca de 70 ARS em todo o território canadense.

Financiamento

O montante de recursos investidos e a participação de cada esfera de governo no financiamento do sistema são distintos nos dois países. No Brasil, apenas 43% do gasto total com saúde são realizados no âmbito do SUS, o que corresponde a 595 Dólares americanos (em paridade de poder de compra) por habitante/ano, segundo os dados da OMS para 2015 (World Health Organization. Global health expenditure database: indicators and data. http://apps.who.int/nha/database/Select/Indicators/en, acessado em 05/Out/2018). A participação do Governo Federal é de aproximadamente 43% do total, já estados e municípios são responsáveis por 57% (Departamento de Informática do SUS. Sistema de Informações sobre Orçamentos Públicos em Saúde - SIOPS. http://www.saude.gov.br/repasses-financeiros/siops, acessado em 05/Out/2018). No Canadá, a participação do gasto governamental é consideravelmente maior (74% do gasto total) e corresponde a um montante de 3.383 Dólares americanos por habitante/ano, ao passo que a participação das províncias no financiamento também é maior (cerca de 76%).

Desempenho dos sistemas de saúde

Considerando-se o Healthcare Access and Quality (HAQ) Index, indicador que fornece uma medida síntese do acesso e da qualidade da atenção à saúde numa escala de 0 (mais baixo) a 100 (mais elevado), observa-se a seguinte situação 20: em 2015, o Canadá (HAQ = 87,6) integrava o decil de países com resultados mais favoráveis, juntamente com países da Europa Ocidental, Austrália e Japão; ao passo que o Brasil (HAQ = 64,9) ocupava uma posição intermediária (quinto decil). Além disso, a lacuna que separa o valor obtido no HAQ Index de 2015 e o melhor desempenho possível neste indicador em função do nível de desenvolvimento dos dois países é maior no Brasil (lacuna de 9,8) do que no Canadá (lacuna de 4,0), o que indica que o potencial existente (e não aproveitado) para melhorar o acesso e a qualidade da atenção à saúde é maior no Brasil.

Incorporação de tecnologias em países com sistemas maduros: a experiência canadense

No Canadá, as decisões e priorizações relativas aos sistemas e serviços de saúde ocorrem no nível provincial e/ou regional, no qual os recursos são alocados do Governo Federal para as províncias/territórios, e destes para regiões de saúde e prestadores de serviços locais 21. De modo geral, os hospitais operam com um orçamento definido e são responsáveis pela maioria das decisões relativas à incorporação de tecnologias 22. Essa situação explica parcialmente por que muitas unidades de ATS foram constituídas nos hospitais canadenses no período recente. Apesar disso, o Canadá conta com diversas organizações dedicadas à produção de ATS em nível nacional e provincial, tendo sido um dos primeiros países a reconhecer formalmente o valor da ATS no apoio à incorporação de tecnologias em saúde 23.

A institucionalização da ATS no Canadá iniciou na década de 1980, embora algumas atividades tenham começado alguns anos antes 21. A primeira organização formalmente dedicada à ATS foi criada pelo governo da província do Quebec em 1988 - o Conseil d’Évaluation des Technologies de la Santé du Québec (CETS). No ano seguinte, foi criado o Canadian Coordinating Office of Health Technology Assessment (CCOHTA), uma organização independente e sem fins lucrativos, financiada conjuntamente pelo Governo Federal e pelos governos das províncias e territórios, com a missão de produzir e coordenar a ATS em todo o país. Em 1990, a província de British Columbia criou o British Columbia Office of HTA (BCOHTA), vinculado à Universidade de British Columbia, e em 1993 a província de Alberta estabeleceu o Health Technology Assessment Program dentro do departamento de saúde da província, posteriormente transferido para o Alberta Heritage Foundation for Medical Research (AHFMR), uma organização de financiamento de pesquisa em saúde. Assim, até o final da década de 1990, o sistema de ATS adquiriu o formato de um modelo misto no Canadá, com algumas províncias investindo em ATS nos níveis provincial e nacional, enquanto as demais províncias dependiam unicamente da atuação do CCOHTA 23,24.

Nos anos 2000, mudanças políticas nos níveis provincial e federal transformaram o cenário da ATS no Canadá: a agência nacional expandiu sua missão e se transformou na Canadian Agency for Drugs and Technologies in Health (CADTH); em Alberta, a unidade de ATS foi substituída pelo Alberta Health Evidence Reviews; em British Columbia, o BCOHTA foi dissolvido e o BC Health Technology Review foi criado para tecnologias não medicamentosas; em Quebec, o Institut National d’Excellence en Santé et en Services Sociaux (INESSS) foi criado; em Ontario, houve fusão de diversas organizações que atuavam na área de ATS, dando origem ao Health Quality Ontario (HQO); e muitos hospitais e outras organizações estabeleceram suas próprias unidades de ATS.

Redes de ATS também foram criadas nos níveis nacional e provincial, como o Pan-Canadian HTA Collaborative e o Toronto Health Economics and Health Assessment (THETA) Collaborative. Uma iniciativa importante a ser destacada foi a criação, em 2015, do HTA Database Canadian Repository, um repositório comum para disseminar as avaliações produzidas pelo CADTH e pelas províncias de Alberta, Ontario e Quebec, com a finalidade de promover a colaboração e reduzir a duplicação de esforços entre os produtores de ATS do Canadá.

Dessa forma, o cenário atual do sistema de ATS no Canadá inclui uma agência nacional (CADHT), processos formais em quatro províncias e iniciativas locais e regionais baseadas em hospitais, institutos de pesquisa, organizações que prestam serviços de saúde (Quadro 1). As províncias menores e os territórios não têm uma estrutura dedicada à ATS e dependem fortemente do CADTH e das ATS produzidas em outras províncias. O Quebec, por sua vez, é a única província que não utiliza as recomendações do CADTH para a tomada de decisão relativa a medicamentos, preferindo usar a sua própria agência.

Fonte: elaboração própria.

Quadro 1 O sistema de avaliação de tecnologias em saúde (ATS) no Canadá. 

Apesar da maturidade e da abrangência do sistema de ATS do Canadá, diversos estudos 21,22,23,24,25,26,27 destacam a existência de fragilidades importantes, incluindo: priorização pouco inteligente das tecnologias a serem avaliadas; fragmentação e falta de transparência na produção e uso da ATS para tecnologias não medicamentosas; envolvimento e participação limitada de médicos e pacientes nos processos de ATS; ausência de métodos apropriados para avaliar novas tecnologias em saúde (medicina personalizada, diagnósticos complementares etc.); processos regulatórios para a comercialização e adoção/reembolso das tecnologias em saúde com critérios não harmonizados; duplicação e sobreposição de esforços; valor atribuído às tecnologias pouco ancorado em valores societais; reduzida harmonização de métodos entre os diferentes produtores de ATS; desconsideração de dimensões importantes, como as implicações éticas e sociais das tecnologias; tempo de resposta que não atende às necessidades dos tomadores de decisão; capacidade insuficiente de profissionais qualificados para trabalhar com ATS; baixo uso da ATS para decisões relativas a desinvestimento; atividades de mobilização e transferência de conhecimento insuficientes; e ausência de avaliações sobre o impacto da ATS na política de saúde.

Incorporação de tecnologias em países com sistemas emergentes: a experiência brasileira

Diferentemente do Canadá, onde a institucionalização da ATS começou no final da década de 1980, no Brasil as primeiras iniciativas neste sentido são mais recentes e datam do início dos anos 2000, quando estruturas foram criadas dentro do Ministério da Saúde para desenvolver atividades no campo da ciência, tecnologia e inovação em saúde, e esforços foram feitos para elaborar uma política nacional que contemplasse a questão da incorporação de tecnologias no SUS 28. Duas políticas nacionais - a Política Nacional de Ciência, Tecnologia e Inovação em Saúde (PNCTIS), instituída em 2004, e a Política Nacional de Gestão de Tecnologias em Saúde (PNGTS), aprovada em 2009 - foram marcos importantes nesse processo, pois contribuíram para o fortalecimento das atividades de ATS para apoiar a tomada de decisão no âmbito do SUS 11.

Em 2011, foi aprovada a Lei nº 12.401, que estabelece, entre outras coisas, que são atribuições do Ministério da Saúde a incorporação, a exclusão ou a alteração pelo SUS de novos medicamentos, produtos e procedimentos, bem como a constituição ou a alteração de protocolo clínico ou de diretriz terapêutica. Estabelece, ainda, que o Ministério da Saúde, no cumprimento dessas atribuições, deve ser assessorado pela Comissão Nacional de Incorporação de Tecnologias no SUS (Conitec), que elabora relatórios com base em evidências científicas sobre a eficácia, a acurácia, a efetividade e a segurança das tecnologias e avaliações econômicas comparativas dos seus custos e benefícios. Na verdade, a Conitec substituiu e expandiu as funções de outra comissão que havia sido criada em 2006 com finalidade semelhante 29.

Os fluxos estabelecidos na Conitec são contínuos e precisam ser respondidos em 180 dias, independentemente da origem das demandas recebidas. A composição do plenário responsável pela recomendação é formada essencialmente por representantes das diversas áreas que integram o Ministério da Saúde, mas também há espaço para a participação de representantes dos gestores dos estados e municípios, assim como dos médicos e usuários. A atuação da Comissão incide na definição de protocolos clínicos e diretrizes terapêuticas, na Relação Nacional de Medicamentos (Rename) e na Relação Nacional de Ações e Serviços de Saúde (Renases) 30.

No nível estadual, poucos estados criaram estruturas próprias de ATS. Uma exceção a ser destacada é São Paulo, que implantou diversas iniciativas destinadas ao fortalecimento do processo de incorporação de tecnologias em saúde. Se iniciativas estaduais foram limitadas, o mesmo não pode ser dito quanto à ATS local baseada em hospitais. Incentivados pelo Ministério da Saúde, 24 hospitais de ensino de todas as regiões do país receberam, em 2009, apoio financeiro para implantar núcleos de ATS. Ao longo dos últimos anos, a ATS em hospitais expandiu consideravelmente no Brasil: somente no Estado de São Paulo, 30 hospitais contavam com alguma iniciativa no campo da ATS 31.

Outra iniciativa importante é a Rede Brasileira de Avaliação de Tecnologias em Saúde (Rebrats), formalmente criada em 2011, embora suas atividades tenham sido iniciadas em 2006. Essa Rede conta com 104 membros institucionais (organizações de pesquisa, organizações prestadoras de serviços e instituições gestoras) em todo o território brasileiro, mas com grande concentração nos estados da Região Sudeste e no Distrito Federal 32. Além de contribuir para a capacitação de profissionais, a priorização e o fomento de estudos, e a elaboração e padronização de metodologias, a Rebrats também disponibiliza gratuitamente as ATS produzidas por seus membros num repositório chamado Sisrebrats.

Finalmente, é importante mencionar que diversos hospitais privados e empresas operadoras de planos privados de assistência à saúde também produzem e utilizam ATS no Brasil. Isso ocorre porque o país conta com um expressivo mercado de planos privados de assistência à saúde, cuja incorporação de tecnologias é de responsabilidade da Agência Nacional de Saúde Suplementar (ANS), que define a cobertura mínima de procedimentos e eventos que as operadoras devem oferecer aos seus beneficiários. A inclusão de serviços adicionais é feita no âmbito de cada operadora.

Em síntese, o sistema de ATS no Brasil é formado por (Quadro 2): uma agência governamental responsável por assessorar o Ministério da Saúde nas avaliações e recomendações sobre a incorporação de tecnologias no SUS em nível nacional; experiências limitadas de desenvolvimento de estruturas próprias de ATS no plano estadual; e diversos hospitais de ensino, institutos de pesquisa e outras organizações (públicas e privadas) que contam com iniciativas no campo da ATS no nível regional/local.

Fonte: elaboração própria.

Quadro 2 O sistema de avaliação de tecnologias em saúde (ATS) no Brasil. 

Como destacado por vários autores 7,11,28,33,34,35,36, esse rápido processo de desenvolvimento institucional da ATS no Brasil foi acompanhado por muitas fragilidades, com destaque para: processos de ATS metodologicamente incompletos, insuficientes em termos de escopo e que não atendem às necessidades do sistema de saúde; priorização de tecnologias a serem avaliadas não necessariamente alinhadas com a relevância do problema de saúde em termos de prevalência, morbidade ou mortalidade; processos de recomendação pouco transparentes; pouca ligação com a rede de instituições de ensino e pesquisa para apoiar a avaliação; decisões centralizadas que não consideram as diferenças regionais em termos demográficos e epidemiológicos; participação limitada dos usuários nos processos de ATS; uso limitado da ATS pelas instâncias do judiciário; núcleos de ATS em hospitais de ensino com dificuldades de implantação; reconhecimento limitado da Conitec como órgão destinado a assessorar o Ministério da Saúde nas decisões de incorporação de tecnologias no SUS; atividades de priorização, avaliação e tomada de decisão concentradas na mesma instância; quantidade insuficiente de profissionais capacitados para trabalhar com ATS; e separação dos processos de incorporação nos sistemas público e privado de saúde.

Discussão

Com base na descrição realizada nas seções precedentes, é possível verificar que os dois países contam com um sistema de ATS fragmentado, com diversas organizações atuando em diferentes níveis (nacional, provincial/estadual e local). Em principio, esse aspecto sugere desintegração e duplicidade de esforços, mas um exame mais atento indica a possibilidade de sinergia entre os diferentes componentes do sistema. Conforme apontado antes, Brasil e Canadá têm sistemas de saúde descentralizados, com esferas subnacionais que têm graus elevados de autonomia para a tomada de decisão, de modo que os sistemas de ATS integram e ao mesmo tempo reproduzem esta lógica de organização. Além disso, a fragmentação reflete também uma divisão do trabalho no interior do sistema de ATS, com organizações no nível nacional responsáveis por grande parte das avaliações produzidas, mas cuja atuação é complementada pelo trabalho de outras organizações provinciais/estaduais, regionais e locais. A constituição de redes de ATS nos dois países representa um esforço importante no sentido de melhor articular a integração dessas diferentes organizações. Dessa forma, é fundamental que as redes de ATS constituídas no Brasil sejam fortalecidas mediante ações que promovam sua sustentabilidade.

Embora a atenção à saúde seja de acesso universal e financiada com recursos públicos tanto no Brasil como no Canadá, o papel atribuído aos gestores do sistema de saúde é distinto nos dois países, o que influencia na forma como as atividades de ATS estão organizadas. Como no Canadá as províncias são responsáveis pela gestão e provisão dos serviços de saúde em suas respectivas jurisdições, há diferenças em termos de cobertura e remuneração, com alguns serviços sendo cobertos e remunerados em algumas províncias, mas não em outras. Isso faz com que as decisões relativas à incorporação de tecnologias ocorram principalmente nas províncias, de modo que são elas as principais demandantes dos serviços prestados pela agência nacional de ATS no Canadá. No Brasil, ao contrario do sistema canadense, a remuneração das ações e serviços de saúde no âmbito do SUS ocorre por meio de uma única tabela utilizada em todo o país. Como resultado, as decisões relativas à incorporação de tecnologias ocorrem, sobretudo, no nível nacional, embora estados e municípios possam decidir incluir ações e serviços não inseridos nessa tabela. Assim, não surpreende que os principais demandantes das avaliações produzidas pela Conitec sejam as próprias áreas internas do Ministério da Saúde 37. No entanto, o caráter descentralizado (e regionalizado) do SUS demanda ações capazes de ampliar a capilaridade do sistema de ATS, dotando os estados e as regiões de saúde de mecanismos que promovam a gestão e o uso racional de tecnologias nestas esferas.

Outro aspecto que merece ser destacado nas duas experiências é o escopo relativamente abrangente dos produtos e serviços realizados, que incluem não apenas avaliações de tecnologias em saúde, mas também a padronização de métodos e diretrizes e o monitoramento do horizonte tecnológico. Destaque-se que essa última atividade é de grande importância, pois busca identificar tecnologias novas e emergentes que podem ter um impacto significativo em termos clínicos, econômicos ou orçamentários. Novamente aqui o Canadá encontra-se num estágio mais avançado, pois seu programa de avaliação de tecnologias emergentes foi instituído em 1997. Esse programa teve seu foco expandido em 2008 para incluir também questões no campo da pesquisa, das práticas clínicas e das políticas de saúde nas províncias e territórios canadenses 38. No Brasil, essa atividade foi estudada pela Rebrats, mas instituída somente em 2012 no âmbito da Conitec, com uma produção crescente, mas ainda pouco expressiva 39, que deve ser fortalecida. Do mesmo modo, o sistema brasileiro de ATS tem concentrado sua produção na avaliação de medicamentos, que representou 66% do total das avaliações no período 2012-2016 37. A criação de grupos especializados de ATS por tipo ou categoria de tecnologia (medicamentos, tecnologias não medicamentosas e intervenções de saúde e de serviços sociais), tal como adotado no Canadá, pode ser uma alternativa para o Brasil expandir e diversificar suas atividades.

A análise do sistema de ATS do Canadá mostra que a incorporação de tecnologias em sistemas maduros também apresenta desafios importantes, principalmente no que se refere ao uso racional das tecnologias em saúde. No caso brasileiro, é necessário considerar um conjunto de fatores que torna o cenário mais complexo. Em primeiro lugar, o sistema de ATS no Brasil é fortemente dependente da atuação do Ministério da Saúde, que fornece parcela significativa dos recursos financeiros. Num contexto de crise econômica e restrição orçamentária na área da saúde, é pouco provável que o sistema de ATS venha a ter recursos adicionais para consolidação e expansão. Em segundo, o papel desempenhado pelas decisões judiciais 40, as quais, embora relevantes para a democratização do acesso à saúde, revelam um perfil de pressão de demandas individuais que incidem sobre o sistema de saúde 41,42 e têm obrigado o SUS a ofertar tecnologias custosas 43 a despeito das atuais normatizações. Em terceiro, a forte dependência externa de insumos para a saúde gerados em outros países 44, sem a devida avaliação dos efeitos esperados na realidade das populações que as adotarão, coloca em risco não apenas a saúde dos usuários, mas a própria sustentabilidade do SUS, que fica obrigado, na ausência de outras alternativas, a pagar os valores cobrados pelas empresas internacionais que comercializam estas tecnologias. Em quarto lugar, o sistema de ATS está concentrado no nível nacional 45,46 e faltam ações para expandir o uso de evidências para planejar as ações e serviços de saúde em âmbitos estadual, regional e local 12, gerando desequilíbrio nos investimentos e problemas de distribuição da oferta de serviços.

Os atuais processos de incorporação de tecnologias em saúde são insuficientes para responder a esses desafios, sobretudo no que se refere à capilaridade do sistema. Existem algumas iniciativas de núcleos em hospitais 47, há uma disseminação da área por meio da expansão da Rebrats 48 e há um exemplo de iniciativa estadual por intermédio da Rede Paulista de Avaliação de Tecnologia em Saúde (Repats), com a participação de hospitais e setores do governo 31. Porém, uma estrutura regionalizada para o planejamento da incorporação de tecnologias no Brasil permanece necessária. As Comissões Intergestores Regionais (CIR) 49, espaços de governança regional das redes de atenção à saúde, podem ser um local de conjunção para estabelecer os processos de incorporação de tecnologias direcionadas às prioridades regionais.

Conclusões

O artigo examina o sistema de ATS existente no Brasil e no Canadá, identificando desafios e perspectivas para o planejamento da incorporação de tecnologias de forma regionalizada. A baixa institucionalização e organicidade da área nas esferas estaduais e regionais de gestão do SUS é preocupante, tendo em vista a natureza descentralizada do sistema de saúde brasileiro e os processos de regionalização e conformação das redes integradas de atenção à saúde.

A estrutura regionalizada para o planejamento da incorporação de tecnologias no Canadá pode ser uma experiência interessante para o sistema brasileiro. A despeito das diferenças de contexto entre os dois países, a experiência canadense demonstrou sustentabilidade das instâncias provinciais de ATS. Ao mesmo tempo, a articulação positiva entre agências governamentais e grupos de ATS baseados em hospitais sugere a configuração de novos arranjos que favorecem as atividades de planejamento e o uso racional de tecnologias.

Em que pese a não realização de uma revisão sistematizada da literatura, este estudo comparativo contribui, em caráter exploratório, para a compreensão de questões que sinalizam limites para os avanços do planejamento da incorporação tecnológica no Brasil. Novas pesquisas são necessárias para identificar as capacidades e as prioridades das agendas estaduais e regionais, visando à criação de cenários de futuro para a implantação de um sistema de ATS regionalizado para a incorporação de tecnologias em saúde.

Referências

1. Roncarolo F, Boivin A, Denis J-A, Hébert R, Lehoux P. What do we know about the needs and challenges of health systems? A scoping review of the international literature. BMC Health Serv Research 2017; 17:636. [ Links ]

2. World Health Organization. Everybody's business: strenghtening health systems to improve health outcomes. WHO's framework for action. Geneva: World Health Organization; 2007. [ Links ]

3. Organisation for Economic Co-operation and Development. New health technologies: managing access, value and sustainability. Paris: OECD Publishing; 2017. [ Links ]

4. Goodman CS. HTA 101: introduction to health technology assessment. Bethesda: National Library of Medicine; 2014. [ Links ]

5. Velasco-Garrido M, Zentner A, Busse R. Health systems, health policy and health technology assessment. In: Velasco-Garrido M, Børlum Kristensen F, Palmhøj Nielsen C, Busse R, editors. Health technology assessment and health policy-making in Europe: current status, challenges and potential. Copenhagen: WHO Regional Office for Europe; 2008, p. 53-78. [ Links ]

6. Cheung KL, Evers SMAA, De Vries H, Levy P, Pokhrel S, Jones T, et al. Most important barriers and facilitators of HTA usage in decision-making in Europe. Expert Rev Pharmacoecon Outcomes Res 2018; 18:297-304. [ Links ]

7. Oortwijn W, Mathijssen J, Banta D. The role of health technology assessment on pharmaceutical reimbursement in selected middle-income countries. Health Policy 2010; 95:174-84. [ Links ]

8. Pichon-Riviere A, Soto NC, Augustovski FA, García Martí S, Sampietro-Colom L. Evaluación de tecnologías sanitarias para la toma de decisiones en Latinoamérica: principios de buenas prácticas. Rev Panam Salud Pública 2017; 41:e138. [ Links ]

9. Rosselli D, Quirland-Lazo C, Csanádi M, Ruiz de Castilla EM, González NC, Valdés J, et al. HTA implementation in Latin American countries: comparison of current and preferred status. Value Health Reg Issues 2017; 14:20-7. [ Links ]

10. Wija O, Broos P, Vandeling H, Banta D, Todorova L. Mapping of health technology assessment in selected countries. Int J Technol Assess Health Care 2013; 29:424-34. [ Links ]

11. Silva HP, Petramale CA, Elias FT. Avanços e desafios da Política Nacional de Gestão de Tecnologias em Saúde. Rev Saúde Pública 2012; 46 Suppl:83-90. [ Links ]

12. Kuchenbecker R, Polanczyk CA. Institutionalizing health technology assessment in Brazil: challenges ahead. Value Health Reg Issues 2012; 1:257-61. [ Links ]

13. Picon PD, Beltrame A, Banta D. National guidelines for high-cost drugs in Brazil: achievements and constraints of an innovative national evidence-based public health policy. Int J Technol Assess Health Care 2013; 29:198-206. [ Links ]

14. Bellanger M, Picon P, Stuwe LT. HTA health policy series: a perspective on health technology assessment activities in Brazil. ISPOR Latin America Consortium Newsletter 2015; 3:1-3. [ Links ]

15. Schmets G, Rajan D, Kadandale S, editors. Strategizing national health in the 21st century: a handbook. Geneva: World Health Organization; 2016. [ Links ]

16. World Health Organization. Sixtieth World Health Assembly. WHA60.29 health technologies. http://www.who.int/health-technology-assessment/about/healthtechnology/en/ (acessado em 25/Mar/2108). [ Links ]

17. Central Intelligence Agency. The world factbook 2018. Washington DC: Central Intelligence Agency; 2018. [ Links ]

18. Pinheiro R, Mattos R, organizadores. Os sentidos da integralidade na atenção e no cuidado à saúde. Rio de Janeiro: Abrasco/Universidade do Estado do Rio de Janeiro; 2001. [ Links ]

19. Government of Canada. Canada's health care system. https://www.canada.ca/en/health-canada/services/canada-health-care-system.html#a1 (acessado em 05/Abr/2018). [ Links ]

20. GBD 2015 Healthcare Access and Quality Collaborators. Healthcare Access and Quality Index based on mortality from causes amenable to personal health care in 195 countries and territories, 1990-2015: a novel analysis from the Global Burden of Disease Study 2015. Lancet 2017; 390:231-66. [ Links ]

21. Menon D. Health technology assessment: the journey continues. CMAJ 2014; 187:E19-20. [ Links ]

22. Martin J, Polisena J, Dendukuri N, Rhainds M, Sampietro-Colom L. Local health technology assessments in Canadá: current state and next steps. Int J Technol Assess Health Care 2016; 32:175-80. [ Links ]

23. Menon D, Stafinski T. Avaliação de tecnologias em saúde no Canadá. In: Andrade LOM, Silva HP, Gadelha CAG, Costa L, Souza LEP, organizadores. Conhecimento e inovação em saúde: experiências do Brasil e do Canadá. Campinas: Saberes Editora; 2012. p. 411-30. [ Links ]

24. Battista R, Côté B, Hodge M, Husereau D. Health technology assessment in Canadá. Int J Technol Assess Health Care 2009; 25 Suppl 1:53-60. [ Links ]

25. Lehoux P. The problem of health technology: policy implications for modern health care systems. New York: Routledge; 2006. [ Links ]

26. Public Health Agency of Canada; Health Canada Office of Audit and Evaluation. Evaluation of the Canadian Agency for Drugs and Technologies in Health Activities 2012-2013 to 2015-2016. https://www.canada.ca/en/health-canada/corporate/transparency/corporate-management-reporting/evaluation/2012-2013-2015-2016-canadian-agency-drugs-technologies.html (acessado em 05/Abr/2018). [ Links ]

27. Grimes K, Prada G, Astles P, Foerster V, Brichta J. Health technology assessment in Canadá: opportunities for optimization and redesign. Ottawa: The Conference Board of Canadá; 2017. [ Links ]

28. Banta D, Almeida RT. The development of health technology assessment in Brazil. Int J Technol Assess Health Care 2009; 25 Suppl 1:255-9. [ Links ]

29. Comissão Nacional de Incorporação de Tecnologias no Sistema Único de Saúde. O que muda da antiga CITEC para a atual CONITEC no processo de incorporação de tecnologias no SUS 2011. http://conitec.gov.br/mudancas-da-citec-para-a-conitec (acessado em 01/Abr/2018). [ Links ]

30. Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Ministério da Saúde. Componente especializado da assistência farmacêutica: inovação para a garantia do acesso a medicamentos no SUS. Brasília: Ministério da Saúde; 2014. [ Links ]

31. Trindade EM, Martins PN, Zamberlan AGON, Opromolla PA, Toma TS, Muller SS, et al. Experiência da rede paulista de ATS na parceria com a CONITEC. Revista Eletrônica Gestão & Saúde 2015; 6 Suppl 4:3297-312. [ Links ]

32. Leão L. Rede Brasileira de Avaliação de Tecnologias em Saúde - REBRATS. https://pt.slideshare.net/CONITEC/13-conitec-em-evidencia2017-rebrats-atuao-e-oportunidades-para-a-comunidade-de-ats-no-brasil (acessado em 05/Abr/2018). [ Links ]

33. Ferraz MB, Soárez PC, Zucchi P. Health technology assessment in Brazil: what do healthcare system players think about it? São Paulo Med J 2011; 129:198-205. [ Links ]

34. Guimarães R. Incorporação tecnológica no SUS: o problema e seus desafios. Ciênc Saúde Colet 2014; 19:4899-908. [ Links ]

35. Elias FTS, Leão LSC, Assis EC. Avaliação de tecnologias em hospitais de ensino: desafios atuais. Tempus (Brasília) 2015; 9:147-58. [ Links ]

36. Lessa F, Ferraz MB. Health technology assessment: the process in Brazil. Rev Panam Salud Pública 2017; 41:e25. [ Links ]

37. Rabelo R, Canuto V, Petramale C, Mega T. Health technology assessment in Brazil: a 5-year review of Brazilian health system (Conitec) activities. Int J Technol Assess Health Care 2017; 33 Suppl 1:62. [ Links ]

38. Morrison A. Scanning the horizon in a decentralized healthcare system: the Canadian experience. Int J Technol Assess Health Care 2012; 28:327-32. [ Links ]

39. Souza AB, Teixeira Vidal A, Gomes PT. Avanços do monitoramento do horizonte tecnológico no Brasil. Value Health 2017; 20:A854. [ Links ]

40. Polakiewicz RR, Tavares CMM. Vulnerabilidades e potencialidades da judicialização da saúde: uma revisão integrativa. Revista Enfermagem Atual 2018; 22:135-56. [ Links ]

41. Campos Neto OH, Acurcio FA, Machado MAA, Ferré F, Barbosa FLV, Cherchiglia ML, et al. Médicos, advogados e indústria farmacêutica na judicialização da saúde em Minas Gerais, Brasil. Rev Saúde Pública 2012; 46:784-90. [ Links ]

42. Chieffi AL, Barata RB. Judicialização da política pública de assistência farmacêutica e eqüidade. Cad Saúde Pública 2009; 25:1839-49. [ Links ]

43. Luo J, Oliveira MA, Ramos MB, Maia A, Osorio-de-Castro CG. Antiretroviral drug expenditure, pricing and judicial demand: an analysis of federal procurement data in Brazil from 2004-2011. BMC Public Health 2014; 14:367. [ Links ]

44. Gadelha CAG, Nascimento MAC, Braga PSC, Cesario B. Transformações e assimetrias tecnológicas globais: estratégia de desenvolvimento e desafios estruturais para o Sistema Único de Saúde. Ciênc Saúde Colet 2018; 23:2119-32. [ Links ]

45. Novaes HMD, Elias FTS. Uso da avaliação de tecnologias em saúde em processos de análise para incorporação de tecnologias no Sistema Único de Saúde no Ministério da Saúde. Cad Saúde Pública 2013; 29 Suppl 1:S7-16. [ Links ]

46. Yuba TY, Novaes HMD, De Soárez PC. Challenges to decision-making processes in the national HTA agency in Brazil: operational procedures, evidence use and recommendations. Health Res Pol Sys 2018; 16:40. [ Links ]

47. Pereira CCA, Rabello RS, Elias FTS. Hospital-based health technology assessment in Brazil An overview of the initial experiences. Int J Technol Assess Health Care 2017; 33:227-31. [ Links ]

48. Vanni T, Stein AT, Souza KM, Freitas MG, Patterson I, Assis EC, et al. Inteligência avaliativa em rede: construindo consenso em Avaliação de Tecnologias em Saúde. RECIIS (Online) 2015; 9:1-10. [ Links ]

49. Viana ALD'A, Silva HP, Yi I. Universalizing health care in Brazil: opportunities and challenges. In: Ilcheong Yi, editor. Towards universal health care in emerging economies. London: Palgrave; 2017. p. 181-211. [ Links ]

Received: April 10, 2018; Revised: October 19, 2018; Accepted: November 07, 2018

Correspondência H. P. Silva Public Health Research Institute, University of Montreal. 7101, Avenue du Parc, 3e étage, Montreal, Quebec H3N 1X9, Canada. hp.silva@umontreal.ca

Colaboradores

H. P. Silva e F. T. S. Elias participaram da concepção, revisão da literatura e redação do manuscrito.

Informações adicionais

ORCID: Hudson Pacifico da Silva (0000-0001-7507-0917); Flávia Tavares Silva Elias (0000-0002-7142-6266).

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons