SciELO - Scientific Electronic Library Online

 
vol.33 número10Adaptação transcultural e validade aparente e de conteúdo da versão reduzida da The Eating Motivation Survey (TEMS) para o Português do BrasilFatores associados ao baixo conhecimento sobre HIV/AIDS entre homens que fazem sexo com homens no Brasil índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

Compartilhar


Cadernos de Saúde Pública

versão On-line ISSN 1678-4464

Cad. Saúde Pública vol.33 no.10 Rio de Janeiro  2017  Epub 26-Out-2017

http://dx.doi.org/10.1590/0102-311x00045517 

QUESTÕES METODOLÓGICAS

Análise de decisão multicritério para alocação de recursos e avaliação de tecnologias em saúde: tão longe e tão perto?

Multi-criteria decision analysis for health technology resource allocation and assessment: so far and so near?

Análisis de decisión multicriterio para la asignación de recursos y evaluación de tecnologías en salud: ¿tan lejos y tan cerca?

Alessandro Gonçalves Campolina1  2  3  * 

Patrícia Coelho De Soárez2  3 

Fábio Vieira do Amaral4 

Jair Minoro Abe5  6 

1 Instituto do Câncer do Estado de São Paulo, São Paulo, Brasil.

2 Faculdade de Medicina, Universidade de São Paulo, São Paulo, Brasil.

3 Instituto de Avaliação de Tecnologias em Saúde, São Paulo, Brasil.

4 Instituto de Ciências Exatas e Tecnologia, Universidade Paulista, São Paulo, Brasil.

5 Pós-graduação em Engenharia de Produção, Universidade Paulista, São Paulo, Brasil.

6 Instituto de Estudos Avançados, Universidade de São Paulo, São Paulo, Brasil.

RESUMO

A análise de decisão multicritérios (ADMC) é uma ferramenta emergente que permite a integração de fatores relevantes para os processos de avaliação de tecnologias em saúde (ATS). O objetivo deste estudo é apresentar uma síntese dos aspectos metodológicos da ADMC: definições, abordagens, aplicações e etapas de implementação. Realizou-se um estudo de caso no Instituto do Câncer do Estado de São Paulo (ICESP) com a intenção de compreender as perspectivas de tomadores de decisão no processo de elaboração de uma recomendação de incorporação de tecnologia no âmbito do Sistema Único de Saúde (SUS), por um relatório da Comissão Nacional de Incorporação de Tecnologias no SUS (CONITEC). A lógica paraconsistente anotada evidencial Eτ foi a abordagem metodológica escolhida por ser capaz de ser uma lógica subjacente para construtos capazes de sintetizar informações objetivas (provenientes da literatura científica) e subjetivas (provenientes de valores e preferências de especialistas na área de conhecimento); além de permitir a incorporação de informações conflitantes (contradições), vagas e mesmo incompletas no processo de valoração, resultantes da imperfeição das evidências científicas disponíveis. Foram identificadas como vantagens do método: permitir considerar de modo explícito os critérios que influenciaram a decisão; facilitar o acompanhamento e visualização das etapas do processo; permitir avaliar a contribuição de cada critério de modo isolado e agregado para o resultado da decisão; facilitar a discussão de perspectivas divergentes dos grupos de interesse e aumentar a compreensão das recomendações elaboradas. O emprego de uma abordagem explícita de ADMC poderá facilitar a mediação de conflitos e otimizar a participação de diferentes grupos de interesse.

Palavras-Chave: Tomada de Decisões; Avaliação da Tecnologia Biomédica; Avaliação em Saúde; Economia da Saúde

ABSTRACT

Multi-criteria decision analysis (MCDA) is an emerging tool that allows the integration of relevant factors for health technology assessment (HTA). This study aims to present a summary of the methodological characteristics of MCDA: definitions, approaches, applications, and implementation stages. A case study was conducted in the São Paulo State Cancer Institute (ICESP) in order to understand the perspectives of decision-makers in the process of drafting a recommendation for the incorporation of technology in the Brazilian Unified National Health System (SUS), through a report by the Brazilian National Commission for the Incorporation of Technologies in the SUS (CONITEC). Paraconsistent annotated evidential logic Eτ was the methodological approach adopted in the study, since it can serve as an underlying logic for constructs capable of synthesizing objective information (from the scientific literature) and subjective information (from experts’ values and preferences in the area of knowledge). It also allows the incorporation of conflicting information (contradictions), as well as vague and even incomplete information in the valuation process, resulting from imperfection of the available scientific evidence. The method has the advantages of allowing explicit consideration of the criteria that influenced the decision, facilitating follow-up and visualization of process stages, allowing assessment of the contribution of each criterion separately, and in aggregate, to the decision’s outcome, facilitating the discussion of diverging perspectives by different stakeholder groups, and increasing the understanding of the resulting recommendations. The use of an explicit MCDA approach should facilitate conflict mediation and optimize participation by different stakeholder groups.

Key words: Decision Making; Biomedical Technology Assessment; Health Evaluation; Health Economics

RESUMEN

El análisis de decisión multicriterio (ADMC) es una herramienta emergente que permite la integración de factores relevantes en los procesos de evaluación de tecnologías en salud (ATS). El objetivo de este estudio es presentar una síntesis de los aspectos metodológicos de la ADMC: definiciones, enfoques, aplicaciones y etapas de implementación. Se realizó un estudio de caso en el Instituto del Cáncer del Estado de São Paulo (ICESP), con la intención de comprender las perspectivas de los tomadores de decisión, en el proceso de elaboración de una recomendación para la incorporación de tecnología en el ámbito del Sistema Único de Salud (SUS), mediante informes de la Comisión Nacional de Incorporación de Tecnologías en el SUS (CONITEC). La lógica paraconsistente anotada de evidencias Eτ fue el enfoque metodológico seleccionado, al tratarse de una lógica subyacente para constructos capaces de sintetizar información objetiva (procedente de la literatura científica) y subjetiva (procedente de valores y preferencias de especialistas en el área de conocimiento); además de permitir la incorporación de información conflictiva (contradicciones), vaga e incluso incompleta en el proceso de valoración, resultante de la imperfección en las evidencias científicas disponibles. Se identificaron como ventajas de este método: permitir considerar de modo explícito los criterios que influenciaron las decisiones; facilitar el seguimiento y visualización de las etapas del proceso; permitir la evaluación de la contribución de cada criterio de modo aislado y agregado para el resultado de las decisiones; facilitar la discusión de perspectivas divergentes en los grupos de interés y aumentar la comprensión de las recomendaciones elaboradas. El empleo de un enfoque explícito de ADMC podrá facilitar la comprobación de conflictos y optimizar la participación de diferentes grupos de interés.

Palabras-clave: Toma de Decisiones; Evaluación de la Tecnología Biomédica; Evaluación en Salud; Economía de la Salud

Introdução

Nas últimas décadas, o surgimento contínuo de inovações tecnológicas tem levado a preocupações frequentes com o aumento dos gastos em saúde 1,2. A limitação de recursos, em face do constante progresso científico, tem tornado o processo de avaliação da demanda por incorporação dessas novas tecnologias um processo indispensável aos sistemas de saúde 3.

Em diversos países, a avaliação de tecnologias em saúde (ATS), enquanto prática científica e tecnológica, surgiu como uma ferramenta que pode apoiar os tomadores de decisão, ligados à gestão em saúde, fornecendo informações quanto ao potencial impacto e às consequências econômicas da introdução, retirada ou mudança na utilização de uma determinada tecnologia 4,5. No Brasil, o crescimento do interesse por esse campo de conhecimento vem ocorrendo no contexto do processo de institucionalização da Política Nacional de Gestão de Tecnologias em Saúde (PNGTS) 6.

A PNGTS estipula diretrizes como: a utilização de evidências científicas para subsidiar a gestão, por meio da ATS; o aprimoramento do processo de incorporação de tecnologias; a racionalização da utilização de tecnologias; a sistematização e disseminação de informações; o fortalecimento da estrutura governamental; a articulação político-administrativa e intersetorial; e o apoio ao fortalecimento de ensino e pesquisa em gestão de tecnologias em saúde 6.

Motivada pela Lei nº 12.4017, de 28 de abril de 2011, foi criada a Comissão Nacional de Incorporação de Tecnologias (CONITEC) no Sistema Único de Saúde (SUS), uma instância oficial responsável por auxiliar o Ministério da Saúde nas atribuições relativas à incorporação, exclusão ou alteração de tecnologias em saúde, bem como na constituição ou alteração de Protocolos Clínicos e Diretrizes Terapêuticas 8. Para tanto, a CONITEC pode fazer uso do processo de ATS que resume informações sobres questões éticas, econômicas, sociais e médicas, relacionadas ao uso da tecnologia de saúde de maneira robusta, livre, transparente e sistemática 4. A ATS funcionaria, então, como uma ponte entre a evidência científica e o processo de decisão, de modo a aprimorar a síntese, a comunicação e a disseminação da informação 9.

Nesse campo, é notório que as análises de custo-efetividade (ACE), um tipo de avaliação econômica que objetiva avaliar a eficiência das intervenções em saúde, são tidas como o paradigma que domina muitos dos processos de decisão em políticas de saúde 10. Entretanto, apesar de ser potencialmente útil como um tipo de estudo de ATS, o uso estrito dessa abordagem pode não considerar dimensões sociais e políticas mais amplas, como a gravidade das doenças, a disponibilidade de alternativas, a equidade e o impacto orçamentário 9.

Atualmente, cada vez mais se tem reconhecido que para implementar sua missão, a ATS necessita considerar dimensões sociais, organizacionais, éticas e legais das tecnologias, em adição a fatores clínicos e econômicos 11. A complexidade nesses processos é, portanto, inevitável: uma multiplicidade de fatores de influência normalmente existe, um número grande de tecnologias alternativas pode ser encontrado e a informação disponível para cada uma dessas alternativas é frequentemente imperfeita 12,13.

Em contexto, a análise de decisão multicritérios (ADMC) pode ser compreendida como uma ferramenta emergente que tem despertado grande interesse justamente por permitir a integração de outros fatores relevantes para os processos de ATS, além das clássicas ACE 14.

O objetivo deste estudo é apresentar uma síntese dos aspectos metodológicos importantes (definições, abordagens, aplicações e etapas da implementação) de uma ADMC, e como ela se aplica a um estudo de caso do medicamento Erlotinibe para o tratamento de câncer de pulmão de células não pequenas no sistema de saúde brasileiro.

Definições de análise de decisão multicritério

A força tarefa para boas práticas da International Society for Pharmacoeconomics e Outcomes Research (ISPOR) entende que a ADMC constitui-se de métodos que apoiam discussões e deliberações com base em critérios definidos explicitamente 12. A ADMC pode ser, portanto, definida como um conjunto de métodos de apoio à tomada de decisão em que dois ou mais critérios são considerados simultaneamente e de forma explícita. Tal tipo de análise é apropriado para questões que envolvem múltiplas decisões encadeadas (multiestratificadas) ou a participação de profissionais de áreas diferentes (multidisciplinares).

No trabalho seminal de Keeney & Raiffa 15, a ADMC é entendida como uma extensão da teoria da decisão capaz de cobrir qualquer tipo de decisão com múltiplos objetivos. Outros autores definem a ADMC como um termo guarda-chuva que descreve abordagens diferentes que utilizam múltiplos critérios para auxiliar indivíduos e grupos a explorar decisões relevantes 12. A ADMC compreende, dessa forma, um amplo conjunto de abordagens metodológicas que se originaram de procedimentos de pesquisa oriundos de diferentes disciplinas científicas 16,17.

A ADMC é especialmente relevante quando diferentes pontos de vista sobre uma determinada decisão conduzem a resultados conflitantes. Nessas situações, sem necessariamente utilizar modelagens quantitativas, o objetivo seria a elaboração de uma “matriz de desempenho” das alternativas, que então seria utilizada para apoio à tomada de decisão nas discussões entre grupos de interesse (stakeholders) distintos 12.

Por fim, a ADMC poderia ser definida como “um processo estruturante de avaliação e seleção de alternativas, sob condições de alta incerteza, com base na combinação quantitativa e qualitativa de critérios para a avaliação e comparação de tecnologias, a fim de alcançar o entendimento mútuo e solucionar conflitos entre vários grupos de interesse envolvidos no processo de tomada de decisão18 (p. 37).

Principais abordagens em análise de decisão multicritério

Thokala & Duenas 11 propõem uma classificação das abordagens de ADMC, para o contexto da ATS em três categorias: modelos de mensuração de valor, modelos de sobreclassificação e modelos baseados em metas, aspiração ou nível de referência. A Tabela 1 apresenta características de alguns dos métodos de ADMC mais utilizados na literatura científica.

Tabela 1 Comparação das características de diferentes métodos utilizados em análise de decisão multicritério (ADMC). 

Método Abordagem Vantagens Desvantagens Principais áreas de aplicação
MAUT Mensuração de valor Considera incerteza e pode incorporar preferências Necessita de muitos inputs e necessita de que eles sejam precisos Economia, finanças, ciências atuariais, gerenciamento de recursos hídricos e energéticos, agricultura, saúde
AHP Mensuração de valor Facilidade de uso, estrutura com hierarquia que confere versatilidade para se adaptar a diversos tipos de problemas Interdependência entre critérios e alternativas Gerenciamento de recursos, gestão corporativa, gestão pública, planejamento estratégico
ELECTRE Sobreclassificação Considera incerteza e situações “nebulosas” A comparação par a par implica que as vantagens e desvantagens das alternativas não sejam identificadas diretamente Economia, meio-ambiente, gerenciamento hídrico e energético, transporte
PROMETHEE Sobreclassificação Facilidade de uso, não requer pressuposto de proporcionalidade dos critérios Não proporciona um método claro de atribuição de pesos Meio-ambiente, gerenciamento hídrico e energético, negócios e finanças, química, logística e transporte, sistemas de manufatura, agricultura
TOPSIS Metas, aspiração ou nível de referência Simplicidade de uso Dificuldades na interrelação de critérios e no processo de ponderação Logística, engenharia, sistemas de manufatura, negócios, marketing, meio-ambiente, recursos humanos e gerenciamento de recursos hídricos
Goal Programming Metas, aspiração ou nível de referência Facilidade para lidar com problemas de larga escala e com infinitas alternativas Não permite a ponderação de critérios, necessitando associação com outros métodos Planejamento, saúde, análise de portfólio, sistemas de distribuição, planejamento energético, gerenciamento de recursos hídricos
MACBETH Outra Associa mensuração de preferências e comparação par a par de alternativas, permitindo interatividade Não considera incerteza na mensuração de preferências (trabalha com preferências do tipo valor) Saúde, gestão pública
Fuzzy Set Theory Outra Capacidade de lidar com informações imprecisas e insuficientes Dificuldade de desenvolvimento e necessidade de simulações para a implementação Engenharia, economia, meio-ambiente, saúde, gestão
MPD Outra Capacidade de lidar com informações imprecisas e insuficientes; facilidade para incorporar informações subjetivas (opiniões e experiências de tomadores de decisão) Dificuldade para a compreensão dos resultados das análises Engenharia, economia, meio-ambiente, saúde, gestão

AHP: analytic hierarchy process; ELECTRE: ELimination Et Choix Traduisant la REalité; MACBETH: Measuring Attractiveness by a Categorical Based Evaluation Technique; MAUT: multi-atribute utility theory; MPD: método paraconsistente de decisão; PROMETHEE: Preference Ranking Organization METHod for Enrichment of Evaluations; TOPSIS: Technique for Order Preferences by Similarity to Ideal Solutions.

Fonte: adaptado de Velasquez & Hester 16, Adunlin et al. 17 e Thokala & Duenas 11.

Os modelos de mensuração de valor são aqueles que permitem que funções de valor sejam construídas para representar o valor de uma opção em relação a outra. O grau com que uma opção é preferida em relação às demais é representado pela comparação de escores numéricos, inicialmente para cada critério, e depois integrados em um escore global 11. Alguns exemplos de métodos estabelecidos que utilizam essa abordagem são: os métodos baseados na multi-atribute utility theory (MAUT) 15,19,20 e os baseados em análise hierárquica (AHP) 21,22.

Os modelos de sobreclassificação se baseiam em comparações par a par das alternativas. Inicialmente, as alternativas são comparadas em termos de cada critério, uma em relação a outra. As informações de força de preferência pelos critérios são então agregadas para permitir a seleção de uma alternativa dentre as disponíveis 11. Alguns exemplos de métodos dessa abordagem são: os métodos ELECTRE (Elimination Et Choix Traduisnt la REalité), PROMETHEE (Preference Ranking Organization METHod for Enrichment of Evaluations) e MACBETH (Measuring Attractiveness by a Categorical Based Evaluation Technique) 23,24,25.

Já os modelos baseados em metas, aspiração ou nível de referência, em geral, utilizam métodos de programação linear. Essas abordagens envolvem a escolha de alternativas que mais se aproximam de níveis desejáveis e preestabelecidos de satisfação de um determinado critério 11. São exemplos dessa classificação os métodos baseados em programação de compromissos 16 e o método conhecido como Technique for Order Preferences by Similarity to Ideal Solutions (TOPSIS) 26.

Métodos de ADMC que não são baseados em processos de modelagem estritamente ligados à classificação proposta por Thokala & Duenas também são encontrados na literatura científica 16,17. Em um nível mais rudimentar, eles poderiam contribuir para a realização de uma ADMC parcial, em que se elabora uma “matriz de desempenho” das alternativas, sem que a atribuição de pesos ou o ranqueamento por escores seja realizado formalmente. Alternativas de maior complexidade, porém, também encontram ampla aplicação, como os métodos baseados em lógicas alternativas como a lógica paraconsistente anotada 27,28 e a lógica fuzzy16,29. Nesses últimos, as análises permitiriam levar em conta a insuficiência de informações e a evolução do conhecimento disponível 30. Como vantagens, tais métodos possibilitariam abordar problemas complexos com maior simplicidade, no entanto impõem maiores dificuldades para o seu desenvolvimento 16,31.

Aplicações das análises de decisão multicritério

Em diversas áreas do conhecimento, a ADMC tem sido utilizada com sucesso na solução de problemas de decisão, incluindo o gerenciamento de energia sustentável, o planejamento energético, o transporte, os sistemas de informação geográfica, a elaboração de orçamentos e a alocação de recursos 17. Recentemente, esse tipo de análise também tem sido utilizado para informar decisões em saúde e permitir a priorização nos processos de ATS 11,32. Dentre as aplicações potenciais no campo da saúde, destacam-se:

1) Avaliação de risco-benefício (ARB): diferentes aspectos dos riscos e dos benefícios associados ao uso de uma intervenção em saúde podem ser avaliados por meio de ADMC 12;

2) ATS: diversos critérios de relevância para a alocação de recursos podem ser considerados simultaneamente nos processos de ATS 11,12;

3) Padronização de priorização por contexto: a ADMC pode ser utilizada por gestores locais de orçamentos fixos (como hospitais e planos de saúde) para a elaboração de planos de investimento baseados em listas de prioridades 33;

4) Análise de decisão de portfólio (ADP): a probabilidade de sucesso e a lucratividade projetada de diferentes projetos de investimento podem ser analisadas com métodos de ADMC 34;

5) Tomada de decisão compartilhada (TDC): decisões tomadas por pacientes, em discussões com seus médicos e demais profissionais de saúde, poderiam ser assistidas por dispositivos de apoio à decisão, construídos com abordagens de ADMC 12,35;

6) Priorização do acesso de pacientes aos cuidados em saúde: a priorização de acesso a serviços de saúde poderia ser otimizada por métodos de ADMC 36.

Etapas da análise de decisão multicritério

As abordagens em ADMC podem ser implementadas em fases de aplicação que variam conforme os métodos adotados. As etapas podem ser aplicadas sequencialmente, mas de modo variado e iterativo. Mesmo tendo em conta os diversos métodos e abordagens existentes, algumas etapas fundamentais para a condução de um processo de decisão apoiado por ADMC têm sido recomendadas 12:

1) Definir o problema de decisão: o ponto de partida para a estruturação de uma ADMC é a compreensão do problema de decisão e os objetivos associados a ele. Essa etapa inicial envolve a identificação de grupos de interesse, alternativas a serem consideradas e desfechos (ou outputs) almejados. No caso de um problema de decisão ligado à ATS, é importante compreender as políticas de incorporação e gestão de tecnologia no contexto em que será realizada a ADMC; os grupos de interesse que expressam preferências e os tomadores de decisão envolvidos no processo; as tecnologias (preventivas, diagnósticas, terapêuticas etc.) que se constituem em alternativas de abordagem do problema em questão e os desfechos que são valorizados na área específica da tomada de decisão (resultados esperados em termos clínicos, sociais, econômicos etc.) 37;

2) Selecionar e estruturar os critérios: uma vez que se realize uma descrição estruturada do problema de decisão, a próxima etapa envolve a identificação e o estabelecimento de um acordo sobre quais critérios (ou fatores que impactam o processo decisório) serão utilizados para avaliar as alternativas disponíveis. Tais critérios podem ser identificados com revisões da literatura, grupos focais ou oficinas com tomadores de decisão, considerando os requisitos de completude, não redundância, não sobreposição e independência 12,13. Nos estudos de ATS, alguns dos critérios mais utilizados são efetividade clínica e custos 38. A PNGTS apresenta oito critérios de relevância para a incorporação de tecnologias no SUS: segurança, eficácia, efetividade, eficiência e impactos econômicos, éticos, sociais e ambientais da tecnologia em questão 6. Uma vez identificado e selecionado, o conjunto de critérios pode ser apresentado de modo estruturado, utilizando por exemplo uma “árvore de valores” 39, conforme a Figura 1;

Fonte: adaptado de Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Ministério da Saúde

Figura 1 Árvore de valores baseada nos critérios da Política Nacional de Gestão de Tecnologias em Saúde (PNGTS). Brasil, 2010. 

3) Mensurar o desempenho: após ser estabelecido um consenso sobre os critérios que serão utilizados na ADMC, o desempenho das alternativas eleitas na primeira etapa será determinado mediante as melhores evidências científicas disponíveis sobre cada uma delas. Essa etapa envolve, portanto, a realização de sínteses da literatura (por estudos de revisão sistemática) e, na ausência de estudos relevantes publicados, a realização de painéis para o levantamento de opiniões de especialistas. O sumário das informações sobre o desempenho de tecnologias avaliadas, em um contexto de ATS, pode ser feito com a estruturação de uma “matriz de desempenho” que funciona como um relatório parcial das opções disponíveis, de modo a facilitar a comparação e escolha por parte dos formuladores de recomendação ou mesmo de tomadores de decisão;

4) Atribuir escores às alternativas: dado que o desempenho das alternativas é levantado com diferentes medidas de desfecho (por exemplo, anos de vida ganhos com uma intervenção, melhora do nível de qualidade de vida com essa mesma intervenção etc.) é preciso atribuir um escore que utilize uma métrica comum a todas essas variações de desempenho capturadas pelos diferentes critérios. A atribuição de escores tem, por conseguinte, três sentidos no contexto da ATS: (1) capturar a força de preferência e de prioridades dos grupos de interesse para as variações de desempenho apresentadas pelas tecnologias alternativas; (2) traduzir as medidas de desempenho capturadas pelos diferentes critérios em uma mesma métrica, por exemplo, uma escala de 0 a 100, de modo a permitir comparações entre critérios; e (3) converter as medidas de desempenho em escores, para que mudanças semelhantes na escala sejam igualmente preferidas (por exemplo, uma mudança de 10-20 é igualmente preferida a uma mudança de 60-70). Uma série de métodos tem sido utilizada para a obtenção de escores, como: escala visual analógica 40, técnicas baseadas em mensuração de multiatributos 20, comparações par a par 22, mensuração de atratividade 25, experimentos de escolhas discretas 41, dentre outros;

5) Atribuir pesos aos critérios: os pesos representam, consequentemente, o valor relativo atribuído a cada um dos critérios individualmente, de modo que a combinação desses critérios possa refletir uma “medida de valor total”. Em ATS, é fundamental decidir sobre as fontes de pesos para os critérios, o que significa definir as preferências relevantes para um processo de decisão. Os pesos podem ser extraídos de membros de comissões de ATS, pacientes ou da população geral. Dentre as técnicas mais utilizadas para a atribuição de pesos, destaca-se a “swing weighting”, que se caracteriza por comparações par a par de critérios, com a atribuição de pontos em uma escala de 0-100 22;

6) Calcular os escores agregados: após a obtenção dos escores e pesos dos critérios, a agregação dos valores obtidos é feita frequentemente com a utilização de modelos aditivos 12. Para isso, realiza-se o somatório dos escores dos critérios, ponderado pelos pesos a eles atribuídos, para cada uma das alternativas consideradas no processo de avaliação. A obtenção do valor total das alternativas permite que elas possam ser comparadas para fins de tomada de decisão. Outros métodos para a obtenção de escores agregados podem também ser utilizados 16,37;

7) Lidar com a incerteza: todos os aspectos envolvidos em uma ADMC, como os critérios selecionados, as medidas de desempenho e as visões utilizadas para a atribuição de escores e pesos estão sujeitos à incerteza. A incerteza de parâmetro e a incerteza estrutural podem ser abordadas, respectivamente, com técnicas de análise de sensibilidade probabilística e de análise de cenários. Já a heterogeneidade das preferências entre subgrupos pode ser abordada utilizando pesos e escores obtidos de diferentes grupos de interesse 13;

8) Interpretar e reportar os resultados: os resultados de uma ADMC podem ser apresentados por tabelas e/ou gráficos. A interpretação depende do método utilizado, mas em geral envolve uma comparação das alternativas, com uma ordenação baseada no valor total calculado para cada uma delas. Contudo, é importante ressaltar que os resultados de uma ADMC são apenas uma forma de apoiar decisões complexas e não substituem a decisão propriamente dita.

A utilização de uma ADMC como apoio à decisão envolve, por fim, uma escolha entre duas abordagens possíveis: (1) substitutiva, em que a ADMC almeja substituir as abordagens baseadas nas ACE, passando a se constituir como uma base única para a tomada de decisão; e (2) complementar, em que a ADMC complementaria as abordagens habituais baseadas nas ACE, fazendo com que as razões de custo-efetividade incremental (RCEI) estimadas passem a ser consideradas como mais um dos vários critérios a ser incluídos na ADMC, de modo a ampliar os fatores considerados em uma decisão em saúde 11,18.

Estudo de caso hipotético

Com a finalidade de exemplificar a aplicação de um modelo de ADMC, realizou-se um estudo de caso no Instituto do Câncer do Estado de São Paulo (ICESP) com o objetivo de compreender as perspectivas de tomadores de decisão no processo de elaboração de uma recomendação de incorporação de tecnologia no âmbito do SUS, por um relatório da CONITEC.

Inicialmente, constituiu-se um grupo de estudiosos no ICESP, envolvendo clínicos, epidemiologistas, estatísticos, gestores e analistas de sistemas a fim de selecionar e analisar um relatório de CONITEC relevante para o contexto hospitalar de tratamento da doença oncológica. Foram levantados todos os relatórios relacionados à doença oncológica publicados ns página de Internet da CONITEC (http://conitec.gov.br). O relatório Erlotinibe para Câncer de Pulmão de Células não Pequenas42 foi selecionado para o estudo de caso porque ilustra a modificação das decisões tomadas ao longo da elaboração de uma recomendação, com perspectivas diferentes dos grupos de interesse que participam desse processo.

Com base nos critérios para avaliação de tecnologias em saúde destacados na PNGTS, o grupo de estudiosos verificou as informações contidas no relatório relativas a cada um dos oito critérios: segurança, eficácia, efetividade, eficiência, impactos econômicos, impactos éticos, impactos sociais e impactos ambientais. Foram encontradas informações relacionadas à segurança, eficácia, efetividade, eficiência (custo-efetividade), impactos econômicos (impacto orçamentário) e também referentes a um critério designado pelos relatores como “relevância clínica”. Como apenas quatro dos critérios (efetividade, custo-efetividade, impacto orçamentário e relevância clínica) influenciaram diretamente as decisões e recomendações reportadas no relatório, o grupo de estudiosos optou por estruturar as análises em torno desses quatro critérios.

Como o estudo preliminar objetivava também a discussão das metodologias de ADMC para a incorporação de tecnologias de saúde em nível local, foi escolhido por uma abordagem adequada a esse contexto de decisão. A lógica Eτ pelo método paraconsistente de decisão (MPD) foi escolhida por ser capaz de sintetizar informações objetivas (provenientes da literatura científica) e subjetivas (provenientes de valores e preferências de especialistas na área de conhecimento); além de permitir a incorporação de informações conflitantes (contradições), vagas e mesmo incompletas do processo de valoração, resultantes da imperfeição das evidências científicas disponíveis 28.

Para a construção da base de dados, os participantes do grupo (especialistas em diferentes áreas de conhecimento) foram solicitados a avaliar as evidências apresentadas no relatório da CONITEC, conforme cada um dos quatro critérios inicialmente identificados. Primeiramente, foram estabelecidas faixas de valores para cada um dos critérios, a saber: efetividade clínica (1 = muito efetivo; 2 = moderadamente efetivo; 3 = pouco efetivo; 4 = muito pouco efetivo; 5 = inefetivo), custo-efetividade (1 = muito custo-efetivo; 2 = moderadamente custo-efetivo; 3 = pouco custo-efetivo; 4 = possivelmente não custo-efetivo; 5 = provavelmente não custo-efetivo), impacto orçamentário (1 = baixíssimo impacto orçamentário; 2 = baixo impacto orçamentário; 3 = moderado impacto orçamentário; 4 = alto impacto orçamentário; 5 = muito alto impacto orçamentário), relevância clínica (1 = alta relevância clínica; 2 = moderada relevância clínica; 3 = baixa relevância clínica; 4 = muito baixa relevância clínica; 5 = irrelevante clinicamente). Em seguida, os especialistas foram solicitados a atribuir graus de crença e descrença para cada uma das faixas criadas. Por exemplo, em relação ao critério efetividade clínica, foi solicitado que fosse atribuída uma nota de 0 a 10 para a chance de as evidências apresentadas serem muito efetivas, moderadamente efetivas, pouco efetivas, muito pouco efetivas e inefetivas, seguidas, respectivamente, de notas para a dúvida que cada um deles atribuía a cada uma das notas apresentadas. O mesmo procedimento foi realizado para os outros três critérios e assim foi constituída uma matriz com graus de crença (nota para a magnitude do efeito) e descrença (nota para a confiança nas notas atribuídas à magnitude do efeito), com base em diretrizes para a avaliação crítica da literatura científica 43.

Para a atribuição de pesos aos critérios, os participantes do grupo de estudos utilizaram uma escala visual analógica, variando de 0 (menor valor possível) a 10 (maior valor possível). Para a atribuição de escores às evidências disponíveis foi decidida por consenso uma nota a ser atribuída pelo grupo às evidências disponíveis no relatório da CONITEC. As notas variaram em uma escala de 0 a 10 (0 = pior e 10 = melhor nota), sendo estratificadas em faixas correspondentes às dos valores utilizados na construção da base de dados de experiência de especialistas. Logo, por exemplo, teríamos para o critério efetividade clínica as faixas: 1 = muito efetivo (notas 10 e 9), 2 = moderadamente efetivo (notas 8 e 7), 3 = pouco efetivo (notas 5 e 6), 4 = muito pouco efetivo (notas 4 e 3), e 5 = inefetivo (notas 2, 1 e 0).

Para simular o processo de decisão relatado no relatório da CONITEC, foram construídos três cenários: cenário 1 - anterior à audiência pública realizada no decorrer da elaboração da recomendação; cenário 2 - posterior à audiência pública e sem mudança de escore do critério impacto orçamentário; e cenário 3 - posterior à audiência pública e com mudança de escore do critério impacto orçamentário.

A para-análise para o cenário 1, antes da realização da audiência pública pela CONITEC, considerou fundamentais os seguintes trechos do relatório 42:

1) “A demanda avaliada por este relatório é relacionada à incorporação do medicamento erlotinibe para o tratamento do câncer de pulmão de células não pequenas (CPCNP) localmente avançado ou metastático em pacientes com mutação da ativação do EGFR” (p. 24).

2) “De maneira geral, não houve diferença significativa entre acrescentar ou não o erlotinibe no esquema terapêutico com quimioterapia dupla padrão em sobrevida geral. Já a sobrevida livre de progressão exibiu em alguns estudos diferença significativa entre os grupos, mas de pequena magnitude” (p. 26).

3) “Os estudos econômicos de custo-efetividade e impacto orçamentário apresentaram limitações metodológicas, mas mostraram relação de custo-efetividade incremental de R$ 26.631,51 por ano de vida ganho e de R$ 37.936,38 por QALY e impacto orçamentário em 5 anos de R$ 45.240.885,00, este último valor tendo o próprio Erlotinibe como comparação” (p. 24).

4) “Logo, considerando a incerteza associada à eficácia do medicamento, a magnitude limitada dos benefícios e o impacto orçamentário significativo, os membros do plenário da CONITEC, em sua 13ª reunião ordinária, não recomendaram a incorporação do erlotinibe no SUS para o tratamento do câncer de pulmão de células não pequenas (CPCNP) localmente avançado ou metastático em pacientes com mutação da ativação do EGFR” (p. 25).

Com base na interpretação dessas considerações, os três critérios iniciais foram tidos como participantes da decisão, sendo pontuados com os seguintes escores: faixa 2 (moderadamente efetivo), faixa 3 (pouco custo-efetivo) e faixa 5 (muito alto impacto orçamentário). Considerando os três critérios, a para-análise demonstrou um resultado inconclusivo, com o valor de resultante de 0,359 (Figura 2).

Figura 2 Para-análise para o cenário 1 do relatório de recomendação de incorporação do Erlotinibe para câncer de pulmão de células não pequenas. Comissão Nacional de Incorporação de Tecnologias, Brasil, 2013. 

Após a realização da audiência pública, a para-análise para o cenário 2 considerou o seguinte trecho do relatório da CONITEC 42 (p. 29): “...considerando que o benefício de acréscimo de 4,5 meses de sobrevida livre de progressão para pacientes com CPCNP, condição de alta mortalidade e baixa sobrevida, pode ser clinicamente relevante...”.

Com base nessas considerações, os quatro critérios identificados foram tidos como participantes da decisão, sendo pontuados com os seguintes escores: faixa 2 (moderadamente efetivo), faixa 3 (pouco custo-efetivo), faixa 5 (muito alto impacto orçamentário), faixa 1 (alta relevância clínica). Considerando os quatro critérios, a para-análise demonstrou também um resultado inconclusivo, com valor de resultante de 0,403 (Figura 3). Por fim, a para-análise para o cenário 3 considerou o trecho do relatório da CONITEC que traduz as recomendações finais da comissão: “Os membros da CONITEC presentes na reunião do plenário do dia 06/06/2013 deliberaram por maioria simples por recomendar a incorporação do Cloridrato de Erlotinibe para o tratamento do câncer de pulmão de células não pequenas (CPCNP) localmente avançado ou metastático em pacientes com mutação da ativação do EGFR, sem criação de novo procedimento, sem alteração de valor dos procedimentos disponíveis e sem modificação do modelo de financiamento da quimioterapia no SUS42 (p. 29).

Figura 3 Para-análise para o cenário 2 do relatório de recomendação de incorporação do Erlotinibe para câncer de pulmão de células não pequenas. Comissão Nacional de Incorporação de Tecnologias, Brasil, 2013. 

Nesse cenário, os quatro critérios identificados foram tidos como participantes da decisão, mas ocorre ainda uma mudança do escore do terceiro critério, que passa da faixa 5 (muito alto impacto orçamentário) para a faixa 1 (baixíssimo impacto orçamentário), na medida que as considerações finais da CONITEC indicam a não modificação do valor do procedimento e do modelo de financiamento da quimioterapia. Assim, temos: faixa 2 (moderadamente efetivo), faixa 3 (pouco custo-efetivo), faixa 1 (baixíssimo impacto orçamentário) e faixa 1 (alta relevância clínica). Considerando os quatro critérios, a para-análise demonstrou um resultado favorável à incorporação da tecnologia, com valor de resultante de 0,178, conforme a recomendação final do relatório da CONITEC (Figura 4).

Figura 4 Para-análise para o cenário 3 do relatório de recomendação de incorporação do Erlotinibe para câncer de pulmão de células não pequenas. Comissão Nacional de Incorporação de Tecnologias, Brasil, 2013. 

A interpretação dos gráficos apresentados, produzidos mediante algoritmo para-analisador (para-análise), depende do entendimento dos quatro estados lógicos de saída, resultantes de uma análise paraconsistente. Intuitivamente, na lógica Eτ, o que se faz é atribuir uma anotação (μ1; μ2), com μ1 e μ2 pertencentes ao intervalo fechado [0; 1], a cada proposição elementar (atômica) p de tal modo que μ1 traduza o grau de crença (ou evidência favorável) que se tem em p e μ2, o grau de descrença (ou evidência contrária). O conjunto de anotações constitui um gráfico (Figuras 1, 2 e 3), onde cada par (μ1; μ2) constitui um estado lógico. O detalhamento dos procedimentos de análise e interpretação de resultados, bem como de formalização da lógica Eτ, podem ser encontrados em outras publicações 27,28.

Após a realização das análises, o grupo de estudiosos avaliou que os principais problemas enfrentados na aplicação do método foram a compreensão da terminologia e a interpretação dos gráficos disponibilizados. Apesar de o resultado obtido não diferir das recomendações presentes no relatório da CONITEC, os participantes do grupo consideraram que a aplicação da técnica fornece clareza sobre quais critérios são relevantes, a importância atribuída a cada um e como usar essa informação em uma estrutura para avaliar as alternativas disponíveis. Ao fazê-lo, mesmo que a conclusão de uma recomendação não seja alterada, o método pode ajudar a aumentar a consistência, transparência e legitimidade das decisões. Nesse sentido, o grupo avaliou que a credibilidade e a legitimidade potencial de uma decisão, ao serem passíveis de questionamento, leva o método a ser especialmente útil para a responsabilização de órgãos públicos envolvidos em tomadas de decisão. A falta de transparência sobre a forma como são encaminhadas as discussões para incorporação de tecnologias nos diferentes níveis do sistema de saúde brasileiro foi apontada como um motivo de preocupação. Por exemplo, argumentou-se que as agências de ATS devem ter como objetivo ser transparentes sobre o processo de tomada de decisão para assegurar uma alocação justa de recursos. Por outro lado, também foi considerado que em um cenário real de elaboração de uma recomendação ao longo de um processo de ATS, a utilização de um método padronizado de ADMC, ao permitir a visualização de critérios e o acompanhamento da obtenção de preferências e ponderações, poderia eventualmente influenciar nos resultados de uma decisão, à medida que aumentaria a clareza sobre as implicações das escolhas preferidas.

Finalmente, é preciso considerar que a ADMC tem sido adotada por várias organizações e agências de saúde, incluindo a Agency for Healthcare Research and Quality’s (AHRQ) nos Estados Unidos; a Canadian Agency for Drugs and Technologies in Health (CADTH) no Canadá; o National Institute for Health and Care Excellence (NICE) e o Office for Health Economics (OHE) no Reino Unido; o German Institute for Quality and Efficiency in HealthCare (IQWiG) na Alemanha; o International Health Policy Programme (IHPP) e o Health Intervention and Technology Assessment Programme (HITAP) na Tailândia 17,44. Conforme uma revisão de 569 estudos de ADMC, a técnica mais empregada em decisões de saúde foi a AHP (52%), seguida pela TOPSIS (9%) e pela PROMETHEE (7%), e a Fuzzy Set Theory foi o método matemático mais utilizado para lidar com incerteza 45. As principais contribuições que têm sido destacadas para o campo da ATS são: permitir a maior participação de pacientes, guiar a priorização e orientar a incorporação e desincorporação de diferentes tipos de tecnologias para reembolso em sistemas universais de saúde 12.

Considerações finais

Com base no estudo de caso realizado, alguns aspectos práticos para a implementação de um modelo de ADMC no Brasil podem ser identificados, com destaque para a importância de: treinar todos os membros de comissões como a CONITEC na utilização da ADMC e disponibilizar facilitadores para auxiliar no uso das técnicas no processo de decisão; selecionar métodos adequados para a captura (questionários, formulários impressos ou computadorizados etc.) e agregação de dados (softwares específicos); viabilizar a exploração dos modelos para garantir a robustez dos critérios, o que pode ser feito em tempo real ou entre as reuniões da comissão; e, por fim, permitir com que as saídas dos modelos possam ser visualizadas ao longo das discussões e incorporadas na documentação do relatório de ATS, junto com as recomendações finais.

Assim, o emprego de uma abordagem explícita de ADMC poderá facilitar a mediação de conflitos e otimizar a participação de diferentes grupos de interesse.

Referências

1. McDaid D, Cookson R, Maynard A, Sassi F. Evaluating health interventions in the 21st century: old and new challenges. Health Policy 2003; 63:117-20. [ Links ]

2. Pauly MV. Competition and new technology. Health Aff (Millwood) 2005; 24:1523-35. [ Links ]

3. Bach PB. Limits on Medicare's ability to control rising spending on cancer drugs. N Engl J Med 2009; 360:626-33. [ Links ]

4. Novaes HMD, De Soarez PC. Avaliação de tecnologias em saúde: técnicas, práticas e políticas. In: Costa L, Bahia L, Gadelha C, organizadores. Saúde, desenvolvimento e inovação. Rio de Janeiro: Editora Fiocruz; 2015. p. 327-58. [ Links ]

5. Banta HD, Bryan R. Health care technology and its assessment: an international perspective. New York: Oxford University Press; 1993. [ Links ]

6. Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Ministério da Saúde. Política Nacional de Gestão de Tecnologias em Saúde. Brasília: Ministério da Saúde; 2010. [ Links ]

7. Brasil. Lei nº 12.401, de 28 de abril de 2011. Altera a Lei nº 8.080, de 19 de setembro de 1990, para dispor sobre a assistência terapêutica e a incorporação de tecnologia em saúde no âmbito do Sistema Único de Saúde - SUS. Diário Oficial da União 2011; 29 abr. [ Links ]

8. Ministério da Saúde. Nova Comissão Nacional de Incorporação de Tecnologias de Saúde e impacto ao Sistema Único de Saúde. Rev Saúde Pública 2011; 45:993-6. [ Links ]

9. Tony M, Wagner M, Khoury H, Rindress D, Papastavros T, Oh P, et al. Bridging health technology assessment (HTA) with multicriteria decision analyses (MCDA): field testing of the EVIDEM framework for coverage decisions by a public payer in Canada. BMC Health Serv Res 2011; 11:329. [ Links ]

10. Drummond M, Sculpher M, Torrance G, O'Brien B, Stoddart G. Methods for the economic evaluation of health care programmes. 3rd Ed. Oxford: Oxford University Press; 2005. [ Links ]

11. Thokala P, Duenas A. Multiple criteria decision analysis for health technology assessment. Value Health 2012; 15:1172-81. [ Links ]

12. Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, et al. Multiple criteria decision analysis for health care decision making - an introduction: report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016; 19:1-13. [ Links ]

13. Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kalo Z, et al. Multiple criteria decision analysis for health care decision making - emerging good practices: report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016; 19:125-37. [ Links ]

14. Goetghebeur MM, Wagner M, Khoury H, Rindress D, Gregoire JP, Deal C. Combining multicriteria decision analysis, ethics and health technology assessment: applying the EVIDEM decision-making framework to growth hormone for Turner syndrome patients. Cost Eff Resour Alloc 2010; 8:4. [ Links ]

15. Keeney RL, Raiffa H. Decisions with multiple objectives: preferences and value tradeoffs. Cambridge: Cambridge University Press; 1993. [ Links ]

16. Velasquez M, Hester PT. An analysis of multi-criteria decision making methods. International Journal of Operations Research 2013; 10:56-66. [ Links ]

17. Adunlin G, Diaby V, Xiao H. Application of multicriteria decision analysis in health care: a systematic review and bibliometric analysis. Health Expect 2015; 18:1894-905. [ Links ]

18. Vorobiev P, Holownia M, Krasnova L. Multi-criteria decision analysis (MCDA) and its alternatives in health technology assessment. Journal of Health Policy & Outcomes Research 2015; 1:34-43. [ Links ]

19. von Neumann J, Morgenstern O. Theory of games and economic behavior. 2nd Ed. Princeton: Princeton University Press; 1947. [ Links ]

20. Peacock SJ, Richardson JR, Carter R, Edwards D. Priority setting in health care using multi-attribute utility theory and programme budgeting and marginal analysis (PBMA). Soc Sci Med 2007; 64:897-910. [ Links ]

21. Danner M, Hummel JM, Volz F, van Manen JG, Wiegard B, Dintsios CM, et al. Integrating patients' views into health technology assessment: analytic hierarchy process (AHP) as a method to elicit patient preferences. Int J Technol Assess Health Care 2017; 27:369-75. [ Links ]

22. Saaty TL. Axiomatic foundation of the analytic hierarchy process. Manage Sci 1986; 32:841-55. [ Links ]

23. Roy B. The outranking approach and the foundations of electre methods. Theor Decis 1991; 31:49-73. [ Links ]

24. Brans JP, Vincke P. Note: a preference ranking organisation method. Manage Sci 1985; 31:647-56. [ Links ]

25. Bana e Costa CA, Lourenço JC, Oliveira MD, Bana e Costa JC. A socio-technical approach for group decision support in public strategic planning: the Pernambuco PPA Case. Group Decision and Negotiation 2014; 23:5-29. [ Links ]

26. Qin XS, Huang GH, Chakma A, Nie XH, Lin QG. A MCDM-based expert system for climate-change impact assessment and adaptation planning: a case study for the Georgia Basin, Canada. Expert Syst Appl 2008; 34:2164-79. [ Links ]

27. Abe JM, Akama S, Nakamatsu K. Introduction to annotated logics: foundations for paracomplete and paraconsistent reasoning. Cham: Springer; 2015. [ Links ]

28. Abe JM, editor. Paraconsistent intelligent based-systems: new trends in the applications of paraconsistency. Heidelberg: Springer; 2015. [ Links ]

29. Zadeh LA. Fuzzy sets. Information and Control 1965; 8:338-53. [ Links ]

30. Balmat J, Lafont F, Maifret R, Pessel N. A decision-making system to maritime risk assessment. Ocean Engineering 2011; 38:171-6. [ Links ]

31. Mullen P. Quantifying priorities in healthcare: transparency or illusion? Health Serv Manage Res 2004; 17:47-58. [ Links ]

32. Postmus D, Tervonen T, van Valkenhoef G, Hillege HL, Buskens E. A multi-criteria decision analysis perspective on the health economic evaluation of medical interventions. Eur J Health Econ 2014; 15:709-16. [ Links ]

33. Martelli N, Hansen P, van den Brink H, Boudard A, Cordonnier AL, Devaux C, et al. Combining multi-criteria decision analysis and mini-health technology assessment: a funding decision-support tool for medical devices in a university hospital setting. J Biomed Inform 2016; 59:201-8. [ Links ]

34. Williams P, Mauskopf J, Lebiecki J, Kilburg A. Using multicriteria decision analysis during drug development to predict reimbursement decisions. J Mark Access Health Policy 2014; 2:25270. [ Links ]

35. Dolan JG, Boohaker E, Allison J, Imperiale TF. Patients' preferences and priorities regarding colorectal cancer screening. Med Decis Making 2013; 33:59-70. [ Links ]

36. Hansen P, Hendry A, Naden R, Ombler F, Stewart R. A new process for creating points systems for prioritising patients for elective health services. Clin Gov 2012; 17:200-9. [ Links ]

37. Guitouni A, Martel J-M. Tentative guidelines to help choosing an appropriate MCDA method. Eur J Oper Res 1998; 109:501-21. [ Links ]

38. Guindo LA, Wagner M, Baltussen R, Rindress D, van Til J, Kind P, et al. From efficacy to equity: literature review of decision criteria for resource allocation and healthcare decision making. Cost Eff Resour Alloc 2012; 10:9. [ Links ]

39. Towse A, Barnsley P. Approaches to identifying, measuring, and aggregating elements of value. Int J Technol Assess Health Care 2017; 29:360-4. [ Links ]

40. Bottomley PA, Doyle JR, Green RH. Testing the reliability of weight elicitation methods: direct rating versus point allocation. J Mark Res 2000; 37:508-13. [ Links ]

41. Ryan M, Gerard K. Using discrete choice experiments to value health care programmes: current practice and future research reflections. Appl Health Econ Health Policy 2003; 2:55-64. [ Links ]

42. Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Ministério da Saúde. Erlotinibe para câncer de pulmão de células não pequenas. Relatório de recomendação da Comissão Nacional de Incorporação de Tecnologias no SUS. Brasília: Ministério da Saúde; 2013. [ Links ]

43. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, Alonso-Coello P, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ 2008; 336:924-6. [ Links ]

44. Youngkong S, Baltussen R, Tantivess S, Mohara A, Teerawattananon Y. Multicriteria decision analysis for including health interventions in the universal health coverage benefit package in Thailand. Value Health 2012; 15:961-70. [ Links ]

45. Broekhuizen H, Groothuis-Oudshoorn CGM, van Til JA, Hummel JM, IJzerman MJ. A review and classification of approaches for dealing with uncertainty in multi-criteria decision analysis for healthcare decisions. Pharmacoeconomics 2015; 33:445-55. [ Links ]

Recebido: 17 de Março de 2017; Revisado: 28 de Junho de 2017; Aceito: 17 de Julho de 2017

* Correspondência A. G. Campolina Instituto do Câncer do Estado de São Paulo. Av. Dr. Arnaldo 251, 8° andar, São Paulo, SP 01246-000, Brasil. alecampolina@gmail.com

A. G. Campolina contribuiu com a concepção, planejamento, análise, discussão de resultados e redação do artigo. P. C. De Soárez e J. M. Abe contribuíram com o planejamento, análises, discussão de resultados, redação e revisão do manuscrito. F. V. Amaral contribuiu com o planejamento, análises e redação do manuscrito.

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons