Associação Não é o Mesmo que Acurácia

Acurácia; Escore Grace; Escore TIMI; Anatomia coronariana

Prezado Editor,

Em artigo recente, dos Santos e cols. concluíram que em pacientes com síndromes coronarianas agudas "os escores de risco se correlacionam com gravidade da doença coronária"¹. Essa aparente conclusão positiva esconde o baixo desempenho desses escores em predizer doença coronariana obstrutiva, por duas razões. Primeiro, diante de uma situação diagnóstica (presença de doença coronariana ≥ 50%), o enfoque clínico deve ser em acurácia; segundo, associação (descrito no artigo como correlação) não garante acurácia.

O enfoque principal desse trabalho deveria ser as medidas de acurácia, como área abaixo da curva ROC, que variaram de 0,56 a 0,70. Embora estatisticamente significantes, esses valores indicam baixa acurácia do ponto de vista diagnóstico. Corroborando esses achados, em recente artigo publicado neste mesmo periódico, nosso grupo concluiu que "o grau de associação [entre escores e anatomia coronária] não é suficiente para que os escores de risco sejam preditores acurados dos resultados da angiografia"².

As diferentes conclusões em dois trabalhos de achados semelhantes se deve à percepção de que significância estatística (associação verdadeira) e relevância clínica (acurácia) não representam exatamente o mesmo fenômeno.

Referências

• ¹
  dos Santos ES, Aguiar Filho Lde F, Fonseca DM, Londero HJ, Xavier RM, Pereira MP, et al. Correlation of risk scores with coronary anatomy in non-STelevation acute coronary syndrome. Arq Bras Cardiol. 2013;100(6):511-7.
• ²
  Barbosa CE, Viana M, Brito M, Sabino M, Garcia G, Maraux M, et al. Accuracy of the GRACE and TIMI scores in predicting the angiographic severity of acute coronary syndrome. Arq Bras Cardiol. 2012;99(3):818-24.

Carta-resposta

Quando no estudo de Santos e cols.¹ conclui-se que os escores de risco se correlacionam com a anatomia coronariana, levam-se em consideração todas as análises realizadas: análise estatística de correlação utilizando o método não paramétrico de Spearman² e a habilidade preditiva desses em discriminar quem terá ou não a possibilidade de lesão coronariana ≥ 50%, que foi determinada, inicialmente, pelo teste não paramétrico de Mann-Whitney² e, posteriormente, avaliada pela estatística-C (área sob a curva ROC)³. Como apresentado nos resultados, o estudo enfatiza as duas análises: avaliação da existência de relação entre os escores de risco e a anatomia coronariana (Tabela 3)¹ e a habilidade preditiva dos escores em discriminar quem terá ou não lesão coronariana ≥ 50% (Gráfico 1)¹. Portanto, a palavra "correlação", citada no manuscrito¹, foi utilizada como a "relação entre os escores de risco e a anatomia coronária".

Os escores de risco TIMI⁴ e GRACE^5,6 não foram desenvolvidos primariamente para determinar a habilidade preditiva de lesão coronariana, e sim para eventos clínicos adversos. Portanto, não se pode esperar um forte poder de discriminação desses quando se avalia lesão coronariana ≥ 50% ou qualquer outra variável diferente dos eventos clínicos específicos do modelo original. Apesar dessa observação, ainda assim, eles apresentaram habilidade que não pode ser desprezível⁷ para discriminar quem terá ou não lesão coronariana ≥ 50%: escore de risco TIMI área sob a curva ROC 0,704; escore GRACE hospitalar área sob a curva ROC 0,623; escore GRACE em seis meses área sob a curva ROC 0,562.

Uma interessante observação é que para o escore de risco TIMI a área sob a curva ROC no estudo de Santos e cols.¹ foi maior que para os eventos específicos do modelo original de desenvolvimento (área sob a curva ROC de 0,65)⁴. Da mesma forma, o escore de risco TIMI, apesar de sua limitada habilidade preditiva⁷ para eventos clínicos adversos, em decorrência de sua importância clínica e praticidade, é um dos modelos mais utilizados no mundo e recomendado pelas diretrizes nacionais e internacionais.

Atenciosamente,

Elizabete Silva dos Santos

Luciano de Figueiredo Aguiar Filho

Luiz Minuzzo

Roberta de Souza

Ari Timerman

Referências

• ¹
  dos Santos ES, Aguiar Filho Lde F, Fonseca DM Fonseca, Londero HJ, Xavier RM, et al. Correlação dos escores de risco com a anatomia coronária na síndrome coronária aguda sem supra de ST. Arq Bras Cardiol. 2013;100(6):511-7.
• ²
  Siegel S, Castellan NJ. Nonparametric statistics. 2nd ed. New York: McGraw-Hill; 1988.
• ³
  Fletcher RH, Fletcher SW, Wagner EH. Epidemiologia clínica - bases científicas da conduta médica. 2ª ed. Porto Alegre: Artes Médicas; 2009.
• ⁴
  Antman EM, Cohen M, Bernink PJ, McCabe CH, Horacek T, Papuchis G, et al. The TIMI risk score for unstable angina/non-ST elevation MI: a method for prognostication and therapeutic decision making. JAMA. 2000;284(7):835-42.
• ⁵
  Granger CB, Goldberg RJ, Dabbous O, Pieper KS, Eagle KA, Cannon CP, et al; Global Registry of Acute Coronary Events Investigators. Predictors of hospital mortality in the global registry of acute coronary events. Arch Intern Med. 2003;163(19):2345-53.
• ⁶
  Eagle KA, Lim MJ, Dabbous OH, Pieper KS, Goldberg RJ, Van de Werf F, et al; GRACE Investigators. A validated prediction model for all forms of acute coronary syndrome: estimating the risk of 6-month postdischarge death in an international registry. JAMA. 2004;291(22):2727-33.
• ⁷
  Ohman EM, Granger CB, Harrington RA, Lee KL. Risk stratification and therapeutic decision making in acute coronary syndromes. JAMA. 2000;284(7):876-8.

Reply

When Santos et al¹ have concluded that risk scores correlate with coronary anatomy, they considered all analyses performed: statistical correlation analysis with the non parametric Spearman test² and the predictive ability of those scores to discriminate individuals who might and might not have a coronary artery lesion ≥ 50%, which was initially determined by using the non-parametric Mann-Whitney test², and was later assessed by using C statistics (area under the ROC curve)³. As shown in the results, that study emphasizes both analyses: assessment of the existence of a relationship between risk scores and coronary anatomy (Table 3)¹ and the predictive ability of the scores to discriminate who might have coronary lesion ≥ 50% (Chart 1)¹. Thus, the word "correlation" cited in the manuscript¹ was used as the "relationship between risk scores and coronary anatomy".

The TIMI⁴ and GRACE^5,6 risk scores have not been primarily developed to predict coronary lesion, but adverse clinical events. Thus, they are not supposed to have a strong discriminatory power to assess coronary lesion ≥ 50% or any other variable different from the specific clinical events of the original model. Nevertheless, they showed an ability that cannot be overlooked⁷ to discriminate who will or will not have coronary lesion ≥ 50% as follows: TIMI risk score, area under the ROC curve = 0.704; hospital GRACE score, area under the ROC curve = 0.623; 6-month GRACE score, area under the ROC curve = 0.562.

It is worth noting that, for the TIMI risk score, the area under the ROC curve in the study by Santos et als.¹ was greater than that for the specific events of the original model of development (area under the ROC curve = 0.65)⁴. Similarly, the TIMI risk score, despite its limited predictive ability⁷ for adverse clinical events, due to its clinical relevance and practicality, is one of the most used models worldwide, recommended by national and international guidelines.

Sincerely,

Elizabete Silva dos Santos

Luciano de Figueiredo Aguiar Filho

Luiz Minuzzo

Roberta de Souza

Ari Timerman

Datas de Publicação

• Publicação nesta coleção
  Jan 2014

Histórico

• Recebido
  30 Jul 2013
• Revisado
  03 Set 2013
• Aceito
  04 Set 2013