Software livre e de código aberto para avaliação de imagens de angiotomografia de coronárias

Resumos

BACKGROUND: The standardization of images used in Medicine in 1993 was performed using the DICOM (Digital Imaging and Communications in Medicine) standard. Several tests use this standard and it is increasingly necessary to design software applications capable of handling this type of image; however, these software applications are not usually free and open-source, and this fact hinders their adjustment to most diverse interests. OBJECTIVE: To develop and validate a free and open-source software application capable of handling DICOM coronary computed tomography angiography images. METHODS: We developed and tested the ImageLab software in the evaluation of 100 tests randomly selected from a database. We carried out 600 tests divided between two observers using ImageLab and another software sold with Philips Brilliance computed tomography appliances in the evaluation of coronary lesions and plaques around the left main coronary artery (LMCA) and the anterior descending artery (ADA). To evaluate intraobserver, interobserver and intersoftware agreements, we used simple and kappa statistics agreements. RESULTS: The agreements observed between software applications were generally classified as substantial or almost perfect in most comparisons. CONCLUSION: The ImageLab software agreed with the Philips software in the evaluation of coronary computed tomography angiography tests, especially in patients without lesions, with lesions < 50% in the LMCA and < 70% in the ADA. The agreement for lesions > 70% in the ADA was lower, but this is also observed when the anatomical reference standard is used.

Diagnostic imaging; tomography scanners; X-Ray computed; coronary vessels; software validation

Software livre e de código aberto para avaliação de imagens de angiotomografia de coronárias

Marcelo Souza Hadlich^I,II,IV,V,VI; Gláucia Maria Moraes Oliveira^I,II,IV; Raúl A. Feijóo^III; Clerio F. Azevedo^IV,V,VI; Bernardo Rangel Tura^V; Paulo Gustavo Portela Ziemer^III; Pablo Javier Blanco^III; Gustavo Pina^I; Márcio Meira^I, Nelson Albuquerque de Souza e Silva^I,II

^IUniversidade Federal do Rio de Janeiro (UFRJ). Rio de Janeiro, RJ - Brasil

^IIInstituto do Coração Edson Saad. Rio de Janeiro, RJ - Brasil

^IIILaboratório Nacional de Computação Científica (LNCC). Rio de Janeiro, RJ - Brasil

^IVRede Labs Dor. Rio de Janeiro, RJ - Brasil

^VInstituto Nacional de Cardiologia. Rio de Janeiro, RJ - Brasil

^VIInstituto Dor de Pesquisa e Ensino. Rio de Janeiro, RJ - Brasil

^{Correspondência}

RESUMO

FUNDAMENTO: A estandardização do padrão de imagens utilizada dentro da medicina foi realizada em 1993 por meio do padrão DICOM (Digital Imaging and Communications in Medicine). Diversos exames utilizam esse padrão e cada vez mais são necessários softwares capazes de manipular esse tipo de imagem, porém esses softwares geralmente não têm o formato livre e de código aberto, e isso dificulta o seu ajuste para os mais diferentes interesses.

OBJETIVO: Desenvolver e validar um software livre e de código aberto capaz de manipular imagens DICOM de exames de angiotomografia de coronárias.

MÉTODOS: Desenvolvemos e testamos o software intitulado ImageLab na avaliação de 100 exames selecionados de forma randômica por meio de um banco de dados. Foram realizadas 600 análises divididas por dois observadores utilizando o ImageLab e um outro software comercializado junto a aparelhos de tomografia computadorizada Philips Brilliance, na avaliação da presença de lesões e placas coronarianas nos territórios do Tronco da Coronária Esquerda (TCE) e na Artéria Descendente Anterior (ADA). Para avaliar as concordâncias intraobservador, interobservadores e intersoftware, utilizamos concordância simples e estatística Kappa.

RESULTADOS: As concordâncias observadas entre os softwares foram em geral classificadas como substancial ou quase perfeitas na maioria das comparações.

CONCLUSÃO: O software ImageLab concordou com o software Philips na avaliação de exames de angiotomografia de coronárias especialmente em pacientes sem lesões, com lesões inferiores a 50% no TCE e inferiores a 70% na ADA. A concordância para lesão >70% na ADA foi menor, porém isso também é observado quando se utiliza o padrão de referência anatômico.

Palavras-chave: Diagnóstico por imagem; tomografia computadorizada; vasos coronários; validação de programas de computador.

Introdução

Na área médica utiliza-se um padrão específico de imagem chamado DICOM (Digital Imaging and Communications in Medicine). Esse padrão foi desenvolvido para facilitar a comunicação entre os softwares e hardwares relacionados com esse processo.

O formato DICOM, padronizado¹ em 1993 junto ao congresso do RSNA (Radiological Society of North America), teve como objetivo a normatização das regras com que as informações médicas são transmitidas e armazenadas^2-4.

A visualização e o processamento das imagens médicas são realizados por meio de softwares específicos. Grande parte desses recursos não está disponível de forma gratuita ou é vendida junto aos equipamentos, porém não é comum encontrar softwares livres e de código aberto para esse formato de imagens. O domínio público da tecnologia de um software médico poderia diminuir custos, homogeneizar o uso multicêntrico, permitir desenvolvimento contínuo e facilitar o desenvolvimento de diversas linhas de pesquisa, e alguns acreditam que esse formato poderia contribuir para a diminuição da diferença social entre países⁵.

O Instituto Nacional de Ciência e Tecnologia em Medicina Assistida por Computação Científica (INCT-MACC) envolve 33 instituições nacionais de 11 Estados, totalizando 128 pesquisadores. Uma das áreas de pesquisa do INCT-MACC é a de processamento de imagens médicas, que permitirá a aquisição de informações para aperfeiçoar a modelagem computacional do sistema cardiovascular humano, também em desenvolvimento pelo INCT-MACC. Com essa finalidade foi elaborado um software livre e de código aberto denominado ImageLab. Esse software teria entre características ser amigável com o usuário necessitando de melhor avaliação.

O objetivo do estudo foi desenvolver e avaliar a confiabilidade, a concordância e a reprodutibilidade do novo software em relação a outro em utilização corrente em equipamentos de angiotomografia de coronárias.

Métodos

Em trabalho conjunto da Universidade Federal do Rio de Janeiro (UFRJ) com o Laboratório Nacional de Computação Científica (LNCC), foi desenvolvido um software para análise de imagens DICOM. Esse software livre de código aberto chama-se ImageLab e possui ferramentas criadas para análise e processamento de imagens de angiotomografia de coronárias.

De uma população de 6.216 pacientes que realizaram exame de angiotomografia de coronárias entre maio de 2005 e dezembro de 2010, aplicamos o critério de inclusão, ou seja, pacientes com dados completos registrados em banco de dados criado em 2008, e selecionamos 2.895 pacientes. Posteriormente após aplicarmos os critérios de exclusão, presença de stents no tronco da coronária esquerda ou em Artéria Descendente Anterior (ADA), clipe cirúrgico, decorrente de cirurgia de revascularização miocárdica e pacientes que não possuíam imagens armazenadas no servidos, foram selecionados 534 casos (Figura 1).

Pelo site randon.org realizamos seleção randômica retirando 120 dos 534 pacientes, e utilizamos os 100 primeiros casos. Todos os pacientes tiveram seus dados identificadores substituídos por números consecutivos, por pessoas que não participaram da análise das imagens tornando-a cega.

Foram utilizados os dados brutos de imagens de angiotomografia de coronárias, obtidos por meio de tomógrafos disponíveis no serviço (GE lightspeed VTC 64 e 32, Philips Brilliance 64, 40 e 16). Todas as imagens seguiram protocolo padrão de aquisição utilizando técnicas semelhantes.

Todos os 100 exames foram analisados por dois softwares. O software Philips Brilliance, comprado junto com o pacote cardiovascular (disponível em Worsktation própria para análises de imagens do tipo DICOM). E o software ImageLab, desenvolvido nesse projeto, instalado na mesma Worsktation (visando neutralizar a possível variação de capacidade de processamento caso fossem instalados em computadores com capacidade diferente).

Escolhemos o tronco da coronária esquerda e a ADA pela importância clínica e para viabilizar a análise, visto que a utilização dos 16 segmentos na sua totalidade resultaria em um grande número de variáveis. Seguimos a nomenclatura proposta pelo AHA, referente aos segmentos 5, 6, 7 e 8⁶. A avaliação da presença de lesões coronarianas maiores ou menores que 50% foi utilizada para o segmento 5 (tronco da coronária esquerda) e para os demais segmentos (artéria descendente anterior) utilizamos cortes de 70%. De forma adicional também foram registradas as variáveis: presença de placas ateroscleróticas tipo calcificadas, não calcificadas e parcialmente calcificadas (em cada segmento); qualidade subjetiva das imagens; tempo de análise das imagens (registrado pelo observador 1).

A análise das imagens foi feita pela visualização de planos ortogonais selecionados a partir de bloco de imagem no espaço tridimensional, começando pela análise em plano transversal do tórax no sentido cabeça para os pés, de modo a visualizar a artéria aorta, a origem do tronco da coronária esquerda e a ADA. As avaliações referentes ao grau de estenose seguem o padrão de análise onde a falha de enchimento junto ao vaso contrastado define a presença de lesão. A análise do tipo de placa responsável pelas lesões foi realizada de forma subjetiva. A caracterização das placas foi realizada de acordo com sua morfologia e intensidade de sinal, seguindo a escala tradicional adotada em exames de TC, a escala de Hounsfield (HU)⁷. As placas foram classificadas como: calcificadas (tecido adjacente ao vaso com mais intensidade de sinal que o vaso contrastado - Sinal >130 HU); não calcificadas (tecido adjacente ao vaso com menos sinal que o vaso contrastado - Sinal <-50 HU); e parcialmente calcificada (conteúdo heterogêneo).

Os dois softwares apresentam ferramenta para a localização e análise de qualquer ponto no espaço tridimensional. Essa ferramenta foi utilizada para a avaliação dos vasos, no seu plano axial (visualização de dentro dos vasos) em toda a sua extensão, e quando existir a presença de placas e lesões coronarianas, todos os planos ortogonais poderão ser utilizados de forma simultânea, na topografia exata em que esses achados se encontrem.

Análise das Imagens

Dois observadores com experiência superior a cinco anos, equivalente ao nível 3 de competência clínica⁸, utilizaram software comercial da Philips e o ImageLab, instalados no mesmo computador, para analisar o segmento da ADA de acordo com as variáveis descritas na Tabela 1. Para evitar viés de aferição, as análises entre os softwares ocorreram com intervalos superiores a 15 dias.

Um total de 600 análises foram realizadas para avaliar as concordâncias intraobservador, interobservador e intersoftware.

Análise Estatística

Análise descritiva como variáveis numéricas, na forma de média +/- desvio padrão. Variáveis categóricas como número (n) e percentagens (%). Estatística Kappa para calcular a reprodutibilidade interobservador e intraobservador, todos com intervalo de confiança de 95% e concordância simples para medir os casos com número pequeno de discordância. O programa utilizado foi o R para Linux. Utilizamos a Tabela 1 para avaliar o grau de acordo entre as concordâncias⁹.

Resultados

Após a seleção randômica dos 120 casos, 7 casos com numeração inferior a 100 foram excluídos por falta da fase contrastada do exame (exames da modalidade escore de cálcio sem a angiotomografia de coronárias). Um total de 100 exames com numeração de 1 a 107 foram incluídos para as 600 análises divididas pelos observadores e softwares. (Todos os resultados das concordâncias obtidos com o programa R for Linux podem ser acessados pelo link http://cl.ly/3c193E0J1o1M0f360u1d)

O resultado da versão do software ImageLab utilizada neste projeto tornou-se adequado apresentando visual e usabilidade convenientes (Figura 2).

Todos os 100 pacientes analisados realizaram os exames entre julho de 2009 e novembro de 2010, a maioria do sexo masculino (65) e com a média de idade de 58 anos (23 a 85). O índice de massa corporal médio foi de 27 Kg/m², classificando a média da população com sobrepeso (25% classificados como obesos). Apenas 15% da população não apresentavam nenhum fator de risco, e 35% eram assintomáticos (Tabela. 2).

O sintoma mais frequente observado foi a presença de dor atípica para Doença Arterial Coronariana (DAC), e a maioria das indicações dos exames ocorreu para avaliação de algum sintoma. Cabe ressaltar que 36% dos pacientes foram encaminhados em razão da presença de teste funcional alterado, e 16%, para estratificação de risco (avaliação de rotina sem relação com sintomas nem exames alterados); apenas 2%, para excluir o diagnóstico de doença aterotrombótica como etiologia de uma cardiomiopatia; e 2%, em avaliação pré-operatória (avaliação do risco cirúrgico cardiovascular).

O observador 1 utilizou um dispositivo eletrônico em formato de prancheta (tablet da Apple^® - Ipad 64 Gb Wifi) para registrar as análises pelo software Bento^® for Ipad. Isso permitiu cadastrar o tempo das análises de forma simples (Tabela 3).

O tempo total das análises realizadas pelo observador 1 foi de aproximadamente 6,8 horas, distribuídas em 14 dias. O tempo médio gasto com cada análise foi de 2 minutos e 4 segundos (21 a 612 segundos). O tempo médio utilizado com o software ImageLab para a análise de todos os casos foi de 226,2 minutos, enquanto com o software Philips Brilliance foi de 180,9 (20% a menos). A segunda análise por ambos os softwares foi mais rápida, com a diminuição do tempo total em 11,9 minutos, e 10,7 minutos nos softwares ImageLab e Philips Brilliance, respectivamente.

Registramos a qualidade subjetiva das imagens por meio de escore de 1 a 3; 1 baixa qualidade, 2 qualidade intermediária, e 3 alta qualidade. Vinte e quatro por cento das imagens foram classificadas como baixa qualidade; 64,2%, como intermediária; e 11,8%, como alta qualidade (76% com qualidade intermediária ou alta).

Para avaliar as concordâncias intraobservador e interobservadores, utilizamos a concordância simples (soma dos achados concordantes devido ao número total de casos), na presença de poucos ou nenhum caso discordante (distribuição heterogênea na tabela 2 x 2 com poucos ou nenhum caso em uma das casas), e estatística Kappa utilizando (Tabela 1) como referência do grau de acordo entre os resultados⁸.

A média das observações das 600 análises (Tabela 3) demonstrou ausência de lesão no tronco da coronária esquerda em 82%, e em ADA em 49,3%. Menos de 1% com lesão >50% no tronco da coronária esquerda e 9% com lesão >70% em algum segmento da ADA. O tipo de placa mais observado foi a calcificada.

Foi possível realizar a análise de concordância por meio do Kappa, para todos os tipos de comparação (intraobservador, interobservador e intersoftware), nas variáveis: ausência de lesão e lesão <50% do tronco da coronária esquerda; ausência de lesão da ADA e lesão >70% no terço médio dessa artéria (Tabela 4). Na avaliação das placas o Kappa pode ser realizado apenas com a variável placa calcificada no tronco da coronária esquerda (Tabela 5). As demais concordâncias foram realizadas mediante a medida da concordância simples.

Com o objetivo de avaliar as concordâncias intraobservador comparamos as análises realizadas pelo observador 1 com o software ImageLab no tempo 1 e ImageLab no tempo 2, assim como o software Philips Brilliance no tempo 1 e Philips Brilliance no tempo 2

Todas as avaliações medidas pelo Kappa ou pela concordância simples no tronco da coronária esquerda foram superior a 60. Apenas a variável lesão >70% no terço médio da artéria descendente, na avaliação interobservador pelo software da Philips Brilliance, apresentou concordância moderada (49,7 - 13,8 a 85,6), todas as demais concordâncias observadas na ADA anterior foram superior a 60⁹.

A avaliação de ausência de lesões e lesão <50% no tronco da coronária esquerda, assim como a avaliação de lesão >70% no terço médio da ADA demonstraram maior concordância intraobservador pelo softwares da Philips Brilliance, as demais mantiveram-se semelhante.

A análise intersoftware demonstrou concordância superior a 80 para todas as medidas realizadas pelo Kappa, exceto na avaliação de lesão >70% no terço médio de ADA (79,6 - 63,6 a 95,7), enquanto todas as concordâncias simples intersoftware foram superiores a 80.

Quando analisadas as observações mais frequentes e com maior significância clínica (Tabela 6), foi possível utilizar o Kappa, que demonstrou maior concordância para a identificação de ausência de lesão (Kappa superior a 90 em todas as comparações) e em seguida a identificação de placas calcificadas que também apresentou um grau de acordo substancial. A concordância diminui na avaliação de lesões significativas em ADA (>70%) em que o pior Kappa foi de 47,8 para a avaliação interobservador com o software ImageLab.

Discussão

Nosso trabalho utilizou pacientes encaminhados por seus médicos, por indicações clínicas variadas para a realização da angiotomografia de coronárias. Esses pacientes encontrados no dia a dia dos serviços particulares encaminhados para esse tipo de exame geralmente têm probabilidade baixa a intermediária de doença e utilizam o alto valor preditivo negativo do exame¹⁰ para afastar o diagnóstico. Observamos que na população estudada, somente 9% apresentavam dor precordial típica para DAC, e quando avaliamos o resultado dos escores de cálcio dessa mesma população (não utilizado nas avaliações), somente 20% estavam com valor acima do percentil 75 para sexo e idade, o que está relacionado com um maior risco global cardiovascular para eventos¹¹.

A utilização de pacientes encaminhados por indicações da prática cardiológica permite a viabilização desse projeto, porém pode representar um problema. A falta de todos os tipos de lesão e placas pelos segmentos coronarianos certamente é uma limitação à análise das concordâncias. Nesses casos só foi possível realizar a concordância simples, pois o Kappa necessita de uma distribuição mais variada dos achados para ser calculado. Uma das formas de corrigir esse problema seria a inclusão de pacientes distribuídos pelas lesões e placas, de forma a forçar a entrada variada de todos os tipos de achados. Essa conduta mudaria o perfil da população a ser estudada que certamente seria diferente da população encontrada no dia a dia, encaminhada pelos médicos para esclarecimento de uma dúvida diagnóstica.

A avaliação de apenas uma parte do exame (fase contrastada), sem os dados clínicos dos pacientes, possivelmente diminui a capacidade dos observadores na interpretação das imagens. Isso pode interferir no laudo do exame e talvez até na conduta médica, porém nosso objetivo não foi avaliar quanto o novo software é acurado em relação ao padrão de referência (cineangiocoronariografia), mas sim compará-lo com outro software amplamente utilizado.

Não encontramos em nossa revisão validação científica específica para o software da Philips, porém acreditamos que o uso diário na prática clínica e em trabalhos científicos nos permite concluir que existe algum tipo de validação para esse software.

Este trabalho foi motivado pela linha de pesquisa financiada pela Faperj de modelagem computacional do sistema cardiovascular. Tem como objetivo futuro utilizar o ImageLab em exames de angiotomografia de coronárias no formato DICOM e possivelmente outros exames nesse formato.

A avaliação subjetiva do grau de lesão, de uma imagem representativa, de artéria que está constantemente em movimento e tem em geral menos que 3 mm pode ser difícil. Além disso, a visualização de uma estrutura complexa no espaço tridimensional expressa de forma bidimensional por uma imagem é um desafio à precisão. O grau de lesão estimado com essas limitações vai definir a conduta clínica a ser tomada em vários casos.

Apesar da menor precisão quando comparada com o cine angiocardiografia (CA), na angiotomografia de coronárias é possível analisar a imagem em quatro dimensões (três dimensões mais o tempo de um ciclo cardíaco) e isso possivelmente facilita a concordância com o CA, o que é refletido na alta sensibilidade e especificidade da angiotomografia de coronárias com valores superiores a 90%⁹.

Conseguimos uma boa concordância na maioria das análises e na avaliação direta entre os softwares. Essa concordância foi maior na avaliação intraobservador, o que já era esperado. Outro dado previsível foi maior concordância nos casos de ausência de lesão. A pior avaliação ocorreu entre os observadores com o software ImageLab na análise de lesão >70% na ADA (Kappa de 47,8). Essa discordância poderia ser explicada em parte, pela difícil quantificação subjetiva de alguns casos e pelas diferentes interpretações do local em que se encontra a lesão, ou seja, mesmo quando existiu uma avaliação correta sobre uma determinada lesão, essa informação não era registrada correta se ocorre em segmentos diferentes (lesão > 70% em ADA na intercessão do segmento proximal e médio, ora interpretada com sendo no segmento anterior, ora interpretada como sendo no segmento médio).

Apesar da limitação da população estudada descrita anteriormente, as concordâncias simples realizadas em casos com poucas observações de lesão e placas foram sempre muito boas. A falta dessa informação pode prejudicar a validade externa do software para achados mais raros, porém na grande maioria dos pacientes que são encaminhados para esse exame não se vê essas alterações.

Na análise das concordâncias com maior significância clínica e observações mais frequentes (Tabela 6) também observamos maior concordância na observação de ausência de lesão em ADA, com Kappa sempre superior a 90. Nessa mesma tabela se observa menor concordância para lesão >70% e na identificação de placas calcificadas. Esses dados estão de acordo com as características da angiotomografia de coronárias, cuja utilização é mais apropriada para descartar a presença lesões e placas, ou seja, o método é mais preciso e é mais confiável quando não se observa alterações coronarianas.

Quando buscamos na literatura a avaliação das concordâncias com o CAT, apesar da utilização do padrão de referência anatômico, existe grande variação, com Kappa entre 36 a 63 para medidas dicotômicas detalhadas do grau de lesão (0, 1 - 50,51 - 69 e >70) e Kappa de 37 a 82 para medidas dicotômicas menos detalhadas (<70 ou >70)¹².

Outro dado interessante utilizando dois observadores é a mudança de interpretação sobre um laudo prévio de um CAT quando comparado a uma avaliação recente, com concordância moderada e Kappa variando entre 54 e 60 entre os observadores. Isso ocorre mesmo quando a concordância recente entre esses observadores é boa (Kappa de 69)¹³. Esses dados podem estar relacionados às informações disponíveis pelo observador das imagens durante o momento da análise (imagens associadas a história clínica, contexto da realização do exame, exames prévios e sintomas), quando comparada com a análise das imagens sem informação prévia sobre o pacientes.

No nosso estudo, a ausência de informações sobre o paciente, incluindo a sua identificação, características da dor, precordial, resultado de exames funcionais e a avaliação do escore de cálcio, pode ter influenciado na interpretação das imagens, porém nosso objetivo não foi a liberação de um laudo clínico, mas sim a comparação entre softwares.

Conclusão

Observamos concordâncias muito boas entre os dois softwares, tanto na avaliação intraobservador quanto na avaliação interobservador.

A avaliação das concordâncias intersoftwares, na análise de lesões e placas, em geral, foi superior a 80.

O software ImageLab concorda com o software da Philips na avaliação de exames de angiotomografia de coronárias, tem um grande potencial no auxílio da prática clínica e em pesquisas nessa área, apesar da necessidade de uma avaliação mais robusta. Pode ser utilizado como ferramenta dentro da linha de pesquisa de modelagem computacional do sistema cardiovascular e possivelmente em outras áreas relacionadas as imagens no formato DICOM.

Potencial Conflito de Interesses

Declaro não haver conflito de interesses pertinentes.

Fontes de Financiamento

O presente estudo não teve fontes de financiamento externas.

Vinculação Acadêmica

Este artigo é parte de dissertação de mestrado de Marcelo Souza Hadlich pela Universidade Federal do Rio de Janeiro.

Referências

1. Yamauchi T, Yamazaki M, Okawa A,Furuya T, Hayashi K, Sakuma T, et al. Efficacy and reliability of highly functional open source DICOM software (OsiriX) in spine surgery. J Clin Neurosc.. 2010;17(6):756-9.

2. Peanykh OS. A brief history of DICOM. In: Digital Imaging and Communications in Medicine. Philadelphia:Springer;2008.p.17-22.

3. Gibaud B. The DICOM standard: a brief overview. Philadelphia:Springer; 2008.p.1-10.

4. Graham RNJ, Perriss RW, Scarsbrook AF. DICOM demystified: a review of digital file formats and their use in radiological practice. Clin Radiol. 2005;60(11):1133-40.

5. Kon F. O Software aberto e a questão social. Relatório Técnico RT-MAC-2001-07. 2011:1-10.Departamento de Ciência da Computação, IME-USP.[Citado em 2011 jan 10].Disponível em: http://www.ime.usp.br/r Kon/publications.html

6. Raff GL, Abidov A, Achenbach S, Berman DS, Boxt LM, Budoff MJ, et al. SCCT guidelines for the interpretation and reporting of&nbsp;coronary computed tomographic angiography. J Cardiovasc Comput Tomogr. 2009;3(2):122-36..

7. Brooks RA. A quantitative theory of the Hounsfield unit and its application to dual energy scanning. J Comput Assist Tomogr. 1977;1(4):487-93.

8. Budoff MJ, Cohen MC, Garcia MJ, Hogson JM, Hundley WG, Lima JA, et al. ACCF/AHA clinical competence statement on cardiac imaging with computed tomography and magnetic resonance: a report of the American College of Cardiology Foundation/American Heart Association/American College of Physicians Task Force on Clinical Competence and Training. J Am Coll Cardiol. 2005;46(2):383-402.

9. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74.

10. Janne d'Othée B, Siebert U, Cury R, Jadvar H, Dunn EJ, Hoffmann U. A systematic review on diagnostic accuracy of CT-based detection of significant coronary artery disease. Eur J Radiol. 2008;65(3):449-61.

11. Raggi P, Callister TQ, Cooil B, He ZX, Lippolis NJ, Russo DJ, et al. Identification of patients at increased risk of first unheralded acute myocardial infarction by electron-beam computed tomography. Circulation.2000;101(8):850-5.

12. Guimaraes JA, Victor EG, de Britto Leite MR, Gomes JM, Victor Filho E, Reyes Liveras J. Reliability of the interpretation of coronary angiography by the simple visual method. Arq Bras Cardiol. 2000;74(4):300-8.

13. Banerjee S, Crook AM, Dawson JR, Timmis AD, Hemingway H. Magnitude and Consequences of Error in Coronary Angiography Interpretation (The ACRE Study). Am J Cardiol. 2000;85(3):309-4

Artigo recebido em 04/11/11; revisado em 04/11/11; aceito em 13/06/12.

Datas de Publicação

• Publicação nesta coleção
  02 Out 2012
• Data do Fascículo
  Out 2012

Histórico

• Recebido
  04 Nov 2011
• Aceito
  13 Jun 2012
• Revisado
  04 Nov 2011