Análise comparativa da acurácia in vitro de testes de detecção de hCG urinário

Resumos

OBJECTIVE: To identify whether cutoff for sensitivity advertised by three pregnancy tests in urine are compatible to those reported by the manufacturer and to describe their diagnostic performance. METHODS: The urine of a male volunteer was used to dilute recombinant β-hCG at defined concentrations of 0, 6.25, 12.5, 25, 50, and 100 mIU/mL. The tubes containing each of the concentrations were coded and blindly assessed for positivity in three different lots of hCG tests: Strip Test Plus®, BioEasy®, and Visitect Pregnancy®. The sample size was calculated for an alpha error of 5%, with a power of 99%. RESULTS: All three brands, in their three lots analyzed, had 100% of sensitivity for detecting β-hCG, with 100% negative predictive value, using only negative controls and samples with concentrations equal or higher than the test cutoff (n = 180/brand). The accuracy of the tests was 83% (BioEasy®), 84%(Visitect®) and 91% (Strip Test Plus®). Strip Test Plus® had the best positive likelihood ratio (52.5), while Visitect® had the best negative likelihood ratio (zero). CONCLUSION: The three brands have adequate sensitivity for the advertised cutoffs. The Strip Test Plus® test had the best performance to identify urinary concentrations of β-hCG > 12.5 mIU/mL, and consequently, to confirm pregnancy, while Visitect® had the best performance to exclude β-hCG in urine (negative post-test probability: zero).

Pregnancy tests; urine; reagent kits; in vitro diagnosis; chorionic gonadotropin

ARTIGO ORIGINAL

Análise comparativa da acurácia in vitro de testes de detecção de hCG urinário

Gisele Silva de Moraes^I; Rafael do Amaral Cristovam^I; Ricardo Francalacci Savaris^II

^IGraduandos em Medicina, Faculdade de Medicina da Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre, RS

^IIDoutorado em Ciências Médicas, Professor Adjunto, UFRGS, Professor do Serviço de Ginecologia e Obstetrícia, Hospital de Clínicas de Porto Alegre, Porto Alegre, RS

^{Correspondência para}

RESUMO

OBJETIVO: Identificar se os pontos de corte de sensibilidade anunciados por três testes de gravidez na urina são compatíveis com os anunciados pelo fabricante e descrever os seus desempenhos diagnósticos.

MÉTODOS: A urina de um voluntário masculino foi usada para diluir β-hCG recombinante em concentrações definidas de 0; 6,25; 12,5; 25; 50; e 100 mUI/mL. As amostras foram codificadas e cegamente analisadas para a positividade em três diferentes lotes dos testes hCG Strip Test Plus^®, BioEasy^® e Visitect Pregnancy^®. O tamanho da amostra foi calculado para um erro alfa de 5%, com um poder de 99%.

RESULTADOS: As três marcas apresentaram sensibilidade de 100% na detecção do β-hCG nos três lotes analisados, com 100% de valor preditivo negativo, usando somente controles negativos e amostras com concentrações iguais ou superiores ao limite do teste (n = 180/marca). A acurácia dos testes foi 83% (BioEasy^®), 84% (Visitect^®) e 91% (Strip Test Plus^®). O Strip Test Plus^® apresentou o melhor desempenho para a razão de probabilidade positiva (52,5), enquanto que o produto Visitect^® teve a melhor razão de probabilidade negativa (zero).

CONCLUSÃO: Os três produtos analisados têm a sensibilidade dos pontos de corte anunciados. O produto Strip Test Plus^® tem o melhor desempenho para identificar concentrações urinárias de β-hCG > 12,5 mUI/mL, consequentemente, confirmando gravidez, enquanto que o Visitect^® tem o melhor desempenho para descartar a presença de β-hCG na urina (probabilidade pós-teste negativo: zero).

Unitermos: Testes de gravidez; urina; diagnóstico in vitro; gonadotropina coriônica.

Introdução

Os testes urinários de gravidez têm sido largamente utilizados e aceitos como o primeiro passo na detecção da gestação precoce em emergências ginecológicas¹, pois, além de rápidos², os atuais testes qualitativos de gravidez no soro ou urina têm sensibilidade similar³. Desde sua introdução no mercado, em 1975, o número de marcas disponíveis aumentou significativamente, com a produção dos anticorpos monoclonais contra a subunidade β do hCG e a utilização de imunoensaios enzimáticos que resolviam os problemas do uso da radioimunoensaio. Inicialmente, esses testes necessitavam de duas horas para dar o resultado. Nos anos 1980, surgiram os testes imunocromáticos para detectar o hCG na urina, e nos anos 1990, a geração dos "dipstick"⁴. Atualmente, os fabricantes desses produtos anunciam uma sensibilidade a partir de 25 mUI/mL e uma acurácia entre 97 e 99%³. Essa sensibilidade para detectar o hCG urinário não seria afetada pela diluição da urina⁵, a não ser que sejam utilizados testes com sensibilidade > 200 mUI/mL⁶. Todavia, estudos internacionais têm demonstrado que esses parâmetros anunciados pelos fabricantes não são reproduzidos por investigadores independentes^7,8. Cervinski et al. demonstraram que alguns tipos de exames de gravidez na urina têm uma sensibilidade analítica melhor em comparação a outros⁹. Tomlinson et al. compararam a acurácia de seis testes de gestação e verificaram que o método que usava um sistema digital para dar o resultado tinha uma acurácia significativamente melhor com relação aos outros métodos¹⁰.

No Brasil, há mais de 100 tipos de exames para detectar a presença de gravidez pela análise urinária; alguns fabricantes dão informações vagas sobre a acurácia do produto, como, por exemplo, "apresenta 99,4% de concordância com os resultados obtidos pelo uso de outros testes imunológicos de gravidez já qualificados pela clínica atual"¹¹.

No Brasil, a Equipe de Produtos Diagnósticos de Uso In Vitro (GEVIT/GGTPS) da Agência Nacional de Vigilância Sanitária (ANVISA) informa que "os métodos utilizados para qualificação de produtos não foram ainda determinados ou enumerados pela ANVISA, mas cada fabricante é que determina dentre os métodos reconhecidos em procedimentos internacionais aqueles que melhor se adaptam às suas necessidades". Tendo em vista que os dados apresentados para os produtos são oriundos dos próprios fabricantes, seria importante, em comparação com o que é feito na literatura internacional, verificar se a acurácia anunciada é reproduzida por investigadores independentes. Além disso, uma busca de jurisprudências relacionadas com teste de gravidez no JusBrasil (www.jusbrasil.com.br) revela que existem 1.639 processos cíveis relacionados com resultados falso-positivos ou falso-negativos (busca realizada em 12/04/2011, unitermos: teste gravidez). Casos semelhantes foram descritos na literatura internacional^12,13. A importância deste estudo está na informação precisa sobre a acurácia do produto e sobre os seus valores limítrofes de sensibilidade para detecção de hCG, para que o médico compreenda o resultado dos exames e que médicos peritos possam ter fundamentos em processos judiciários. Os objetivos desta pesquisa são identificar se os pontos de corte de sensibilidade de três produtos para diagnóstico de hCG urinário são compatíveis com os anunciados pelos fabricantes, bem como descrever o desempenho diagnóstico dos mesmos (sensibilidade, especificidade, valores preditivos positivos e negativos, acurácia e as razões de probabilidades positivas e negativas), tendo como padrão de referência concentrações conhecidas de β-hCG recombinante diluídas em urina.

Métodos

Produtos analisados

Foram obtidas três marcas de testes imunocromatográficos de gravidez na urina disponíveis no mercado brasileiro: hCG Strip Test Plus^® (InLab Diagnóstica, SP, Brasil), β-hCG S&U One Step BioEasy^® (Acon Biotech, Hangzhou, China) e Visitect Pregnancy^® (Omega Diagnostics, Scotland, UK). Os testes foram obtidos através do mesmo edital público realizado pelo Hospital de Clínicas de Porto Alegre (HCPA), especificamente para este estudo, solicitando que o fabricante enviasse três lotes diferentes da mesma marca, sem saber que seu produto seria submetido à análise. Não houve preferência por alguma marca específica, exceto pelo Strip Test Plus^®, por ser o teste-padrão utilizado no HCPA. Todos os lotes estavam dentro do prazo de validade.

Os lotes da marca Strip Test Plus^® consistiam em uma fita reagente com sensibilidade a partir de 25 mUI/mL para o diagnóstico de gravidez. De acordo com o fabricante, o teste tem uma concordância de 99,4% com resultados obtidos pelo uso de outros testes¹¹. A leitura era feita após cinco minutos da imersão da fita na amostra de urina.

Os lotes da marca BioEasy^® consistiam em uma fita reagente com sensibilidade a partir de 25 mUI/mL. O fabricante anuncia uma sensibilidade e especificidade de 100% (95%IC: 0,95-1) e uma precisão de 100% (95%IC: 0,98-1) para a detecção de β-hCG na urina, tendo sido avaliado com um n= 159¹⁴. Os resultados dos testes foram aferidos em cinco minutos, após a imersão das fitas por 20 segundos nas amostras de urina.

Os lotes da marca Visitect Pregnancy^® consistiam em um cassete e um conta-gotas individual para cada teste. O fabricante informa que a sensibilidade do produto é a partir de 10 mUI/mL, que a especificidade não sofre reação cruzada e que a precisão do Visitect^® tem boa correlação quando realizada em paralelo com outros testes de gravidez do mercado, usando controles positivos e negativos conhecidos¹⁵. O teste foi realizado com a colocação de duas gotas de cada amostra de urina com um conta-gotas individual e o resultado foi aferido após cinco minutos.

Preparação das amostras

Uma amostra de urina de um homem foi utilizada como diluente. O β-hCG recombinante na concentração de 5.000.000 mUI/mL (Choragon Ferring GmbH, Kiel, Alemanha) foi diluído em 49 mL de urina, obtendo-se uma solução de trabalho na concentração de 100 mUI/mL. A partir dessa solução, foram feitas diluições seriadas de 50; 12,5 e 6,25 mUI/mL em um volume final de 10 mL. Em um dos tubos de ensaio, 10 mL de urina pura foram dispostos para análise como controle negativo. Durante as diluições, não foram reaproveitados os materiais, a fim de evitar contaminações. A urina e o β-hCG recombinante foram armazenados até 72 horas em refrigeração a 4ºC, não sendo congelados. Os tubos de ensaio nas concentrações 100; 50; 25; 12,5; 6,25 e 0 mUI/mL foram codificados e aleatoriamente dispostos para análise por um dos pesquisadores (GSM), que não participou da leitura dos testes.

Realização e leitura dos testes

Um dos pesquisadores (RAC), cego quanto às concentrações dos tubos, efetuou os testes e as leituras conforme as instruções dos fabricantes, determinando-os como positivo quando havia duas marcações nítidas no teste; e negativo quando a linha do teste era ausente; quando a positividade da linha de teste não era nítida, o teste era considerado como indeterminado. Testes sem a linha do controle foram descartados. Para fins de leitura, resultados indeterminados foram considerados como positivos, pois poderiam significar positividade abaixo do ponto de corte preconizado pelo fabricante.

As leituras foram realizadas consecutivamente, sem pausa, sob as mesmas condições de temperatura e pressão, para evitar viés de aferição.

Tamanho da amostra

A amostragem se baseou em trabalhos semelhantes, publicados na literatura internacional⁷ e pela Food and Drug Administration, dos Estados Unidos¹⁶, considerando um erro alfa de 0,05; um poder de 0,99 para detectar um aumento de 81% entre os controles e os casos. Esses parâmetros configuraram dez replicatas para cada concentração diferente (n = 6) para cada lote (n = 3 lotes), nas três marcas analisadas (n = 10 x 6 x 3 = 180 análises para cada marca).

Análise estatística e aspectos éticos

Os dados foram analisados em uma tabela de contingência para os parâmetros de avaliação de testes diagnósticos, usando o software GrahPad InStat versão 3.00 para Mac (GraphPad Software, San Diego, California, USA, www.graphpad.com) e o diagnostic test calculator (http://araw.mede.uic.edu/cgi-bin/testcalc.pl) para intervalo de confiança de 95%. A comparação da acurácia entre os três produtos e os lotes foi avaliada usando ANOVA com dois fatores (produto e lote), sendo considerado significativo um p < 0,05. Para a análise do desempenho, foram considerados três cenários diferentes: (1) o desempenho do produto perante concentrações negativas e concentrações > ao ponto de corte preconizado pelo fabricante; (2) o desempenho do produto perante todas as concentrações, tendo como positivos os valores limítrofes preconizados pelos fabricantes; (3) o desempenho do produto perante todas as concentrações, mas tendo o valor de 12,5 mUI/mL, como valor positivo (equivalente a gravidez), conforme sugerido por Butler et al.⁸ O cenário 1 representa os dados dos fabricantes; o cenário 2, a prática clínica que considera o valor de 10 ou 25 mUI/mL como diagnóstico de gravidez; e o cenário 3 uma situação intermediária, na qual o diagnóstico de gravidez é sugerido a partir de 12 mUI/mL, por ser essa a concentração mínima encontrada em gestações de quatro semanas. Este estudo foi aprovado pelo Comitê de Ética em Pesquisa do Grupo de Pesquisa e Pós-Graduação do Hospital de Clínicas de Porto Alegre, sob o número 09-301.

Resultados

Todos os testes apresentaram controle interno positivo, não tendo sido necessário descartar nenhum deles. As três marcas identificaram os valores mínimos especificados pelo fabricante, se os resultados indeterminados eram considerados como positivo. Os dados individuais de cada lote estão representados na Tabela 1. Algumas fitas apresentaram positividade para hCG inclusive abaixo do limiar estabelecido pelo fabricante (Tabela 1). Na Tabela 2, está representado o cenário 1, o desempenho dos produtos usando somente os controles negativos (zero) e os valores > ao ponto de corte do produto, sem valores intermediários. O cenário 2 está representado na Tabela 3, na qual estão descritos os desempenhos dos produtos para identificar qualquer concentração de β-hCG na urina, tendo como positivos os pontos de corte de cada produto. Na Tabela 4, está representado o cenário 3, que apresenta o desempenho dos produtos, em que valores > 12 mUI/mL são considerados como positivos. O desempenho das três marcas foi analisado considerando os três diferentes cenários. A análise estatística com 2 way-ANOVA não mostrou diferença significativa entre as marcas e os lotes (fatores avaliados), tendo a acurácia como variável a ser analisada (Tabela 5). Tanto os lotes como os diferentes tipos de teste não apresentam efeito sobre acurácia dos exames, tendo o ponto de corte o valor de β-hCG > 6,25 mUI/mL.

Discussão

As três marcas pesquisadas utilizam o princípio da imunocromatografia pela reação antígeno-anticorpo, com instruções muito similares. Esses produtos informam ao consumidor vagamente sobre a acurácia do exame. Por exemplo, o Strip Test Plus^® afirma "uma concordância de 99,4% com os resultados obtidos pelo uso de outros testes",mas não dá maiores informações. A acurácia dos exames é diferente entre os lotes do mesmo teste e menor que a anunciada pelo fabricante, conforme apresentado na Tabela 5. Essas diferenças, contudo, não são estatisticamente significativas e não influenciam no resultado dos testes (Tabela 6). O BioEasy^®, por outro lado, dá informações precisas sobre a sensibilidade, especificidade e acurácia do produto, mas não informa quais concentrações de hCG foram analisadas. A acurácia encontrada no presente estudo para o BioEasy^® está fora do intervalo de confiança de 95% apresentado pelo fabricante. Essas diferenças podem ser pelo ponto de corte de β-hCG = 6,26 mUI/mL que foi utilizado, o qual apresenta o cenário da prática clínica. Se for considerado o cenário 1, o qual reflete os dados dos fabricantes, em que só há concentrações de β-hCG > ao ponto de corte do produto e o controle negativo, duas marcas (Strip Test Plus^® e BioEasy^®) apresentam especificidade, sensibilidade e acurácia de 100%, conforme anunciadas pelo fabricante (Tabela 2). O produto Visitect^® apresentou um resultado indeterminado para cinco amostras negativas, o que reduziu sua especificidade, e sua acurácia foi de 94% (Tabela 2). Os testes indeterminados (fracamente positivo) estavam presentes em todas as amostras e lotes dos três produtos. Nenhum dos fabricantes distingue os resultados em que a coloração, ou a marcação da positividade, não era nítida. Verifica-se que a maioria dos resultados indeterminados estava presente em concentrações de β-hCG inferiores ao limiar do produto (Tabela 1). Por isso, considera-se o exame como positivo. Portanto, os resultados dos fabricantes são compatíveis com os achados dentro do cenário 1, porém, isso não se aplica na prática clínica.

Na Tabela 3, tem-se o cenário 2, no qual qualquer presença de hCG na urina é utilizado como valor positivo. Nesse cenário 2, o desempenho de cada produto decaiu. A acurácia entre os produtos e seus lotes variou entre 68% e 100%. Esse cenário é o que o clínico encontra no dia a dia. O clínico considera que o diagnóstico de gravidez é confirmado quando o resultado do exame é positivo para níveis de β-hCG > 25 mUI/mL, e, inferior a esse limiar, considera a paciente como não grávida. Uma análise mais detalhada pode verificar que perante um resultado positivo para o Strip Test Plus^® e BioEasy^®, o clínico terá uma certeza de que há β-hCG > 25mUI/mL em 100% (IC95% 0,96-1) dos casos, confirmando a gravidez. Por outro lado, com um resultado negativo, essa certeza diminui para 41% (IC95% 0,29-0,52) para o Strip Test Plus^®, pois pode haver gestações muito precoces, logo, com níveis de β-hCG < 25 mUI/mL. Essas observações podem explicar as discrepâncias relatadas na literatura^12,13.

Para o clínico, a pergunta a ser respondida é: qual o exame que se deve utilizar para diagnosticar, ou excluir, a presença de gravidez? Para responder isso, Butler et al. relataram que a concentração de hCG na urina com quatro semanas de gestação varia entre 12-2.438 UI/L, ou 12-2.438 mUI/mL⁷. Sendo assim, o cenário 3 está representado na Tabela 4, na qual valores > 12,5 mUI/mL são considerados como positivos, e os < 6,25 mUI/mL como negativos. Para o clínico, o valor mais importante de um teste auxiliar é a razão de probabilidades¹⁴. Associado a esses dados, combina-se a probabilidade pré-teste, ou seja, a prevalência dos casos de gestação no meio onde o exame é executado. Um recente trabalho publicado pelos autores deste artigo demonstrou que a prevalência de mulheres grávidas que comparecem na emergência ginecológica, sem o diagnóstico de gestação, é de 18,5%¹⁷. Com esses dados, verifica-se que o produto Strip Test Plus^®, quando positivo, tem uma probabilidade de 92,3% de chance de que o β-hCG urinário seja > 12,5 mUI/mL e, por conseguinte, conclui-se que a paciente está grávida; o produto Visitect^®, por sua vez, quando mostrar um resultado negativo, a chance de ter um β-hCG > 12,5 mUI/mL é zero, descartando, consequentemente, o diagnóstico de gestação. [Esses valores foram obtidos utilizando a fórmula: probabilidade pós-teste positivo = chance pós-teste/(chance pós-teste + 1), em que chance pós-teste = chance pré-teste x razão de probabilidades; chance pré-teste = prevalência/(1-prevalência)]¹⁵. Agora, um resultado negativo do Strip Test Plus^® indica que existe uma chance de 2,9% da paciente estar grávida e o teste não ter reconhecido a gestação, pois a concentração de β-hCG pode ser de 12 mUI/mL em uma gestação de quatro semanas⁷.

Um aspecto positivo deste estudo é o uso de β-hCG recombinante, em concentrações conhecidas, como padrão-ouro. Isso substitui as dosagens de β-hCG por radioimunoensaio ou imunoenzimáticos. Além disso, com concentrações predefinidas de β-hCG, foi possível identificar se os produtos identificavam os limites inferiores de sensibilidade especificados pelo fabricante, isso é, 10 mUI/mL e 25 mUI/mL.

Os resultados negativos em concentrações urinárias de 6,25 e 12,5 mUI/mL de β-hCG, bem como resultados positivos em controles negativos, podem explicar parcialmente as situações de falso-positivo e falso-negativo na prática clínica¹⁶. Outra explicação, além dos limites inferiores ao ponto de corte estabelecido pelo fabricante do produto, é a possibilidade de que o anticorpo monoclonal contra hCG regular existente no kit não reaja contra o hCG hiperglicosilado (H-hCG), o qual compreende 61% de todos os hCGs imunorreativos nas quatro primeiras semanas da gestação⁷.

Conclusão

Todos os três produtos analisados reconhecem β-hCG na urina nos pontos de corte de sensibilidade anunciados pelos fabricantes, se os casos indeterminados forem considerados positivos. Alguns lotes das três marcas identificaram valores inferiores ao ponto de corte anunciado na bula do produto. O produto Strip Test Plus^® tem a melhor acurácia para identificar concentrações urinárias de β-hCG, com uma razão de probabilidade positiva de 52,5, enquanto que o Visitect^® tem o melhor desempenho para descartar um caso de gravidez, com uma razão de probabilidade negativa de 0.

Artigo recebido: 24/01/2011

Aceito para publicação: 15/06/2011

Suporte Financeiro: HCPA, Fundo de Incentivo a Pesquisa e Ensino (09-301)

Conflito de interesse: Não há.

Trabalho realizado na Faculdade de Medicina, Hospital de Clínicas de Porto Alegre, Universidade Federal do Rio Grande do Sul, Porto Alegre, RS

• 1. Minaretzis D, Tsionou C, Tsandoulas E. Clinical evaluation of a sensitive urine pregnancy test in the gynecological emergencies. Eur J Obstet Gynecol Reprod Biol 1991;39:123-6.
• 2. Lazarenko GC, Dobson C, Enokson R, Brant R. Accuracy and speed of urine pregnancy tests done in the emergency department: a pros-pective study. CJEM 2001;3:292-5.
• 3. Chard T. Pregnancy tests: a review. Hum Reprod 1992;7:701-10.
• 4. Haarburger D, Pillay TS. Historical perspectives in diagnostic clinical pathology: development of the pregnancy test. J Clin Pathol 2011;64(6):546-8.
• 5. Neinstein L, Harvey F. Effect of low urine specific gravity on pregnancy testing. J Am Coll Health 1998;47:138-9.
• 6. komi A, Matthews M, Kuan AM, Henson G. The effect of physio-logical urine dilution on pregnancy test results in complicated early pregnancies. Br J Obstet Gynaecol 1998;105:462-5.
• 7. Cole LA, Sutton-Riley JM, Khanlian SA, Borkovskaya M, Rayburn BB, Rayburn WF. Sensitivity of over-the-counter pregnancy tests: comparison of utility and marketing messages. J Am Pharm Assoc 2005;45:608-15.
• 8. Butler SA, Khanlian SA, Cole LA. Detection of early pregnancy forms of human chorionic gonadotropin by home pregnancy test devices. Clin Chem 2001;47:2131-6.
• 9. Cervinski MA, Lockwood CM, Ferguson AM, Odem RR, Stenman UH, Alfthan H et al. Qualitative point-of-care and over-the-counter urine hCG devices differentially detect the hCG variants of early pregnancy. Clin Chim Acta 2009;406:81-5.
• 10. Tomlinson C, Marshall J, Ellis JE. Comparison of accuracy and certainty of results of six home pregnancy tests available over-the-counter. Curr Med Res Opin 2008;24:1645-9.
• 11. Alamar Tecno Científico Ltda. HCG Strip Test Plus, bula do produto. Disponível em: http://www.interlabdist.com.br/dados/produtos/bula/doc/15487490742feb212a.pdf
• 12. Er TK, Chiang CH, Cheng BH, Hong FJ, Lee CP, Gines MA. False-positive urine pregnancy test in a woman with adenomysosis. Am J Emerg Med 2009;27:1019.e5-7.
• 13. Kalinski MA, Guss DA. Hemorrhagic shock from a ruptured ectopic pregnancy in a patient with a negative urine pregnancy test result. Ann Emerg Med 2002;40:102-5.
• 14. Bioeasy Diagnóstica Ltda. HCG one step ultra bioeasy. Disponível em: http://www.bioeasy.com.br/arquivos/Produtos/59/hcg_10muiml__c__e__t__30_07_2010.pdf
• ¹⁵
  Omega diagnostics - Visitect Pregnancy bula. Disponível em: http://www.biosys.com.br/data/jpf_kovbio_product/422/visitecpregnancy2.pdf
• 16. USA-FDA. Human chorionic-gonadotropin (hCG) 510(k)s. 2000. Disponível em: http://www.accessdata.fda.gov/cdrh_docs/reviews/K071930.pdf
• 17. Savaris RF, Moraes GS, Cristovam RA. Reviewing the guidelines from the Brazilian Ministry of Health for diagnosis of early pregnancy. Rev Assoc Med Bras 2010;56:622-4.

Datas de Publicação

• Publicação nesta coleção
  14 Out 2011
• Data do Fascículo
  Out 2011

Histórico

• Aceito
  15 Jun 2011
• Recebido
  24 Jan 2011