Acessibilidade / Reportar erro

Avaliação do desempenho do CAGE com pacientes psiquiátricos ambulatoriais

Evaluación del desempeño del CAGE con pacientes psiquiátricos ambulatorios

Resumos

Estudo descritivo, transversal com objetivo de avaliar o desempenho do CAGE entre pacientes psiquiátricos ambulatoriais de um hospital universitário terciário. Amostra de conveniência, pacientes do HCFMRP-USP (n=127). Aplicaram-se o CAGE e a entrevista diagnóstica da CID-10 para uso nocivo e dependência de álcool. O desempenho dos escores do CAGE foi avaliado através da análise de curva ROC, tendo os diagnósticos clínicos da CID-10 como padrão-ouro. Sensibilidade e especificidade de acordo com o ponto de corte: >0, S=100%, E=0%; >1, S=100%, E=73,7%; >2, S=53,8%, E=87,7%; >3, S=53,8%, E=94,7%; >4, S=0%, :E=100%. O escore 1 mostrou ser o ponto crítico ideal sensibilidade/especificidade. Entre pacientes psiquiátricos ambulatoriais de um hospital universitário terciário, o ponto de corte mais adequado do CAGE foi >1. A fim de aumentar o poder diagnóstico do teste e a segurança dos seus resultados, recomenda-se a avaliação do desempenho deste na população estudada.

escalas; sensibilidade e especificidade; transtornos relacionados ao uso de substâncias; pacientes ambulatoriais; alcoolismo


Estudio descriptivo, transversal, con objeto de evaluar el desempeño del CAGE entre pacientes psiquiátricos ambulatorios de un hospital universitario terciario. Muestra de conveniencia con pacientes del HCFMRP-USP (n=127). Fue aplicado el CAGE y entrevista diagnóstica del CID-10 para uso nocivo y dependencia de alcohol. El desempeño de la puntuación en el CAGE fue evaluado a través del análisis de la curva ROC, usando los diagnósticos del CID-10 como patrón-oro. La sensibilidad y especificidad de acuerdo con punto de corte: >0, S=100%, E=0%; >1, S=100%, E=73,7%; >2, S=53,8%, E=87,7%; >3, S=53,8%, E=94,7%; >4, S=0%, E=100%. La puntuación 1 mostró ser el punto crítico ideal sensibilidad/especificidad. Entre pacientes psiquiátricos ambulatorios de un hospital universitario terciario el punto de corte más adecuado del CAGE fue >1. A fin de aumentar el poder diagnóstico del test y la seguridad de sus resultados se recomienda que se realice la evaluación del desempeño del test en la población estudiada.

escalas; sensibilidad y especificidad; trastornos relacionados con sustancias; pacientes ambulatorios; alcoholismo


Descriptive and transversal study to evaluate the performance of CAGE among psychiatric outpatients at a tertiary-level university hospital. Convenience sample composed of patients from HCFMRP-USP (n=127). The instruments used were CAGE and the diagnostic interview based on ICD-10 criteria for harmful use and alcohol dependence. The performance of CAGE scores was evaluated through the analysis of ROC curve, using the ICD-10 clinical diagnostic as a gold standard. The sensitivity and specificity in accordance with the cut-off points are: >0, Sens=100%, Spec=0%; >1, Sens=100%, Spec=73.7%; >2, Sens=53.8%, Spec=87.7%; >3, Sens=53.8%, Spec=94.7%; >4, Sens=0%; Spec=100%. Score 1 showed to be the ideal critical point for sensibility/specificity. >1 was the best cut-off point for CAGE among psychiatric outpatients from a tertiary-level university hospital. To increase the diagnostic power of the test and the reliability of its results, its performance in the study population should be assessed.

scales; sensitivity and specificity; substance-related disorders; outpatients; alcoholism


ARTIGO ORIGINAL

Avaliação do desempenho do CAGE com pacientes psiquiátricos ambulatoriais

Evaluación del desempeño del CAGE con pacientes psiquiátricos ambulatorios

Clarissa Mendonça Corradi-WebsterI; Milton Roberto LapregaII; Erikson Felipe FurtadoII

IMestre em Saúde na Comunidade pela Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo, e-mail: clarissac@usp.br

IIProfessor Doutor da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo, e-mail: mlaprega@fmrp.usp.br, e-mail: efurtado@fmrp.usp.br

RESUMO

Estudo descritivo, transversal com objetivo de avaliar o desempenho do CAGE entre pacientes psiquiátricos ambulatoriais de um hospital universitário terciário. Amostra de conveniência, pacientes do HCFMRP-USP (n=127). Aplicaram-se o CAGE e a entrevista diagnóstica da CID-10 para uso nocivo e dependência de álcool. O desempenho dos escores do CAGE foi avaliado através da análise de curva ROC, tendo os diagnósticos clínicos da CID-10 como padrão-ouro. Sensibilidade e especificidade de acordo com o ponto de corte: >0, S=100%, E=0%; >1, S=100%, E=73,7%; >2, S=53,8%, E=87,7%; >3, S=53,8%, E=94,7%; >4, S=0%, :E=100%. O escore 1 mostrou ser o ponto crítico ideal sensibilidade/especificidade. Entre pacientes psiquiátricos ambulatoriais de um hospital universitário terciário, o ponto de corte mais adequado do CAGE foi >1. A fim de aumentar o poder diagnóstico do teste e a segurança dos seus resultados, recomenda-se a avaliação do desempenho deste na população estudada.

Descritores: escalas; sensibilidade e especificidade; transtornos relacionados ao uso de substâncias; pacientes ambulatoriais; alcoolismo

RESUMEN

Estudio descriptivo, transversal, con objeto de evaluar el desempeño del CAGE entre pacientes psiquiátricos ambulatorios de un hospital universitario terciario. Muestra de conveniencia con pacientes del HCFMRP-USP (n=127). Fue aplicado el CAGE y entrevista diagnóstica del CID-10 para uso nocivo y dependencia de alcohol. El desempeño de la puntuación en el CAGE fue evaluado a través del análisis de la curva ROC, usando los diagnósticos del CID-10 como patrón-oro. La sensibilidad y especificidad de acuerdo con punto de corte: >0, S=100%, E=0%; >1, S=100%, E=73,7%; >2, S=53,8%, E=87,7%; >3, S=53,8%, E=94,7%; >4, S=0%, E=100%. La puntuación 1 mostró ser el punto crítico ideal sensibilidad/especificidad. Entre pacientes psiquiátricos ambulatorios de un hospital universitario terciario el punto de corte más adecuado del CAGE fue >1. A fin de aumentar el poder diagnóstico del test y la seguridad de sus resultados se recomienda que se realice la evaluación del desempeño del test en la población estudiada.

Descriptores: escalas; sensibilidad y especificidad; trastornos relacionados con sustancias; pacientes ambulatorios; alcoholismo

INTRODUÇÃO

O uso excessivo de álcool por pacientes com transtornos psiquiátricos pode ser de alto risco para a saúde. De acordo com a Organização Mundial de Saúde, a prevalência de dependência de álcool durante a vida é de 14 % na população geral e de 22% em indivíduos com algum transtorno psiquiátrico, sendo que quando a pessoa tem qualquer transtorno mental, a probabilidade de dependência de álcool é 2,3 vezes maior do que sem tal transtorno(1).

A identificação precoce do uso problemático de álcool é muito importante, uma vez que propicia ao profissional a oportunidade de agir de forma preventiva, contribuindo para a redução dos problemas causados por este uso. No caso de pessoas que estejam em tratamento por algum transtorno psiquiátrico, o uso de álcool também pode prejudicar o tratamento e o prognóstico da enfermidade.

Para contribuir com os profissionais na investigação de padrões de consumo foram desenvolvidos instrumentos de rastreamento do uso problemático de álcool. Tais instrumentos podem ser usados pelos profissionais de saúde com um mínimo de treinamento e contribuem na realização de uma avaliação breve. Eles são úteis no dia a dia do profissional, por serem de fácil e rápida aplicação e por oferecerem uma pontuação clara que indica a probabilidade de problemas relacionados ao álcool. Apesar de não serem instrumentos de diagnóstico, os testes foram avaliados com base em sua capacidade de diferenciar com segurança entre os indivíduos que apresentam a condição pesquisada e os que não apresentam.

O CAGE, elaborado na década de 70, é um questionário com essa finalidade. Ele contém apenas quatro perguntas com respostas objetivas (sim/não), sendo amplamente utilizado devido à facilidade de aplicação e à boa aceitabilidade por profissionais e pacientes. Foi validado no Brasil em 1983, quando se propôs a aplicação das quatro questões do CAGE misturadas a outras dez questões sobre hábitos de saúde, visando facilitar a entrevista(2). A sigla CAGE resulta das palavras-chaves contidas em cada uma das questões: 1) Alguma vez o sr(a). sentiu que deveria diminuir a quantidade de bebida ou parar de beber?(C - Cut-down); 2) As pessoas o(a) aborrecem porque criticam o seu modo de beber? (A - Annoyed); 3) O sr.(a) costuma beber pela manhã para diminuir o nervosismo ou a ressaca? (E - Eye-opener); 4) O sr(a). se sente culpado pela maneira com que costuma beber? (G - Guilt). As questões devem ser respondidas como sim ou não e respostas como "de vez em quando" são consideradas como sim.

Outro teste de rastreamento muito utilizado é o AUDIT (Alcohol Use Disorders Identification Test). Ele foi desenvolvido a pedido da Organização Mundial da Saúde para ser usado como instrumento de rastreamento de uso de risco, uso nocivo e dependência de álcool(3). É composto por dez questões graduadas de zero a quatro, e enfatiza a identificação de distúrbios atuais (último ano), avaliando padrão de consumo de álcool, sintomas de dependência e problemas relacionados ao uso de álcool. Vem sendo muito bem aceito pelos profissionais e utilizado em diversos serviços de saúde(4). Os testes de rastreamento têm sido objetos de diversos estudos, principalmente para verificação da validade em relação a grupos específicos, como mulheres, idosos, adolescentes e pacientes psiquiátricos. Alguns autores propuseram uma modificação no questionário CAGE para ser usado com gestantes(5). Este instrumento recebeu o nome de T-ACE, e foi validado no Brasil em 2002(6). A literatura também propõe que sejam feitas adaptações mudando-se o ponto de corte do instrumento a fim de garantir especificidade e sensibilidade satisfatórias(7). Quando o CAGE foi validado no Brasil o ponto de corte sugerido foi >2, entretanto alguns autores recomendam o ponto de corte >1 dependendo da população estudada(8-9). No manual sobre o uso do AUDIT também se recomenda a redução ou aumento do ponto de corte do instrumento no uso com determinados grupos para aperfeiçoar seu poder de detecção(3).

Apesar dos instrumentos de rastreamento indicarem a possibilidade de existência de um problema, estes não podem ser usados para a realização de um diagnóstico psiquiátrico. Para este fim, o instrumento mais utilizado é a entrevista estruturada, em conformidade com os Critérios Diagnósticos para Pesquisa (CDP-10) da CID-10. Essa entrevista permite a identificação do uso nocivo e da síndrome de dependência de álcool, utilizando critérios derivados do Capítulo V - Transtornos Mentais e de Comportamento, da CID-10. Ela foi desenvolvida para uso clínico e educacional geral e quando aplicada por profissional qualificado, pode ser considerada como de alta confiabilidade para o diagnóstico de transtornos relacionados ao uso de álcool (10).

Seguindo as sugestões da literatura para adaptação dos instrumentos de rastreamento, este estudo teve como objetivo avaliar o desempenho do CAGE na identificação do uso problemático de álcool entre pacientes de um serviço ambulatorial psiquiátrico de hospital universitário.

MÉTODOS

O delineamento do estudo foi do tipo quantitativo, descritivo, de corte transversal, sobre uma amostra clínica ambulatorial, recrutada segundo critérios de adesão, sem regime fixo de ordem de inclusão e independente em relação a interferências dos profissionais assistentes. O local da coleta de dados foi o Serviço Ambulatorial de Clínica Psiquiátrica (SACP) do Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto-USP.

Os participantes do estudo eram pacientes em atendimento nas Unidades de Transtorno de Ansiedade, Esquizofrenia e Transtornos de Humor do SACP. A amostra foi constituída por 127 sujeitos. Os critérios de inclusão foram os seguintes: possuir mais de 18 anos de idade; estar em atendimento no Serviço Ambulatorial de Clínica Psiquiátrica do HC-FMRP-USP tendo passado por consultas de triagem e de psiquiatria geral para definição do diagnóstico e da conduta; estar em condições de oferecer informações confiáveis; concordar em participar da pesquisa. Foram excluídos do estudo os indivíduos que não atenderam às condições anteriores e pacientes que estavam em quadro clínico instável ou reagudizando.

Os instrumentos utilizados para a coleta de dados foram os seguintes:

- Entrevista estruturada para coleta de dados sócio-demográficos.

- CAGE: instrumento de rastreamento de uso problemático de álcool muito utilizado em pesquisas e na prática clínica(11-12).

- Critério Diagnósticos - CID-10: entrevista estruturada, em conformidade com os Critérios Diagnósticos para Pesquisa (CDP-10) da CID-10, a fim de verificar diagnósticos de transtornos relacionados ao uso de álcool (uso nocivo ou de síndrome de dependência de álcool).

A coleta de dados foi realizada por estudantes do curso de medicina e por colaboradores de pesquisa graduados em psicologia. Todos os entrevistadores receberam treinamento em técnicas de entrevista, uso de instrumentos de rastreamento e em avaliação para identificação de transtornos relacionados ao uso de álcool através dos critérios diagnósticos da CID-10. Eles compareciam ao SACP no horário de funcionamento deste e ao final da consulta o médico residente explicava ao paciente os objetivos da pesquisa e perguntava se estes gostariam de participar. Havendo a concordância, o médico residente se retirava da sala e pedia que o entrevistador entrasse e desse andamento à coleta de dados. Os entrevistadores liam com o paciente o Termo de Consentimento, verificavam se eles realmente concordavam em participar, e então começavam a entrevista para coleta de dados sócio-demográficos. Logo em seguida, faziam a aplicação do CAGE e a entrevista dos critérios diagnósticos da CID-10.

As informações coletadas foram registradas em uma planilha do programa Excel - 2002. A avaliação do CAGE foi realizada através da verificação da sensibilidade e da especificidade deste de acordo com o ponto de corte quando comparado com os diagnósticos de "uso nocivo" ou "dependência de álcool" da CID-10, usada aqui como padrão-ouro (golden standard). A curva ROC foi utilizada para análise do ponto de corte mais adequado, garantindo sensibilidade e especificidade satisfatórias.

Este projeto foi aprovado pelo Comitê de Ética do Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto. As entrevistas foram realizadas sempre mediante a obtenção do Termo de Consentimento Livre e Esclarecido de pacientes voluntários, sendo respeitados os critérios éticos da resolução n.º 196 de 10 de outubro de 1996. Após a realização da entrevista, todos participantes receberam orientações sobre o beber de baixo risco e sobre as situações em que deveriam evitar o consumo de bebidas alcoólicas.

RESULTADOS

Caracterização da amostra

A amostra foi composta majoritariamente por mulheres, que representaram 69,3%. A média de idade dos sujeitos foi de 42,87 anos (sd = 13,2; mín. = 18 e máx. = 77 anos). A maioria dos entrevistados declarou ter cor de pele branca (74,8%) e viver sem companheiro(a), sendo solteiros, separados ou viúvos (52%). Em relação à escolaridade, a maioria das pessoas disse ter estudado até quatro ou até oito anos, resultando em 57,5% da amostra com até oito anos de escolaridade. A renda familiar de 57,5% dos entrevistados concentra-se entre 1 a 5 salários mínimos e quando questionados a respeito de suas práticas religiosas, 61,4% disseram ser praticantes de alguma religião. Em relação ao diagnóstico, este se distribuiu entre esquizofrenia, transtorno afetivo bipolar, episódio depressivo, transtornos fóbicos-ansiosos e outros transtornos de ansiedade.

Uso problemático de álcool

De acordo com os critérios diagnósticos da CID-10, a freqüência de uso nocivo foi de 6,3% (n=8) e de dependência 3,9% (n=5), totalizando 10,2% (n=13) de transtornos relacionados ao uso de álcool.

Em relação à pontuação da amostra no CAGE, a Figura 1 ilustra como se deu a distribuição desta.


Avaliação do desempenho do CAGE em pacientes psiquiátricos

A avaliação do desempenho do CAGE foi realizada através do através do emprego da análise de curva ROC, tendo o diagnóstico clínico de "uso nocivo" ou "dependência de álcool", da CID-10, como padrão-ouro (golden standard). A Figura 2 indica os valores de sensibilidade e especificidade alcançados de acordo com o ponto de corte no CAGE.


Através da análise de curva ROC, verificou-se que o ponto crítico ideal sensibilidade/especificidade foi para o escore de um ponto no CAGE. Com base nestes dados, optou-se por usar o ponto de corte >1. A Figura 3 ilustra a análise da Curva ROC.


Considerando-se o ponto de corte >1, a distribuição de resultados positivos e negativos no CAGE se deu de acordo com a Figura 4.


DISCUSSÃO

Os instrumentos de rastreamento do uso de álcool vêm sendo largamente utilizados em pesquisas e na prática clínica. O instrumento CAGE, por ser rápido e de fácil aplicação, vem sendo muito difundido. Entretanto, a literatura recomenda a adaptação deste para diferentes realidades e populações, tornando-se importante a avaliação do seu desempenho. Um estudo realizado a respeito do desempenho de cinco instrumentos de rastreamento de uso problemático de álcool em pacientes psiquiátricos, incluindo o CAGE, sugeriu que os pontos de corte destes instrumentos fossem adaptados a padrões locais e a características do serviço(13).

Na amostra estudada, foi verificado que os melhores valores de sensibilidade e especificidade para o CAGE foram encontrados com o ponto de corte >1 (Sens = 100%; Espec = 73,7%). Quando o CAGE foi traduzido e validado no Brasil, o ponto de corte recomendado foi >2(2). Entretanto, neste estudo observou-se que, com o uso deste ponto de corte, o instrumento perdia quase 50% de sua sensibilidade, deixando de identificar casos de pessoas que faziam uso nocivo ou eram dependentes do álcool. Outros autores também encontraram este problema ao comparar dois grupos de pacientes de um serviço de emergência e sugeriram a redução do ponto de corte de diversos instrumentos de rastreamento, incluindo o CAGE, para grupos de mulheres(9). Principalmente entre mulheres brancas norte-americanas, há vasta literatura que recomenda o uso do ponto de corte >1 no CAGE(14,15). Um estudo que trabalhou com uma amostra de idosos também encontrou baixa sensibilidade (48%) com o uso do ponto de corte >2(16). Com pacientes ambulatoriais da clínica ortopédica o ponto de corte >1 no CAGE mostrou 85% de sensibilidade e 89% de especificidade, sendo considerado o mais adequado(17). Estudo realizado no Brasil para a verificar a validade do CAGE entre pacientes com dependência ao álcool internados em enfermarias de clínica médica também encontrou valores de sensibilidade (93,8%) e especificidade (85,%) mais adequado com o uso do ponto de corte >1(18).

Verificou-se que com o uso do CAGE houve uma inclusão maior de pessoas como "casos" do que com o uso dos critérios diagnósticos da CID-10. É importante ressaltar que os critérios da CID-10 se referem ao último ano, enquanto o CAGE se refere ao longo da vida. Isto pode explicar a freqüência maior encontrada com o rastreamento do CAGE. Outra explicação possível é do CAGE ter identificado pessoas que fazem uso de risco de álcool, mas por não terem tido danos, não foram identificadas pelos critérios de uso nocivo da CID-10. Desta forma, o CAGE abrangeria pessoas que se encontram em diferentes pontos do continuum da psicopatologia do beber, sendo um marcador clínico confiável para qualquer das condições seguintes: uso de risco, uso nocivo e dependência, ocorridas ao longo da vida.

Para ajudar na identificação do uso problemático de álcool entre pessoas portadoras de uma condição psiquiátrica, usuárias de serviços ambulatoriais, sugere-se o uso de instrumentos de rastreamento. O CAGE mostrou aqui ser um bom instrumento para esta finalidade, sendo rápido, de fácil entendimento e não intimidativo. Neste estudo, seu ponto de corte mais adequado foi >1. A fim de aumentar o poder diagnóstico do teste e a segurança dos seus resultados, recomenda-se a avaliação de seu desempenho na população estudada.

Recebido em: 29.8.2005

Aprovado em: 18.11.2005

  • 1. World Health Organization. Neuroscience of psychoactive substance use and dependence. Genebra: World Health Organization; 2004. 264p.
  • 2. Masur J, Monteiro MG. Validation of the "CAGE" alcoholism screening test in a Brazilian psychiatric inpatient hospital setting. Braz J Med Biol Res 1983; 16(3):215-8.
  • 3. Babor TF, Higgins-Biddle JC, Saunders JB, Monteiro MG. AUDIT: teste para identificação de problemas relacionados ao uso de álcool: roteiro para uso em atenção primária. Ribeirão Preto: PAI-PAD; 2003.
  • 4. Reinert DF, Allen JP. The Alcohol Use Disorders Identification Test (AUDIT): a review of recent research. Alcohol Clin Exp Res 2002; 26:272-9.
  • 5. Sokol RJ, Martier SS, Ager JW. The T-ACE questions: practical prenatal detection of risk-drinking. Am J Obstet Gynecol 1989; 160(4):863-70.
  • 6. Fabrri CE. Desenvolvimento e validação de instrumento para rastreamento do uso nocivo de álcool durante a gravidez (T-ACE). [dissertação]. Ribeirão Preto (SP): Faculdade de Medicina de Ribeirão Preto/USP; 2002.
  • 7. Aertgeerts B, Buntinx F, Kester A. The value of the CAGE in screening for alcohol abuse and alcohol dependence on general clinical populations: a diagnostic meta-analysis. J Clin Epidemiol 2004; 57:30-9.
  • 8. Cherpitel CJ. Gender, injury status and acculturation differences in performance of screening instruments for alcohol problems among US Hispanic emergency department patients. Drug Alcohol Depend 1999; 53:147-57.
  • 9. Cherpitel CJ, Borges G. Screening instruments for alcohol problems: a comparison of cut points between Mexican American and Mexican patients in the emergency room. Subst Use Misuse 2000; 35(10):1419-30.
  • 10. Organização Mundial da Saúde. Classificação de Transtornos Mentais e de Comportamento da CID-10: critérios diagnósticos para pesquisa. Porto Alegre: Artes Médicas, 1998.
  • 11. Paz Filho GJ, Sato LJ, Tuleski MJ, Takata SY, Ranzi CCC, Saruhashi SY, Spadoni B. Emprego do questionário CAGE para detecção de transtornos de uso de álcool em pronto-socorro. Rev Assoc Med Bras 2001; 47(1):65-9.
  • 12. Santos MB, Gailit Jr A, Sato MT, Lawryniuk M, Sater JB, Czpak JC. Aplicação do método "CAGE" para estudo da prevalência e detecção precoce do alcoolismo em enfermarias gerais e especializadas de um hospital universitário. Rev Bras Educ Med 1994; 18(1):28-34.
  • 13. Watson CG, Detra E, Fox KL, Ewing JW, Gearhart LP, Demotts JR. Comparative concurrent validities of five alcoholism measures in a psychiatric hospital. J Clin Psychol 1995; 51(5):676-84.
  • 14. Cherpitel CJ. Analysis of cut points for screening instruments for alcohol problems in the emergency room. J Stud Alcohol 1995; 56(6):695-700.
  • 15. Bradley KA, Boyd-Wickiser J, Powell SH, Burman ML. Alcohol screening questionnaires in women: a critical review. JAMA 1998; 280(2):166-71.
  • 16. Jones TV, Lindsey BA, Yount P, Soltys R, Farani-Enayat B. Alcoholism screening questionnaires: are they valid in elderly medical outpatients? J Gen Intern Med 1993; 8(12):674-8.
  • 17. Bush B, Shaw S, Cleary P, Delbanco TL, Aronson MD. Screening for alcohol abuse using the CAGE questionnaire. Am J Med 1987; 82(2):231-5.
  • 18. Castells MA, Furlanetto LM. Validity of the CAGE questionnaire for screening alcohol-dependent inpatients on hospital wards. Rev Bras Psiquiatr 2005; 27(1):54-7.

Datas de Publicação

  • Publicação nesta coleção
    23 Fev 2006
  • Data do Fascículo
    Dez 2005

Histórico

  • Aceito
    18 Nov 2005
  • Recebido
    29 Ago 2005
Escola de Enfermagem de Ribeirão Preto / Universidade de São Paulo Av. Bandeirantes, 3900, 14040-902 Ribeirão Preto SP Brazil, Tel.: +55 (16) 3315-3451 / 3315-4407 - Ribeirão Preto - SP - Brazil
E-mail: rlae@eerp.usp.br