Acessibilidade / Reportar erro

Versão brasileira da Escala de Avaliação da Cognição em Esquizofrenia (SCoRS-Br): validação em contextos clínicos sem informantes

Brazilian version of the Schizophrenia Cognition Rating Scale (SCoRS-Br): validation in clinical settings without informants

Resumos

OBJETIVO: A SCoRS é uma medida coprimária de avaliação da cognição na esquizofrenia, baseada em entrevista, relacionada à performance cognitiva e ao funcionamento no mundo real. Em sua versão original, envolve entrevistas com pacientes e informantes. O objetivo do presente trabalho foi buscar evidências de validade de construto convergente e de fidedignidade da versão brasileira da SCoRS (SCoRS-Br) em contextos sem disponibilidade de informantes qualificados. MÉTODO: Foram incluídos 49 pacientes com diagnóstico de esquizofrenia, segundo o DSM-IV. A validação de construto convergente foi realizada utilizando-se o teste R1 e o Miniexame do Estado Mental (MEEM) como instrumentos-padrão. Estimativas de correlação foram avaliadas pelo método de Pearson. Avaliou-se, ainda, a consistência interna da SCoRS. RESULTADOS: A correlação de Pearson entre os resultados da SCoRS sob a perspectiva do entrevistador e os resultados do teste R1 mostrou-se baixa, mas significativa. O coeficiente de Cronbach foi de 0,8829 para a SCoRS examinador e 0,8468 para a SCoRS paciente e o split-half foi de 0,811 e 0,806, respectivamente. CONCLUSÕES: Os resultados evidenciam a validade convergente e fidedignidade da SCoRS, mesmo empregada sem a utilização de informantes. Estudos são necessários para a investigação dos demais critérios de validação.

Esquizofrenia; alterações cognitivas; SCoRS; escala de avaliação


OBJECTIVE: The SCoRS is an interview-based co-primary measure of cognitive function in schizophrenia that is related to cognitive performance as well as to real-world functioning. Its original version involves interviews with patients and informants. The objective of this study was to seek evidence of convergent validity and reliability of the Brazilian version of SCoRS (SCoRS-Br) with patients in clinical settings without qualified informants. METHOD: Forty nine patients with schizophrenia (DSM-IV) were assessed with the SCoRS-Br two potential convergent validators: the R1 test and the Mini Mental State Evaluation (MMSE). Pearson correlations between the mean scores of the instruments were estimated. Internal consistence of the SCoRS-Br was also evaluated. RESULTS: Pearson correlation between the SCoRS-Br interviewer rating and the R1 test was low but significative. Cronbach's coefficients were 0.8829 for the interviewer rating and 0.8468 for the patient rating. Split-half were 0.811 and 0.806 respectively. CONCLUSIONS: The results showed the convergent validity and reliability of the SCoRS-Br even when used without informants. Other studies are required to investigate other validation criteria.

Schizophrenia; cognitive impairment; SCoRS; rating scales


ARTIGO ORIGINAL

Versão brasileira da Escala de Avaliação da Cognição em Esquizofrenia (SCoRS-Br) - Validação em contextos clínicos sem informantes

Brazilian version of the Schizophrenia Cognition Rating Scale (SCoRS-Br) - Validation in clinical settings without informants

Breno de Castro Ferreira JuniorI; Marilourdes do Amaral BarbosaII; Izabela Guimarães BarbosaI; Adaise BorgesII; Cláudia HaraIII; Fábio Lopes RochaI

IInstituto de Previdência dos Servidores do Estado de Minas Gerais (IPSEMG)

IIUniversidade Fundação Mineira de Educação e Cultura (FUMEC)

IIIFaculdade da Saúde e Ecologia Humana (FASEH)

Endereço para correspondência Endereço para correspondência: Breno de Castro Ferreira Junior Rua Domingos Vieira, 587, sala 1.106 30150-240 - Belo Horizonte, MG E-mail: brenoferreirajr@hotmail.com.br

RESUMO

OBJETIVO: A SCoRS é uma medida coprimária de avaliação da cognição na esquizofrenia, baseada em entrevista, relacionada à performance cognitiva e ao funcionamento no mundo real. Em sua versão original, envolve entrevistas com pacientes e informantes. O objetivo do presente trabalho foi buscar evidências de validade de construto convergente e de fidedignidade da versão brasileira da SCoRS (SCoRS-Br) em contextos sem disponibilidade de informantes qualificados.

MÉTODO: Foram incluídos 49 pacientes com diagnóstico de esquizofrenia, segundo o DSM-IV. A validação de construto convergente foi realizada utilizando-se o teste R1 e o Miniexame do Estado Mental (MEEM) como instrumentos-padrão. Estimativas de correlação foram avaliadas pelo método de Pearson. Avaliou-se, ainda, a consistência interna da SCoRS.

RESULTADOS: A correlação de Pearson entre os resultados da SCoRS sob a perspectiva do entrevistador e os resultados do teste R1 mostrou-se baixa, mas significativa. O coeficiente de Cronbach foi de 0,8829 para a SCoRS examinador e 0,8468 para a SCoRS paciente e o split-half foi de 0,811 e 0,806, respectivamente.

CONCLUSÕES: Os resultados evidenciam a validade convergente e fidedignidade da SCoRS, mesmo empregada sem a utilização de informantes. Estudos são necessários para a investigação dos demais critérios de validação.

Palavras-chave: Esquizofrenia, alterações cognitivas, SCoRS, escala de avaliação.

ABSTRACT

OBJECTIVE: The SCoRS is an interview-based co-primary measure of cognitive function in schizophrenia that is related to cognitive performance as well as to real-world functioning. Its original version involves interviews with patients and informants. The objective of this study was to seek evidence of convergent validity and reliability of the Brazilian version of SCoRS (SCoRS-Br) with patients in clinical settings without qualified informants.

METHOD: Forty nine patients with schizophrenia (DSM-IV) were assessed with the SCoRS-Br two potential convergent validators: the R1 test and the Mini Mental State Evaluation (MMSE). Pearson correlations between the mean scores of the instruments were estimated. Internal consistence of the SCoRS-Br was also evaluated.

RESULTS: Pearson correlation between the SCoRS-Br interviewer rating and the R1 test was low but significative. Cronbach's coefficients were 0.8829 for the interviewer rating and 0.8468 for the patient rating. Split-half were 0.811 and 0.806 respectively.

CONCLUSIONS: The results showed the convergent validity and reliability of the SCoRS-Br even when used without informants. Other studies are required to investigate other validation criteria.

Keywords: Schizophrenia, cognitive impairment, SCoRS, rating scales.

INTRODUÇÃO

As alterações cognitivas são consideradas características psicopatológicas inerentes à esquizofrenia, isto é, elas não são derivadas ou consequências de outros sintomas e não são resultantes de tratamentos com psicofármacos ou de hospitalizações. São evidentes durante todo o curso evolutivo da doença, inclusive no seu período prodrômico, e são identificáveis nos pais e irmãos saudáveis dos pacientes, porém com menor gravidade. As alterações cognitivas são consideradas preditores de mau funcionamento em longo prazo1. Vários estudos têm sido realizados sobre a ocorrência de déficits cognitivos específicos na esquizofrenia, suas ligações com disfunções de regiões cerebrais e certos circuitos neuronais, suas repercussões sobre a funcionalidade dos pacientes, além de possibilidades terapêuticas2-4. A importância da melhora da cognição em pacientes esquizofrênicos está associada à melhora potencial do desempenho escolar, profissional e social4-6.

Diversos testes neuropsicológicos são utilizados para avaliar a cognição em pacientes com esquizofrenia7-9. Em geral, são avaliações objetivas, extensas, destinadas ao emprego em situações de pesquisa. Mais recentemente, têm sido desenvolvidos testes específicos para a avaliação cognitiva de pacientes com esquizofrenia de aplicação mais simples e duração mais curta, por exemplo, a Brief Assessment of Cognition in Schizophrenia (BACS), já traduzida para o português e avaliada em nosso meio10. Entretanto, alguns autores questionam se os resultados desses testes objetivos seriam evidência suficiente para avaliação de melhora cognitiva em estudos clínicos11. Além disso, o funcionamento cognitivo cotidiano de pacientes poderia ser mais bem avaliado por instrumentos de desempenho padronizados de forma mais ecológica, tal como o de memória prospectiva Rivermead, ou por escalas de avaliação funcional12. Essas dificuldades podem ser mitigadas pelo desenvolvimento de medidas coprimárias que enfocam atividades diárias para a avaliação do desempenho cognitivo. É desejável que sejam avaliações de fácil administração, rápidas e que possam ser utilizadas pelo psiquiatra em sua rotina profissional.

A SCoRS é uma medida coprimária baseada nas atividades cotidianas do paciente com diagnóstico de esquizofrenia. É aplicada em entrevistas independentes com o paciente e com um informante. Há, ainda, uma avaliação do entrevistador que considera as avaliações do paciente e do informante. A avaliação pelo informante é considerada um dos pontos fortes da SCoRS13. Entretanto, no processo de validação desse instrumento em nosso meio, verificou-se que a disponibilidade de acompanhantes aptos a fornecerem informações era muito limitada. Dessa forma, o objetivo deste estudo foi realizar a validação convergente e fidedignidade da versão brasileira da SCoRS, para aplicação em contextos sem disponibilidade de informantes.

MÉTODO

Estudo transversal em que a versão traduzida da SCoRS, o teste R1 e o MEEM foram aplicados a pacientes com diagnóstico de esquizofrenia, segundo os critérios do DSM-IV.

Pacientes

Foram incluídos no estudo 51 pacientes com diagnóstico de esquizofrenia, segundo os critérios diagnósticos do DSM-IV. Os critérios de exclusão foram: pontuação no MEEM < 23 para alfabetizados e < 19 para indivíduos sem escolaridade; pacientes com sintomatologia psicótica clinicamente significativa que prejudicasse a interação com o examinador; história de traumatismo craniano e outras neuropatologias; e história de abuso ou dependência atual de álcool e/ou drogas. Dois pacientes não foram considerados na análise em virtude de dados incompletos. Assim, os resultados referem-se a 49 pacientes. A pesquisa foi desenvolvida no Serviço de Psiquiatria do Hospital Governador Israel Pinheiro (HGIP) do Instituto de Previdência dos Servidores do Estado de Minas Gerais (IPSEMG). O Serviço de Psiquiatria do HGIP do IPSEMG é estruturado para atendimento de pacientes nos três níveis básicos de atenção. No presente estudo, a maioria dos pacientes (30/49) estava em atendimento em nível primário (n = 19) ou em nível secundário (n = 11) de assistência. Todos os pacientes estavam em uso de antipsicóticos, sendo 42% em monoterapia, 13% em uso de pelo menos dois antipsicóticos e 44% em uso de antipsicóticos associados a estabilizadores de humor e/ou antidepressivos e/ou benzodiazepínicos. Após serem informados sobre os objetivos e procedimentos do estudo, os pacientes concordaram com a participação e assinaram o Termo de Consentimento Livre e Esclarecido. A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa do HGIP-IPSEMG (registro no CEP: 231/06; CAAE-0057.0.191.000-06) em setembro de 2006.

Instrumentos

SCoRS

A SCoRS foi desenvolvida para avaliar a atenção, memória, raciocínio e capacidade de resolver problemas, memória de trabalho, linguagem e habilidades motoras em pacientes com diagnóstico de esquizofrenia. É composta por 20 itens com pontuação de 0 a 4, sendo 0 ausência de alterações e 4 comprometimento máximo. A SCoRS é aplicada ao paciente e a um informante em entrevistas independentes. A avaliação do entrevistador leva em consideração as avaliações do paciente e do informante para cada um dos 20 itens. A administração completa da SCoRS gera 4 pontuações distintas: 1 = a avaliação global do paciente sobre suas dificuldades, 2 = a avaliação global do informante, 3 = a avaliação global do entrevistador, 4 = uma avaliação global, soma dos resultados de cada uma das três avaliações anteriores. No estudo original, a pessoa que mais regularmente mantinha contato com o paciente foi escolhida como informante. Todos os informantes eram membros do corpo clínico do Centro de Reabilitação do Hospital John Umstead13.

Versão brasileira da SCoRS

A adaptação da SCoRS foi baseada no método-padrão de tradução e retrotradução. A tradução para o português foi realizada por um dos autores (FLR, 2006) (Anexo Anexo ). A retrotradução foi realizada por professor de inglês, nascido nos EUA, bilíngue. Subsequentemente, essa versão em inglês foi comparada com o original pelo próprio autor da escala (Keefe, RSE) e aprovada. Em virtude da não disponibilidade de informantes qualificados, a SCoRS-Br foi aplicada apenas aos pacientes.

Teste R1

O teste R1 é uma avaliação não verbal da inteligência, o fator G da Teoria das Três Camadas da inteligência de Cattell-Horn-Carroll14. É constituído de 40 itens, apresentados em um caderno, com um item por página, o que evita a interferência de um item sobre o outro. Para cada item são oferecidas 6 a 8 alternativas como resposta. O resultado de respostas corretas é transformado em percentil, que é comparado ao nível de inteligência correspondente, referenciado pelo grau de escolaridade. A facilidade e a rapidez de aplicação e avaliação e o fácil reconhecimento da tarefa a ser realizada pelo cliente são as vantagens do teste e o motivo da escolha para sua utilização neste trabalho. O teste R1 foi validado para a população brasileira14. No presente estudo, o R1 foi empregado como teste-padrão para a validação convergente da SCoRS.

Miniexame do Estado Mental (MEEM)

O MEEM é um instrumento utilizado frequentemente por profissionais da área de saúde para rastreamento de déficit cognitivo15. Foi validado para a população brasileira, com ponto de corte 23/24 para o diagnóstico de demência16. Para pessoas sem escolaridade, o ponto de corte estabelecido foi 19/2016. No presente estudo, o MEEM foi utilizado para exclusão de pacientes e como instrumento para a validação da SCoRS.

Procedimentos

A versão traduzida da SCoRS e o MMEM foram aplicados a 49 pacientes com diagnóstico de esquizofrenia, segundo os critérios do DSM-IV. Ambos os testes foram aplicados por médico do segundo ano de residência em psiquiatria do IPSEMG, após treinamento no uso dos instrumentos. O teste R1 foi aplicado a 43 pacientes (seis pacientes não compareceram à entrevista) por acadêmica do último ano de formação em psicologia da Fundação Mineira de Educação e Cultura (FUMEC), após treinamento na aplicação do instrumento.

Análise estatística

Para análise da consistência interna da SCoRS-Br, foi estimado o coeficiente alfa de Cronbach, o coeficiente de Spearman-Brown e a comparação das duas metades da escala para os resultados dos pacientes e para os resultados do entrevistador. Foi realizada correlação de Pearson para avaliar a correlação entre os resultados da SCoRS-Br e o MEEM e entre os resultados do teste R1 e os da SCoRS-Br. Foi considerado o valor de p < 0,05 para significância estatística. As análises estatísticas foram realizadas utilizando o programa SPSS 11.0.

RESULTADOS

As características sociodemográficas dos participantes do estudo e as médias dos resultados dos testes realizados encontram-se na tabela 1.

Os resultados da análise de consistência interna da SCoRS-Br mostraram coeficientes alfa de Cronbach relacionados à soma total dos escores dos pacientes e do examinador de 0,8468 e 0,8829, respectivamente. Os coeficientes de Spearman-Brown para pacientes e examinador foram de 0,8072 e 0,8162, respectivamente. A comparação entre as duas metades da escala (split-half) para pacientes e examinador foram de 0,8061 e 0,8114, respectivamente.

A correlação da SCoRS-Br entrevistador com o R1 foi baixa, positiva e estatisticamente significativa. A SCoRS-Br paciente e o teste R1 apresentaram correlação baixa, positiva e não significativa. As correlações da SCoRS-Br entrevistador e SCoRS-Br paciente com o MEEM foram moderadas, negativas e significativas. A correlação entre os resultados da SCoRS-Br paciente com os resultados da SCoRS-Br entrevistador foi alta, positiva e significativa (Tabela 2).

DISCUSSÃO

A SCoRS é uma escala de avaliação cognitiva coprimária, baseada em entrevista, desenvolvida com a finalidade de refletir não apenas a performance cognitiva, mas também a capacidade funcional do paciente no seu cotidiano. Os resultados do estudo de Keefe et al.13 evidenciaram que o entrevistador, no caso de discrepância entre paciente e informante, valorizava mais a avaliação do informante que a do paciente na determinação do escore global. Entretanto, os próprios autores do estudo reconheceram que trabalharam com informantes privilegiados: a equipe da clínica de reabilitação onde os pacientes internos eram assistidos. Enfatizaram a necessidade de instrumentos baseados em entrevista que pudessem ser utilizados em contextos onde não houvesse acesso fácil a informantes13.

Nessa etapa do processo de validação da SCoRS em nosso meio, ficou clara essa necessidade, pois com frequência o informante potencial não era a pessoa de convivência mais próxima com o paciente, ou o paciente ia às consultas desacompanhado, ou o acompanhante apresentava dificuldade de compreensão e expressão. Além disso, no caso de pacientes internados, o esquema de rodízio da equipe de enfermagem não possibilitava uma visão mais abrangente do paciente. Dada a inexistência, até aquele momento, de instrumentos específicos, decidiu-se estudar o comportamento da SCoRS-Br em um contexto sem informantes qualificados.

A validade de construto foi avaliada utilizando-se a busca de evidência de validade de construto convergente entre a SCoRS-Br e o teste R1 e a SCoRS-Br e o MEEM. Também se avaliaram a consistência interna dos itens e a correlação entre os resultados do entrevistador e do paciente. A correlação da SCoRS-Br entrevistador com os resultados do R1 foi inversa, baixa, mas significativa, indicando que a percepção do entrevistador está associada à medida objetiva feita pelo instrumento de validação. Entretanto, a correlação SCoRS-Br paciente com o R1 foi baixa e não atingiu significância estatística, mostrando que a percepção do paciente sobre sua funcionalidade não se relaciona com a medida objetiva do instrumento de validação. Esses achados corroboram o estudo inicial, considerando as correlações entre a SCoRS e a BACS13. Encontrou-se, ainda, correlação moderada entre a SCoRS-Br e o MEEM, sugerindo que os fatores cognitivos avaliados pelo MEEM estão associados às alterações funcionais captadas pela SCoRS-Br. A ausência de correlações elevadas da SCoRS-Br com o R1 e com o MEEM está de acordo com os resultados de Keefe et al.13. Neste estudo, correlação mais forte com a pontuação global do entrevistador na SCoRS ocorreu com o funcionamento independente, medido pelo Independent Living Skills Inventory (ILSI), isto é, a correlação da SCoRS com o funcionamento no mundo real foi mais forte que a correlação com a performance cognitiva medida pela BACS13.

A significativa e elevada correlação entre a SCoRS-Br paciente e SCoRS-Br entrevistador indica que tanto o entrevistador quanto o paciente têm percepção semelhante sobre a funcionalidade do paciente. Esses dados diferem dos dados obtidos por Keefe et al. em 2006. Isso pode ser explicado pelas características do estudo original em que havia disponibilidade de informantes muito bem qualificados e pela tendência a valorizar mais a visão do informante que a do paciente no caso de discrepância. Na análise de consistência interna, os resultados encontrados para as três medidas realizadas indicaram boa consistência interna para a versão brasileira da SCoRS.

Entre as limitações do presente estudo, podem-se apontar a ausência de caracterização da amostra em relação à sintomatologia, ou seja, quanto à predominância de sintomas negativos ou positivos, e a ausência de avaliação da capacidade de insight dos pacientes. A caracterização da amostra permitiria melhor comparação dos resultados deste estudo com replicações. O comprometimento do insight pode contribuir para discrepâncias entre as avaliações dos pacientes e as avaliações de informantes e do avaliador. Esse aspecto não foi adequadamente estudado até o momento. Outras limitações foram o tamanho reduzido de amostra e o desenvolvimento do estudo em um centro único, o que dificulta a generalização dos resultados. Entretanto, trabalhou-se com critérios de inclusão amplos e foram incluídos pacientes dos três níveis de cuidados. Estudos mais abrangentes de validação da versão brasileira da SCoRS são necessários, incluindo o emprego da escala em sua modalidade inicial com informantes qualificados e a caracterização dos pacientes em relação à predominância de sintomas negativos e positivos e à capacidade de insight.

CONCLUSÃO

Os resultados obtidos sugerem que a SCoRS apresenta evidências de propriedades psicométricas no que diz respeito a sua validade de construto para a população estudada. Com o intuito de validar a SCoRS para a população brasileira, outros estudos, com amostra maior e que abordem outros critérios de validade e fidedignidade, fazem-se necessários.

Recebido em 26/7/2010

Aprovado em 25/10/2010

Anexo

Anexo - Clique para ampliar Anexo

  • 1. Milev P, Ho BC, Arndt S, Andreasen NC. Predictive values of neurocognition and negative symptoms on functional outcome in schizophrenia: a longitudinal first-episode study with 7-year follow-up. Am J Psychiatry. 2005;162(3):495-506.
  • 2. Bora E, Yucel M, Pantelis C. Cognitive functioning in schizophrenia, schizoaffective disorder and affective psychoses: meta-analytic study. Br J Psychiatry. 2009;195(6):475-82.
  • 3. Tamminga CA. The neurobiology of cognition in schizophrenia. J Clin Psychiatry. 2006;67(9):e11.
  • 4. Gray JA, Roth BL. Molecular targets for treating cognitive dysfunction in schizophrenia. Schizophr Bull. 2007;33(5):1100-19.
  • 5. Harvey PD, Patterson TL, Potter LS, Zhong K, Brecher M. Improvement in social competence with short-term atypical antipsychotic treatment: a randomized, double-blind comparison of quetiapine versus risperidone for social competence, social cognition, and neuropsychological functioning. Am J Psychiatry. 2006;163(11):1918-25.
  • 6. Heinrichs RW. Cognitive improvement in response to antipsychotic drugs: neurocognitive effects of antipsychotic medications in patients with chronic schizophrenia in the CATIE Trial. Arch Gen Psychiatry. 2007;64(6):631-2.
  • 7. Buchanan RW, Davis M, Goff D, Green MF, Keefe RS, Leon AC, et al. A summary of the FDA-NIMH-MATRICS workshop on clinical trial design for neurocognitive drugs for schizophrenia. Schizophr Bull. 2005;31(1):5-19.
  • 8. Zimmer M, Jou GI, Sebastiany CM, Guimarães ER, Boechat LC, Soares T, et al. Avaliação neuropsicológica na esquizofrenia: revisão sistemática. Rev Psiquiatr Rio Gd Sul. 2008;30(1).
  • 9. Ferreira Junior BC, Barbosa MA, Barbosa IG, Hara C, Rocha FL. Alterações cognitivas na esquizofrenia: atualização. Rev Psiquiatr Rio Gd Sul. 2010;32:57-63.
  • 10. Salgado JV, Carvalhaes CFR, Pires AM, Neves MCL, Cruz BF, Cardoso CS, et al. Sensitivity and applicability of the Brazilian version of the Brief Assessment of Cognition in Schizophrenia (BACS). Dement Neuropsychol. 2007;1(3):260-5.
  • 11. Ventura J, Cienfuegos A, Boxer O, Bilder R. Clinical global impression of cognition in schizophrenia (CGI-CogS): reliability and validity of a co-primary measure of cognition. Schizophr Res. 2008;106(1):59-69.
  • 12. Al-Uzri MM, Reveley MA, Owen L, Bruce J, Frost S, Mackintosh D, et al. Measuring memory impairment in community-based patients with schizophrenia. Case-control study. Br J Psychiatry. 2006;189:132-6.
  • 13. Keefe RS, Poe M, Walker TM, Kang JW, Harvey PD. The Schizophrenia Cognition Rating Scale: an interview-based assessment and its relationship to cognition, real-world functioning, and functional capacity. Am J Psychiatry. 2006;163(3):426-32.
  • 14. Oliveira R. Teste R-1 de inteligência não verbal. São Paulo: Editora Vetor; 1973.
  • 15. Folstein MF, Robins LN, Helzer JE. The Mini-Mental State Examination. Arch Gen Psychiatry. 1983;40(7):812.
  • 16. Almeida OP. Mini-exame do Estado Mental e o diagnóstico de demência no Brasil. Arq Neuropsiquiatr. 1998;56:605-12.

Anexo

  • Endereço para correspondência:
    Breno de Castro Ferreira Junior
    Rua Domingos Vieira, 587, sala 1.106
    30150-240 - Belo Horizonte, MG
    E-mail:
  • Datas de Publicação

    • Publicação nesta coleção
      01 Fev 2011
    • Data do Fascículo
      2010

    Histórico

    • Recebido
      26 Jul 2010
    • Aceito
      25 Out 2010
    Instituto de Psiquiatria da Universidade Federal do Rio de Janeiro Av. Venceslau Brás, 71 Fundos, 22295-140 Rio de Janeiro - RJ Brasil, Tel./Fax: (55 21) 3873-5510 - Rio de Janeiro - RJ - Brazil
    E-mail: editora@ipub.ufrj.br