Abstract
The reliability and validity of a Portuguese version of the Young Mania Rating Scale were evaluated. The original scale was translated into and adapted to Portuguese by the authors. Definitions of clinical manifestations, a semi-structured anchored interview and more explicit rating criteria were added to the scale. Fifty-five adult subjects, aged 18 to 60 years, with a diagnosis of Current Manic Episode according to DSM-III-R criteria were assessed using the Young Mania Rating Scale as well as the Brief Psychiatric Rating Scale in two sessions held at intervals from 7 to 10 days. Good reliability ratings were obtained, with intra-class correlation coefficient of 0.97 for total scores, and levels of agreement above 0.80 (P < 0.001) for all individual items. Internal consistency analysis resulted in an alpha = 0.67 for the scale as a whole, and an alpha = 0.72 for each standardized item (P < 0.001). For the concurrent validity, a correlation of 0.78 was obtained by the Pearson coefficient between the total scores of the Young Mania Rating Scale and Brief Psychiatric Rating Scale. The results are similar to those reported for the English version, indicating that the Portuguese version of the scale constitutes a reliable and valid instrument for the assessment of manic patients.
Mania; Rating scales; Reliability; Validity; Brief Psychiatric Rating Scale
Braz J Med Biol Res, September 2005, Volume 38(9) 1429-1439
Reliability and validity of a Portuguese version of the Young Mania Rating Scale
J.A.A. Vilela, J.A.S. Crippa, C.M. Del-Ben and S.R. Loureiro
Departamento de Neurologia, Psiquiatria e Psicologia Médica, Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo, Ribeirão Preto, SP, Brasil
References
Acknowledgments
Correspondence and Footnotes
Acknowledgments
Abstract
The reliability and validity of a Portuguese version of the Young Mania Rating Scale were evaluated. The original scale was translated into and adapted to Portuguese by the authors. Definitions of clinical manifestations, a semi-structured anchored interview and more explicit rating criteria were added to the scale. Fifty-five adult subjects, aged 18 to 60 years, with a diagnosis of Current Manic Episode according to DSM-III-R criteria were assessed using the Young Mania Rating Scale as well as the Brief Psychiatric Rating Scale in two sessions held at intervals from 7 to 10 days. Good reliability ratings were obtained, with intra-class correlation coefficient of 0.97 for total scores, and levels of agreement above 0.80 (P < 0.001) for all individual items. Internal consistency analysis resulted in an a = 0.67 for the scale as a whole, and an a = 0.72 for each standardized item (P < 0.001). For the concurrent validity, a correlation of 0.78 was obtained by the Pearson coefficient between the total scores of the Young Mania Rating Scale and Brief Psychiatric Rating Scale. The results are similar to those reported for the English version, indicating that the Portuguese version of the scale constitutes a reliable and valid instrument for the assessment of manic patients.
Key words: Mania, Rating scales, Reliability, Validity, Brief Psychiatric Rating Scale
Introduction
Several mania rating scales have been developed and tested over the last three decades (1-8). The most frequently used one in controlled studies is the Young Mania Rating Scale (YMRS), because of its high reliability and validity coefficients (5). As a result, the YMRS is often used as a reference for the concurrent validation of other instruments (7-13).
In spite of this, the YMRS has some limitations, such as the absence of precise definitions of the items evaluated. Without operational definitions, each evaluator uses his/her previous experience with psychopathology as a reference point to define the item evaluated, impairing the reliability between evaluators. Furthermore, there is no systematic procedure for data collection with the YMRS. Structured interviews or interview guidelines may be particularly useful for individual evaluators and/or evaluators without extensive training in the recognition and conceptualization of psychopathology (14).
Although most of the controlled studies with manic patients use the YMRS, there are several studies that do not utilize a specific scale for mania or associate a standardized instrument with another one for the rating of severity of symptoms, such as the Brief Psychiatric Rating Scale (BPRS) (15) and the Clinical Global Impression (16). This suggests that mania rating scales are not as good as the scales developed for other psychiatric disorders (5,17,18) and highlights the need for studies of the psychometric qualities of available mania scales, as well as for the development of better instruments.
The importance of this work becomes clear when one considers that Bipolar Disorder is one of the most prevalent and disabling mental disorders (17), and new drug development requires sensitive and reliable instruments. In particular, a systematically validated instrument for the assessment of the severity of manic symptoms is not available in Portuguese-speaking countries. As a consequence, the purpose of the present study was to translate the English version of YMRS into Portuguese and to assess the reliability and validity of the Portuguese version.
Subjects and Methods
Translation and adaptation of the Young Mania Rating Scale
Three researchers independently translated the YMRS into Portuguese from its original English version and the different versions were discussed and compared. A final version was obtained, back translated and compared to the original scale in English. The conclusion was that there were no relevant differences in the content of the two versions of the scale.
Some modifications were made in order to adapt the instrument for systematic application based on operational definitions. A glossary of definitions for identifying the manifestations observed was introduced to improve precision in their observation and reporting. Each item of the scale was defined according to signs and symptoms described by Kaplan and Sadock (19) and presented in the Diagnostic and Statistical Manual of Mental Disorders, 4th edition (DSM-IV) (20).
To facilitate and systematize the application of the rating scale, a semi-structured interview outline was formulated with guidelines for questions. These were based on questions used for the assessment of other instruments already standardized for the Portuguese language (21,22). The aim was to provide elements that would allow the assessment of the severity of each item of the scale at the end of the interview.
An introduction containing explicit comments on the methodology used in the interview and instructions on how to codify the scale were developed to provide information about the codification procedure.
Finally, changes were made in the description of operational definitions of the levels of severity to better clarify the baseline criteria for distinguishing one degree from the other.
The Portuguese version of the Young Mania Rating Scale was named "Escala de Avaliação de Mania" (EAM) and its final version is presented in Appendix 1 Appendix 1 Appendix .
To print this appendix download the pdf file. (Do not attempt to print this appendix from the internet)
Escala de Avaliação de Mania - EAM
Roteiro de entrevista para preenchimento da EAM
Instruções
A entrevista de avaliação para preenchimento da EAM é, a priori, não estruturada. As perguntas descritas aqui são APENAS um roteiro para que, na avaliação do paciente maníaco, nenhum dos itens da EAM deixe de ser avaliado. Portanto, o avaliador tem liberdade de realizar outras perguntas que julgar necessárias para avaliação de um determinado item, ou então, omitir outras, se o paciente (ou a observação direta) já tiverem oferecido informações sobre o item a que elas se referem.
As perguntas em parênteses devem ser feitas somente para complementar informações, podendo ser omitidas se o avaliador as julgar desnecessárias para a avaliação do item em questão.
O entrevistador deve julgar as condições do paciente no momento da entrevista, a partir do seu relato, mas privilegiando a observação direta.
Antes de iniciar a entrevista, deve-se observar no prontuário do paciente dados referentes ao seu nome, idade, endereço de moradia, data e hora de entrada no serviço, bem como dados referentes a suas condições sócio-culturais. Além disso, considerar relatos referentes a insônia, comportamento agressivo, agitação, irritabilidade e comportamento sexual inadequado nas últimas 48 h. Essas informações são importantes para avaliação de itens como conteúdo do pensamento (neste caso sempre considerar a condição sócio-cultural do paciente), irritabilidade, atividade psicomotora e interesse sexual, quando o paciente nega alterações. Nesses casos, confrontar gentilmente o paciente e observar suas respostas. Lembrar-se, contudo, que SEMPRE deve ser privilegiada a resposta do paciente e a observação direta.
A escala deve ser pontuada somente após o término da entrevista, e não no decorrer dela. Não é necessário que o paciente tenha todos os itens descritos numa determinada chave de gradação, mas apenas um, o que basta para que esta chave seja marcada. Considerar a alteração que permeia a maior parte da entrevista.
Entrevista
Itens e perguntas-guia
Qual o seu nome completo? E sua idade? Onde você mora? Com quem você mora? Está trabalhando atualmente? (Já trabalhou anteriormente? Em quê?)
11. Insight
Quanto tempo faz que você está aqui? Conte-me por que motivo você foi internado. Quando isso começou? O que aconteceu depois? O seu comportamento [jeito de agir ou de ser] tem sido diferente ultimamente? (Como?) (Você está doente? Quais são os sintomas da sua doença? Tem algum problema na cabeça? Você precisa de tratamento? Precisa tomar remédios?) [Confrontar se necessário]
04. Sono
Ultimamente, você tem sentido dificuldade para dormir? Quantas horas à noite você tem dormido? Quantas horas você normalmente costuma dormir? (Quantas horas a menos você tem dormido?) Ultimamente, você precisa de menos horas de sono para se sentir descansado e bem-disposto? [Confrontar se necessário]
05. Irritabilidade
Nos últimos dias você está impaciente ou irritável com as outras pessoas? (As pessoas tem deixado você nervoso?) Você está tão irritado [ou nervoso] que começa a brigar com as pessoas ou a gritar com elas? (Conseguiu manter o controle? Tolerou as provocações? Chegou a agredir alguém ou a quebrar objetos?) [OBSERVAR e confrontar se necessário]
02. Atividade psicomotora
Ultimamente, você tem se sentido mais disposto ou animado que o habitual? Você está se sentindo com muita energia? Sente-se inquieto ou agitado? Você sente vontade de fazer várias coisas ao mesmo tempo? [OBSERVAR e confrontar se necessário]
03. Interesse sexual
Você tem pensado muito em sexo? Tem tido algum tipo de comportamento sexual que não era habitual antes, ou que tem causado problemas com as outras pessoas? (Você tem estado muito "paquerador"? Alguém reclamou de algo que você tenha feito, neste sentido? Alguém reclamou do seu comportamento sexual?) [OBSERVAR e confrontar se necessário]
06. Fala
Ultimamente, você está mais falante que o normal? As pessoas falam que você está muito falante ou mais falante que o habitual? (As pessoas têm dificuldade de entender ou interromper você? As pessoas têm dificuldades em conversar com você?) [OBSERVAR]
08. Conteúdo do pensamento
Ultimamente, você tem tido pensamentos diferentes ou estranhos, ou idéias ou planos que antes não passavam pela sua cabeça? Quais seus planos para o futuro? (O que você tem vontade de fazer?) Nos últimos dias você tem se sentido com algum talento ou habilidade que a maioria das pessoas não tem? (Como você sabe disso?) Você acha que as pessoas têm inveja de você? Você acredita que tem alguma coisa importante para fazer no mundo? Você se considera famoso? Você tem alguma relação especial com alguém importante ou famoso? Você tem a impressão de que as outras pessoas estão falando ou rindo de você? (De que forma você percebe isso?) Você acha que tem alguém com más intenções contra você ou se esforçando para lhe causar problemas? (Quem? Por quê? Como você sabe disso?)
08. Conteúdo do pensamento
Você acredita que alguém ou alguma coisa fora de você esteja controlando seus pensamentos ou suas ações contra sua vontade? Você tem a impressão de que o rádio ou a televisão mandam mensagens para você? Você sente que alguma coisa incomum está acontecendo ou para acontecer? Você sente que tem alguma coisa incomum acontecendo no seu corpo ou cabeça?
01. Humor elevado
Ultimamente, como você se sente? Como tem estado o seu humor (alegre, triste, irritável?) (Se deprimido: Você acredita que pode melhorar?) Como este sentimento tem afetado o seu dia-a-dia? (Você está mais alegre [confiante ou otimista] que o habitual? Ultimamente, você está tão bem ou alegre, que as outras pessoas acham que você não está no seu normal? Você está tão alegre que isto lhe trouxe problemas?) [OBSERVAR]
Encerramento: Estas eram as perguntas que eu precisava fazer. Tem alguma que você acha importante dizer, que eu não perguntei, ou alguma coisa que gostaria de perguntar?
Obs.: Os itens 07, 09 e 10 da EAM são preenchidos exclusivamente a partir da observação direta.
Item - definição
Graus
01. Humor e afeto elevados
Este item compreende uma sensação difusa e prolongada,
subjetivamente experimentada e relatada pelo indivíduo,
(0) Ausência de elevação do humor ou afeto
(1) Humor ou afeto discreta ou possivelmente aumentados, quando questionado
caracterizada por sensação de bem-estar, alegria, otimismo,
(2) Relato subjetivo de elevação clara do humor; mostra-se otimista, auto-
confiança e ânimo. Pode haver um afeto expansivo, ou seja,
confiante, alegre; afeto apropriado ao conteúdo do pensamento
uma expressão dos sentimentos exagerada ou sem limites,
(3) Afeto elevado ou inapropriado ao conteúdo do pensamento; jocoso
associada a intensa relação com sentimentos de grandeza
(4) Eufórico; risos inadequados, cantando
(euforia). O humor pode ou não ser congruente ao conteúdo
(X) Não avaliado
do pensamento.
02. Atividade motora - energia aumentada
Este item compreende a psicomotricidade - e expressão
corporal - apresentada pelo paciente, incluindo a sua
(0) Ausente
(1) Relato subjetivo de aumento da energia ou atividade motora
capacidade em controlá-la, variando desde um grau de
normalidade, até um estado de agitação, com atividade
(2) Apresenta-se animado ou com gestos aumentados
(3) Energia excessiva; às vezes hiperativo; inquieto (mas pode ser acalmado)
motora sem finalidade, não influenciada por estímulos
(4) Excitação motora; hiperatividade contínua (não pode ser acalmado)
externos. O item compreende ainda o relato subjetivo
(X) Não avaliado
do paciente, quanto à sensação de energia, ou seja,
capacidade de produzir e agir.
03. Interesse sexual
Este item compreende idéias e/ou impulsos persistentes
(0) Normal; sem aumento
relacionados a questões sexuais, incluindo a capacidade
(1) Discreta ou possivelmente aumentado
do paciente em controlá-los. O interesse sexual pode
(2) Descreve aumento subjetivo, quando questionado
restringir-se a pensamentos e desejos não concretizados,
(3) Conteúdo sexual espontâneo; discurso centrado em questões sexuais; auto-
em geral verbalizados apenas após solicitação, podendo
relato de hipersexualidade
chegar até a um comportamento sexual frenético e
(4) Relato confirmado ou observação direta de comportamento explicitamente
desenfreado, sem qualquer controle ou crítica quanto
sexualizado, pelo entrevistador ou outras pessoas
a riscos e normas morais.
(X) Não avaliado
04. Sono
Este item inclui a redução ou falta da capacidade de dormir,
(0) Não relata diminuição do sono
e/ou a redução ou falta de necessidade de dormir, para
(1) Dorme menos que a quantidade normal, cerca de 1 hora a menos do
sentir-se bem-disposto e ativo.
que o seu habitual
(2) Dorme menos que a quantidade normal, mais que 1 hora a menos do
que o seu habitual
(3) Relata diminuição da necessidade de sono
(4) Nega necessidade de sono
(X) Não avaliado
05. Irritabilidade
Este item revela a predisposição afetiva para sentimentos/
(0) Ausente
emoções como raiva ou mau-humor, apresentados pelo
(2) Subjetivamente aumentada
paciente frente a estímulos externos. Inclui baixo-limiar à
(4) Irritável em alguns momentos durante a entrevista; episódios recentes
frustração, com reações de ira exagerada, podendo chegar
(nas últimas 24 horas) de ira ou irritação na enfermaria
a um estado constante de comportamento desafiador,
(6) Irritável durante a maior parte da entrevista; ríspido e lacônico o tempo todo
querelante e hostil.
(8) Hostil; não cooperativo; entrevista impossível
(X) Não avaliado
06. Fala (velocidade e quantidade)
Este item compreende a velocidade e quantidade do discurso
(0) Sem aumento
verbal apresentado pelo paciente. Inclui sua capacidade de
(2) Percebe-se mais falante do que o seu habitual
percebê-lo e controlá-lo, por exemplo, frente a solicitações
(4) Aumento da velocidade ou quantidade da fala em alguns momentos;
para que permaneça em silêncio ou permita que o
verborréico, às vezes (com solicitação, consegue-se interromper a fala)
entrevistador fale.
(6) Quantidade e velocidade constantemente aumentadas; dificuldade para ser
interrompido (não atende a solicitações; fala junto com o entrevistador)
(8) Fala pressionada, ininterruptível, contínua (ignora a solicitação do
entrevistador)
(X) Não avaliado
07. Linguagem - Distúrbio do pensamento
Este item refere-se a alterações da forma do pensamento,
avaliado pelas construções verbais emitidas pelo paciente.
O pensamento pode estar mais ou menos desorganizado,
de acordo com a gravidade das alterações formais do
pensamento, descritas a seguir:
(0) Sem alterações
(1) Circunstancial; pensamentos rápidos
(2) Perde objetivos do pensamento; muda de assuntos freqüentemente; pensamentos muito acelerados
(3) Fuga de idéias; tangencialidade; dificuldade para acompanhar o pensamento; ecolalia consonante
(4) Incoerência; comunicação impossível
(X) Não avaliado
· Circunstancialidade: fala indireta que demora para
atingir o ponto desejado, mas eventualmente vai desde
o ponto de origem até o objetivo final, a despeito da
superinclusão de detalhes;
· Tangencialidade: incapacidade para manter
associações do pensamento dirigidas ao objetivo -
o paciente nunca chega do ponto inicial ao objetivo
final desejado;
· Fuga de idéias: verbalizações rápidas e contínuas,
ou jogos de palavras que produzem uma constante
mudança de uma idéia para outra; as idéias tendem
a estar conectadas e, mesmo em formas menos graves,
podem ser difíceis de ser acompanhadas pelo ouvinte;
· Ecolalia consonante: repetição automática de palavras
ou frases, com entonação e forma que produzem efeito
sonoro de rima;
· Incoerência: fala ou pensamento essencialmente
incompreensíveis aos outros, porque as palavras ou
frases são reunidas sem uma conexão com lógica
e significado.
08. Conteúdo
Este item compreende idéias e crenças apresentadas pelo
paciente, variando, de acordo com a intensidade, de idéias
novas e/ou incomuns ao paciente, ideação supervalorizada
(ou seja, crença falsa, intensamente arraigada, porém
susceptível à argumentação racional), a delírios (crenças
falsas, baseadas em inferências incorretas sobre a realidade,
inconsistentes com a inteligência e antecedentes culturais do
paciente, e que não podem ser corrigidas pela argumentação).
Conteúdos comumente encontrados no paciente maníaco, incluem:
(0) Normal
(2) Novos interesses e planos compatíveis com a condição sócio-cultural do
paciente, mas questionáveis
(4) Projetos especiais totalmente incompatíveis com a condição sócio-econômica do paciente; hiper-religioso
(6) Idéias supervalorizadas
(8) Delírios
(X) Não avaliado
· Idéias místicas: de conteúdo religioso;
· Idéias paranóides: crença de estar sendo molestado ou
perseguido;
· Idéias de grandeza: concepção exagerada da
própria importância, poder ou identidade, incluindo posses
materiais, qualidades incomuns e relacionamentos especiais
com personalidades famosas ou entidades místicas;
· Idéias de referência: crença de que o comportamento dos
outros tem relação consigo próprio ou de que eventos, objetos
ou outras pessoas possuem um significado particular e incomum
para si.
09. Comportamento disruptivo agressivo
Este item compreende a atitude e as respostas do paciente
ao entrevistador e à situação da entrevista. O paciente pode
apresentar-se desconfiado ou irônico e sarcástico, mas ainda
assim respondendo aos questionamentos, ou então não
cooperativo e francamente agressivo, inviabilizando a entrevista.
(0) Ausente, cooperativo
(2) Sarcástico; barulhento, às vezes, desconfiado
(4) Ameaça o entrevistador; gritando; entrevista dificultada
(6) Agressivo; destrutivo; entrevista impossível
(X) Não avaliado
10. Aparência
Este item compreende a apresentação física do paciente,
incluindo aspectos de higiene, asseio e modo de vestir-se.
(0) Arrumado e vestido apropriadamente
(1) Descuidado minimamente; adornos ou roupas minimamente inadequados ou exagerados
(2) Precariamente asseado; despenteado moderadamente; vestido com exagero
(3) Desgrenhado; vestido parcialmente; maquiagem extravagante
(4) Completamente descuidado; com muitos adornos e adereços; roupas bizarras
(X) Não avaliado
11. Insight (discernimento)
Este item refere-se ao grau de consciência e compreensão do
paciente quanto ao fato de estar doente. Varia de um entendimento
adequado (afetivo e intelectual) quanto à presença da doença,
passando por concordância apenas frente à argumentação,
chegando a uma negação total de sua enfermidade, referindo
estar em seu comportamento normal e não necessitando de
qualquer tratamento.
(0) Insight presente: espontaneamente refere estar doente e concorda com a necessidade de tratamento
(1) Insight duvidoso: com argumentação, admite possível doença e necessidade
de tratamento
(2) Insight prejudicado: espontaneamente admite alteração comportamental, mas não a relaciona com a doença, ou discorda da necessidade de tratamento
(3) Insight ausente: com argumentação, admite de forma vaga alteração comportamental, mas não a relaciona com a doença e discorda da necessidade de tratamento
(4) Insight ausente: nega a doença, qualquer alteração comportamental e necessidade de tratamento
(X) Não avaliado
Subjects
Fifty-five patients (31 females and 24 males) aged 18 to 60 years (mean ± SD: 32.2 ± 10.9) took part in the study. The diagnosis of Bipolar I Disorder, current manic episode, was confirmed using the Portuguese version (21) of SCID for DSM-III-R (23). Patients were hospitalized in the psychiatric unit of the University Hospital, Faculty of Medicine of Ribeirão Preto and/or in the Psychiatric Hospital Santa Tereza.
The experimental protocol was approved by the Hospital Ethics Committee and each patient plus one of his/her relatives signed an informed consent form.
Evaluators
Seven psychiatrists took turns in different rating pairs. Training started with joint reading of the instrument, followed by explanation and discussion about the recording protocol and the list of operational definitions of the manifestations to be observed. Then, for training purposes, interviews with non-subject manic patients were recorded on videotape. The group of evaluators watched the recorded interviews and each one rated the patients independently. For each interview, the scores of the individual items of the scale were compared and the differences between evaluators were identified and discussed. This procedure was repeated until the evaluators reached a minimal agreement of 70% on individual items of the scale in three consecutive and independent ratings.
Finally, individual ratings with the EAM were performed. They consisted of a live interview with a manic patient held by one of the evaluators and observed by one of the authors of this study, followed by calculation of the agreement index.
Data collection
During the initial 48 h of hospitalization, the patients who fulfilled the inclusion criteria were rated with the EAM and the BPRS - Bech's version (24) translated and validated into Portuguese (25). In this version of the BPRS, items are rated within 5 levels of severity (0 to 4). The interview for grading the EAM and the BPRS, which lasted 15 to 30 min, was performed by one of the evaluators and observed by another. Soon after, each participating evaluator independently completed the scales. Evaluators were instructed not to exchange information until the end of the study.
Statistical analysis
Data were analyzed statistically with the SPSS for Windows software, version 6 (SPSS Incorporation, 1989-1993). The inter-rater reliability coefficient for individual and total scores of the EAM was calculated using the intra-class correlation coefficient (26), which is considered to be the most appropriate measure to assess reliability between evaluators (27).
Internal consistency was assessed by Cronbach's a. The Pearson correlation coefficient was employed to evaluate the concurrent validity of individual and total scores of the EAM and the BPRS. Wilcoxon's proof was used to assess the EAM sensitivity to alterations in the severity of symptoms in the same individual between the first and second rating (differences observed after 7 to 10 days). The Pearson moment-product correlation coefficient r was employed to determine the concurrent validity of the EAM with the BPRS. A correlation was taken to be significant at the level of P < 0.05.
Results
Ninety-three paired ratings were analyzed to determine the EAM inter-rater reliability indices. They resulted in 186 completed protocol sets, 106 from the first evaluation and 80 from the second.
Table 1 shows the values of the intra-class correlation coefficient for the individual items and for the total score of the EAM. Levels of agreement above 0.80 (P < 0.001) were obtained for all the individual items and for the final scores in the two evaluations. In the second rating, the agreement indices were slightly better than the first rating for the total score as well as for individual items, except for items 1 (Elevated mood), 3 (Sexual interest), 6 (Speed and amount of speech), and 10 (Appearance).
Cronbach's a was calculated using analysis of variance applied to the eleven items of the scale for the 55 subjects for internal analysis of consistency. From the resulting co-variance matrix, an a = 0.67 was obtained for the scale as a whole and an a = 0.72 for each standardized item (P < 0.001). Most of the items correlated well with one another as well as with the total score, so that their removal would reduce the internal consistency of the instrument. However, this does not apply to three of the items - thought content, irritability and insight - which in this order were responsible for the progressive decrease of internal consistency. If only the thought content item were removed, Cronbach's a would be equal to 0.72 and a for standardized items would be equal to 0.74. If two items - thought content and irritability - were removed, there would be a = 0.73 for the scale and a = 0.74 for standardized items. Finally, if the three items - thought content, irritability and insight - were removed, there would be a = 0.76 for the scale and a = 0.76 for the standardized items.
To determine the concurrent validity, the correlation between the individual items and the total score of the EAM with the individual items and the total score of BPRS applied to the 55 subjects was calculated. To this end, bivariate correlation measurements between the two instruments were made using Pearson's moment-product correlation coefficient r. All the individual EAM items presented significant correlation at the level of P < 0.05 with at least one BPRS item. Item number 6 - Speech (speed and amount) was the EAM item which correlated more often with most of the BPRS items (11 items), while item 3 (Sexual interest) and item 4 (Sleep) correlated with only three BPRS items. As to the correlation of the BPRS items, it was observed that item 2 - Psychic anxiety, item 13 - Psychomotor retardation and item 16 - Blunted or inappropriate affect - did not significantly correlate with any EAM item.
BPRS is a scale designed to evaluate psychotic patients, mostly schizophrenics. However, five of its items measure severity of symptoms frequently seen in manic patients. In the present study, these items presented a high correlation with six EAM items, as shown in Table 2.
All the individual EAM items presented a significant correlation (P < 0.05) with the BPRS total score, except for item 4 (Sleep) and item 11 (Insight). The same happened with the BPRS individual items as related to the EAM total score, except for item 2 (Psychic anxiety), item 5 (Self-depreciation and guilt feelings), item 6 (Somatic anxiety), item 9 (Depressed mood), item 13 (Psychomotor retardation), and item 16 (Blunted or inappropriate affect). There was a high correlation between the two scales (r = 0.78; P = 0.0001) with respect to the total scores.
Inter-rater agreement through the "Escala de Avaliação de Mania" (EAM) intra-class correlation coefficient (ICC).
Pearson's correlation coefficient (r) between "Escala de Avaliação de Mania" (EAM) items and specific Brief Psychiatric Rating Scale (BPRS) items related to manic symptoms (P < 0.0001).
Discussion
The overall results obtained in the present study show better reliability levels than those obtained in the original study (5). This improvement is likely to be due to the adaptations of the rating protocol, such as adding the glossary of operational definitions describing the terminology of the scale more clearly and allowing more precise discrimination between the severity levels, making them more compatible with current concepts of mania. Moreover, the structured interview with guideline questions standardized the way information was obtained, minimizing the variability of interpretation among the different evaluators. Similar results have been reported by Williams with Hamilton's Depression Scale (28), by Lindström et al. (29) with the Positive and Negative Syndrome Scale and by Crippa et al. (22) with the BPRS. In the current study we could confirm that more structured instruments increase agreement levels, because even though most of the evaluators had little clinical experience, good reliability indices were achieved.
The validity indices achieved in the present study indicate that the EAM can measure severity levels of mania. The present values of the correlation indices between individual items and total scores are similar to those reported in previous studies on the psychometric qualities of mania rating instruments (1-5,8).
The lack of a mania rating instrument validated in Portuguese for standard comparisons limits the present analysis of the concurrent validity of the EAM. Nevertheless, good correlation indices between EAM and BPRS items were obtained, particularly those more specifically pertinent to mania symptoms.
From a theoretical point of view, five BPRS items related to the manic symptoms described by DSM-IV (20) and ICD-10 (30) were identified, presenting a significant correlation with the scale total score. Considering these five items as a BPRS subscale, a strong correlation was found between the EAM individual items and the total score, in contrast to the other BPRS items, indicating the EAM specificity for rating manic symptoms. The correlation coefficient between the EAM total score and the BPRS total score (r = 0.78) was similar to the correlation indices reported with the BMSRS (1), YMRS (5) and CARS-M (8).
In the present study, changes to the YMRS (5) were made in order to minimize the shortcomings of the original scale, such as the absence of operational definition of the evaluated items and of a systematic procedure to collect data. The results discussed above show that this aim was achieved without changing the rating procedure, damaging the structural coherence of the instrument or adding time for its administration. Therefore, the EAM structure specifically takes into account the range of behavioral manifestations of the manic episode, using a relatively streamlined rating procedure.
Since this sample had only patients with severe mania, it was not possible to determine whether the EAM applies to hypomania or to manic patients with either mild or moderate symptoms. In the same way, it was not possible to establish whether the instrument can distinguish mania from other psychiatric disorders, particularly schizophrenia and other psychotic disorders.
Because the study was conducted without specifying the type of treatment or its duration, it became difficult to assess systematically the evolution of symptoms or to proceed to the longitudinal follow-up of the patient-subjects for a longer period of time. Thus, it was not possible to establish a cut-off EAM criterion predictive of either discharge or change in treatment modality.
EAM is the first instrument intended specifically for manic patients that has been adapted to the Portuguese language and subsequently validated by empirically studying its psychometric properties. The instrument shows high reliability and validity indices comparable to those previously reported with the use of similar instruments in the English language (1-8,10,13,31-33). The EAM is an instrument that can be easily applied and requires little training for its correct use. The use of a semi-structured interview with guideline questions together with detailed operational definitions seems to have improved the instrument's reliability. As a result, the EAM may be used for assessing the severity of manic symptoms as well as to measure the efficacy of psychological and/or pharmacological treatment.
The authors are very grateful to Prof. Frederico Guilherme Graeff for his comments and suggestions in the revision of the manuscript, and to Mr. Dennis Farqharson for revising the English text.
Correspondence and Footnotes
Address for correspondence: J.A.A. Vilela, Departamento de Neurologia, Psiquiatria e Psicologia Médica, FMRP, USP, Av. Bandeirantes, 3900, 14049-900, Ribeirão Preto, SP, Brasil. Fax: +55-16-602-2544. E-mail: vilela@rnp.fmrp.usp.br
J.A.A. Vilela was the recipient of a fellowship from FAPESP (No. 97/14455-5). J.A.S. Crippa is the recipient of a CAPES (Programa de Absorção Temporária de Doutores, Prodoc No. 16/2003, 2003-2004) fellowship. Received June 30, 2004. Accepted May 20, 2005.
- 1. Beigel A, Murphy DL & Bunney WE (1971). The Manic-State Rating Scale: scale construction, reliability and validity. Archives of General Psychiatry, 25: 256-262.
- 2. Petterson U, Fyrö B & Sedvall G (1973). A new scale for the longitudinal rating of manic states. Acta Psychiatrica Scandinavica, 49: 248-256.
- 3. Blackburn IM, Loudon JB & Ashworth CM (1977). A new scale for measuring mania. Psychological Medicine, 7: 453-458.
- 4. Bech P, Rafaelsen OJ, Kramp P et al. (1978). The mania rating scale: scale construction and inter-observer agreement. Neuropharmacology, 17: 430-431.
- 5. Young RC, Biggs JT, Ziegler E et al. (1978). A rating scale for mania: reliability, validity and sensitivity. British Journal of Psychiatry, 133: 429-435.
- 6. Secunda SK, Katz MM, Swann A et al. (1985). Mania. Diagnosis, state measurement and prediction of treatment response. Journal of Affective Disorders, 8: 113-121.
- 7. Brierley CE, Szabadi E, Rix KJ et al. (1988). The Manchester Nurse Rating Scales for the daily simultaneous assessment of depressive and manic ward behaviors. Journal of Affective Disorders, 15: 45-54.
- 8. Altman EG, Hedeker DR, Janicak PG et al. (1994). The Clinician-Administered Rating Scale for Mania (CARS-M): development, reliability, and validity. Biological Psychiatry, 36: 124-134.
- 9. Choca J, Bresolin L, Okonek A et al. (1988). Validity of the Millon Clinical Multiaxial Inventory in the assessment of affective disorders. Journal of Personality Assessment, 52: 96-105.
- 10. Bauer MS, Crits-Christoph P, Ball WA et al. (1991). Independent assessment of manic and depressive symptoms by self-rating. Scale characteristics and implications for the study of mania. Archives of General Psychiatry, 48: 807-812.
- 11. Braunig P, Shugar G & Kruger S (1996). An investigation of the self-report manic inventory as a diagnostic and severity scale for mania. Comprehensive Psychiatry, 37: 52-55.
- 12. Cooke RG, Kruger S & Shugar G (1996). Comparative evaluation of two self-report mania rating scales. Biological Psychiatry, 40: 279-283.
- 13. Altman EG, Hedeker DR, Peterson JL et al. (1997). The Altman Self-Rating Mania Scale. Biological Psychiatry, 42: 948-955.
- 14. Raskin A (1988). Discussion: recent developments in ascertainment and scaling of the BPRS. Psychopharmacological Bulletin, 24: 122-124.
- 15. Overall JE & Gorham D (1962). The Brief Psychiatric Rating Scale. Psychological Reports, 10: 799-812.
- 16. Guy W (1976). ECDEU Assessment Manual for Psychopharmacology US Department of Health, Education, and Welfare publication ADM 76-338, National Institute of Mental Health, Rockville, MD, USA.
- 17. Goodwin FK & Jamison KR (1990). Manic-Depressive Illness Oxford University Press, New York.
- 18. Marder SR (1995). Psychiatric rating scales. In: Kaplan HI & Sadock BJ (Editors), Comprehensive Textbook of Psychiatry/VI 6th edn. Williams & Wilkins, Baltimore, MD, USA.
- 19. Kaplan HI & Sadock BJ (1990). Definição de sinais e sintomas típicos de doença psiquiátrica. In: Kaplan HI & Sadock BJ (Editors), Compêndio de Psiquiatria 2nd edn. Artes Médicas, Porto Alegre, RS, Brazil.
-
20American Psychiatric Association (1994). Diagnostic and Statistical Manual of Mental Disorders 4th edn. American Psychiatric Association, Washington, DC, USA.
- 21. Del-Ben CM, Rodrigues CRC & Zuardi AW (1996). Reliability of the Portuguese version of the structured clinical interview for DSM-III-R (SCID) in a Brazilian sample of psychiatric outpatients. Brazilian Journal of Medical and Biological Research, 29: 1675-1682.
- 22. Crippa JA, Sanches RF, Hallak JE et al. (2001). A structured interview guide increases Brief Psychiatric Rating Scale reliability in raters with low clinical experience. Acta Psychiatrica Scandinavica, 103: 465-470.
- 23. Spitzer RL, Williams JBW, Gibbon M et al. (1990). Structured Clinical Interview for DSM-III-R - Patient Edition (SCID-P, version 1.0). American Psychiatric Press, Washington, DC, USA.
- 24. Bech P, Kastrup M & Rafaelsen OJ (1986). Mini-compedium of rating scales for states of anxiety, depression, mania and schizophrenia with corresponding DSM-III syndromes. Acta Psychiatrica Scandinavica, 326 (Suppl): 7-37.
- 25. Zuardi AW, Loureiro SR, Rodrigues CRC et al. (1994). Estudo da estrutura fatorial, fidedignidade e validade da tradução e adaptação para o português da escala de avaliação psiquiátrica breve (BPRS) modificada. Revista da Associação Brasileira de Psiquiatria-Asociacion Psiquiatrica de la America Latina, 16: 63-68.
- 26. Streiner DL (1995). Learning how to differ: agreement and reliability statistics in psychiatry. Canadian Journal of Psychiatry, 40: 60-66.
- 27. Bartko JJ & Carpenter Jr WS (1976). On the methods and theory of reliability. Journal of Nervous and Mental Disease, 163: 307-317.
- 28. Williams JBW (1988). A structured interview guide for the Hamilton Depression Rating Scale. Archives of General Psychiatry, 45: 742-747.
- 29. Lindström E, Wieselgren I-M & Von Knorring L (1994). Interrater reliability of the Structured Clinical Interview for the Positive and Negative Syndrome Scale for Schizophrenia. Acta Psychiatrica Scandinavica, 89: 192-195.
-
30Organização Mundial da Saúde (OMS; Coord.) (1993). Classificação de Transtornos Mentais e de Comportamento da CID-10: Descrições Clínicas e Diretrizes Diagnósticas Artes Médicas, Porto Alegre, RS, Brazil.
- 31. Fristad MA, Weller EB & Weller RA (1992). The Mania Rating Scale: can it be used in children? A preliminary report. Journal of the American Academy of Child and Adolescent Psychiatry, 31: 252-257.
- 32. Shugar G, Schertzer S, Toner BB et al. (1992). Development, use, and factor analysis of a self-report inventory for mania. Comprehensive Psychiatry, 33: 325-331.
- 33. Fristad MA, Weller RA & Weller EB (1995). The Mania Rating Scale (MRS): further reliability and validity studies with children. Annals of Clinical Psychiatry, 7: 127-132.
Acknowledgments
Publication Dates
-
Publication in this collection
01 Oct 2007 -
Date of issue
Sept 2005
History
-
Accepted
20 May 2005 -
Received
30 June 2004
