Fidedignidade do Teste-reteste na Aplicação do Índice Menopausal de Blatt e Kupperman

Test-retest Reliability in Application of the Blatt and Kupperman Menopausal Index

Trabalhos Originais

Fidedignidade do Teste-reteste na Aplicação do Índice Menopausal de Blatt e Kupperman

Test-retest Reliability in Application of the Blatt and Kupperman Menopausal Index

Rilva Lopes de Sousa¹, Eduardo Sérgio Soares Sousa², José Carlos Barros Silva², Rosália Gouveia Filizola¹

RESUMO

Objetivos: considerando que o conhecimento da confiabilidade de um instrumento é essencial para a correta interpretação dos resultados de uma pesquisa, o objetivo do presente trabalho é avaliar a fidedignidade de um dos índices menopausais mais empregados na prática clínica e de pesquisa na área do climatério feminino, o índice menopausal de Blatt e Kupperman (IMBK).

Métodos: a amostra foi constituída por 60 pacientes climatéricas atendidas no Ambulatório de Ginecologia do Hospital Universitário Lauro Wanderley (HULW) da Universidade Federal da Paraíba (UFPB), em João Pessoa, PB. O coeficiente de estabilidade foi analisado por meio do método teste-reteste, aplicando-se o IMBK em duas ocasiões diferentes com intervalo de quatro semanas, sem nenhuma intervenção medicamentosa.

Resultados: a soma dos escores obtidos pela aplicação do IMBK na primeira mensuração variou de 2 a 41 pontos, com mediana de 18 e média de 18,8 (± 10,76), ao passo que na segunda mensuração, o índice menopausal médio foi de 20,2 (± 10,51), mediana de 19, e os valores mínimo e máximo foram respectivamente de 2 e 39 pontos. No entanto, entre as duas aplicações encontrou-se um coeficiente de correlação de Spearman (r_s) de 0,68 (p = 0,001), índice considerado de magnitude inferior ao nível considerado satisfatório.

Conclusões: a fidedignidade do teste-reteste na aplicação do IMBK mostra que, embora esse instrumento tenha demonstrado uma relativa estabilidade do ponto de vista estatístico, a magnitude da correlação observada não denota uma aferição inteiramente confiável. Considerando que um estudo correlacional é apenas um tipo de rastreamento da qualidade de um método de mensuração, concluímos que outras pesquisas deveriam ser realizadas para avaliar não só a fidedignidade mas também a validade do IMBK. É possível que modificações na atribuição dos pesos aos itens do IMBK e a inclusão de sintomas diretamente relacionados à carência estrogênica, como as manifestações de atrofia vaginal, tornem o instrumento mais confiável.

PALAVRAS-CHAVE: Índice menopausal. Climatério. Menopausa.

Introdução

Climatério, termo derivado do grego klimakter, significa "ponto crítico da vida humana"¹. Esse "período de crise ou mudança" tem como característica biológica primordial a deficiência de hormônios sexuais. Mesmo constituindo um fenômeno fisiológico e universal pelo qual toda mulher passa ao chegar a uma determinada idade de seu percurso vital, essa fase se associa a potenciais repercussões danosas sobre a sua saúde.

Entre as manifestações que ocorrem a curto prazo incluem-se os sintomas vasomotores e neuropsíquicos, acrescentando-se a estes, a médio prazo, sintomas de atrofia vaginal, constituindo, o conjunto desses sintomas, a chamada "síndrome climatérica"². Embora muitos desses sintomas sejam bastante inespecíficos em relação à carência estrogênica, Velasco Murillo et al.³ os consideram como manifestações clínicas características da perimenopausa, afirmando que devem ser designadas de "sintomas climatéricos".

Além da controvérsia acerca da determinação de qual é o tipo de sintomatologia que está realmente relacionado aos transtornos neuroendócrinos do climatério, Alder⁴ chama atenção para o problema metodológico da mensuração de tais sintomas na prática clínica e de pesquisa em Ginecologia - mais especificamente na avaliação das pacientes que vivenciam a fase do climatério - em virtude da presumível falta de instrumentos válidos e fidedignos para tal.

Os índices menopausais contém itens nos quais figuram várias manifestações clínicas, tanto de natureza somática quanto psicológica e/ou somato-psíquica, sendo usados para "medir" os sintomas da síndrome climatérica, bem como para avaliar a efetividade da terapêutica de reposição hormonal. Esses índices são largamente empregados na prática clínica e de pesquisa na área do climatério feminino, porém são considerados instrumentos de confiabilidade discutível^4,5. No entanto, não há estudos no Brasil focalizando as propriedades metodológicas dos índices menopausais empregados tão freqüentemente em estudos clínicos.

Considerando que o conhecimento da confiabilidade de um instrumento é essencial para a correta interpretação dos resultados de uma pesquisa, o objetivo do presente trabalho é avaliar a fidedignidade de um dos índices menopausais mais empregados na prática clínica, o índice menopausal de Blatt e Kupperman (IMBK), por meio de um método estatístico simples de estudo da estabilidade de instrumentos de pesquisa, a fidedignidade do teste-reteste.

Pacientes e Métodos

Foram incluídas no estudo 60 pacientes climatéricas atendidas no Ambulatório de Ginecologia do Hospital Universitário Lauro Wanderley (HULW) da Universidade Federal da Paraíba (UFPB), em João Pessoa, Paraíba.

As pacientes foram selecionadas por meio de amostragem do tipo não-probabilístico acidental, sendo recrutados os casos entre as mulheres de 45 a 60 anos de idade que consecutivamente procuraram assistência no ambulatório de Ginecologia do HULW, continuando a seleção até que a amostra atingisse o número de 60 mulheres.

As pacientes elegíveis para o estudo deveriam apresentar: idade variando entre 45 e 60 anos, amenorréia secundária de pelo menos um ano e níveis séricos de FSH acima de 20 UI/ml. O nível de FSH do critério de inclusão do estudo foi estabelecido com base no trabalho de Saletu et al.⁶ e de Rubinow et al.⁷, considerando que níveis superiores a 20 UI definem laboratorialmente a fase do climatério feminino.

Não houve ponto de corte para os escores do IMBK no momento da seleção da amostra, sendo a inclusão das pacientes independente da intensidade da sintomatologia apresentada, selecionando-se desde pacientes levemente sintomáticas até as gravemente sintomáticas indistintamente, desde que preenchessem os critérios de inclusão acima apresentados. Foram excluídas do estudo as pacientes em uso de tratamento psicofarmacológico durante o mês precedente ao início do estudo, as pacientes com doenças ginecológicas graves e as que tivessem feito uso de terapia hormonal nos últimos dois meses precedentes ao início do estudo.

Para a realização dos exames, foi colhida uma amostra de sangue por punção venosa periférica, sendo solicitada a determinação dos níveis de estradiol e de FSH. A colheita de sangue para foi efetuada pela manhã nos laboratórios de Medicina Nuclear do HULW. Os hormônios foram dosados por radioimunoensaio usando-se o kit Coat-A-Count^®, adquirido da DPC (Diagnostic Products Corporation - Los Angeles, CA). As concentrações de estradiol foram expressas em pg/ml e as de FSH, em mUI/ml.

As entrevistas foram realizadas de modo individual em uma sala do ambulatório do HULW, com aplicação do IMBK em duas ocasiões diferentes, com intervalo de quatro semanas. Esse intervalo entre as duas medidas foi adotado de acordo com Selltiz et al.⁸. Foi também aplicado um formulário elaborado pelos autores com o objetivo de coletar dados sociodemográficos. As entrevistas duraram 15 minutos para cada paciente, sendo realizadas pela mesma entrevistadora para todas as participantes do estudo e nas duas fases da coleta dos dados.

A segunda aplicação foi feita após quatro semanas a partir da primeira entrevista de recrutamento da amostra, o que permitiu verificar a estabilidade dessa aplicação do índice. Determinou-se o coeficiente de correlação para testar a fidedignidade externa, considerando os escores do índice sem que nenhuma intervenção hormonal ou medicamentosa de qualquer natureza tenha sido feita no período entre as duas aplicações do instrumento. O coeficiente de estabilidade foi analisado pelo método do teste repetido ou teste-reteste.

No IMBK, os diversos sintomas incluídos sob a denominação de síndrome climatérica (sintomas vasomotores, insônia, parestesia, nervosismo, melancolia, vertigem, fraqueza, artralgia/mialgia, cefaléia, palpitação e zumbidos) receberam valores numéricos de acordo com a intensidade dos mesmos (leves, moderados, graves). O resultado foi contabilizado pela soma das respectivas graduações dos sintomas referidos acima, após multiplicação pelos seguintes fatores de conversão: sintomas vasomotores (x 4), parestesia (x 2), distúrbios do sono (x 2), irritabilidade (x 2), depressão (x 1), vertigem (x 1), fadiga (x 1), artralgia/mialgia (x 1), cefaléia (x 1) e palpitação (x 1). Assim, de acordo com a intensidade, os sintomas vasomotores receberam os valores 4, 8 ou 12; parestesia, insônia e nervosismo, 2, 4 ou 6; melancolia, vertigem, fraqueza, mialgia e/ou artralgia, cefaléia, palpitação e formigamento, os valores de 1, 2 ou 3. Os escores globais resultantes foram catalogados em intensidade leve (somatório dos valores até 19), moderada (entre 20 e 35) e grave (maior que 35).

Os itens do formulário foram aplicados oralmente e a paciente acompanhou a leitura por meio de cópia que lhe fora entregue, e à medida que esta respondia, a entrevistadora preenchia os dados por escrito. Tomou-se em conta a semiologia da semana em relação ao período de tempo coberto por cada aplicação do instrumento.

A análise estatística baseou-se na análise de correlação bivariada de Spearman para avaliar o coeficiente de fidedignidade do teste-reteste, uma vez que, como escala de itens múltiplos, o IMBK constitui uma variável de nível de mensuração ordinal. A probabilidade de significância dos procedimentos estatísticos foi designada por P, o qual foi comparado com um nível de significância de 0,05 (5%). A análise foi feita com o uso do Pacote Estatístico para Ciências Sociais (SPSS, Chicago), versão 5 para Windows⁹.

As pacientes forneceram livremente seu consentimento por escrito para participação no estudo, após os esclarecimentos relacionados ao estudo, sendo-lhes entregue cópia do Termo de Consentimento Pós-informação. O protocolo de pesquisa deste trabalho foi aprovado pelo Comitê de Ética em Pesquisa do HULW.

Resultados

A idade das pacientes variou entre 45 e 59 anos, com mediana de 53 e média de 51,9 (± 3,7) anos na amostra. A maioria das pacientes era casada, residia na cidade de João Pessoa, tinha escolaridade entre o 1^o e o 2^o graus e declarava renda familiar de até três salários mínimos.

Convém observar que 27 pacientes tinham antecedente de histerectomia (HTA). O motivo relatado para a histerectomia foi mioma uterino em todos os casos. O tempo decorrido desde a HTA até o momento da entrevista variou entre 1 e 11 anos. Doze pacientes (20%) histerectomizadas do grupo TRH relataram ooforectomia bilateral em associação à HTA; oito (13,3%) referiram ooforectomia unilateral; vinte (33,3%) relataram que não sabiam se haviam sido submetidas a ooforectomia; vinte (33,3%) negaram ooforectomia. Nas mulheres não-histerectomizadas, o tempo de menopausa variou entre 1 e 15 anos, e a idade da menarca foi de 13,15 ± 1,93 anos.

Os níveis de FSH variaram de 22,1 a 110,7 mUI/ml, já que foram incluídas na amostra como pacientes climatéricas aquelas com níveis de FSH iguais ou superiores a 20 mUI/ml. Nove (15%) pacientes apresentavam concentrações de FSH entre 20 e 30 mUI/ml, ao passo que a maioria (85%) tinha níveis séricos superiores a 30 mUI/ml. Observou-se que 73,3% das pacientes apresentavam níveis de estradiol inferiores a 20 pg/ml, ao que as demais tinham concentrações sangüíneas desse esteróide entre 20 e 50 pg/ml.

A soma dos escores obtidos pela aplicação do IMBK na primeira mensuração variou de 2 a 41 pontos, com mediana de 18 e média de 18,8 (± 10,76), de modo que não se observaram pacientes completamente assintomáticas pela medição dos sintomas por meio desse instrumento na avaliação inicial. O índice médio de sintomas climatéricos foi considerado como de moderada intensidade, de acordo com os critérios de pontuação e interpretação do mesmo¹⁰. A soma dos escores do IMBK alcançaram intensidade leve em 28 pacientes (46,7%), moderada em 19 (31,6%) e grave em 13 (21,6%). Os sintomas vasomotores foram registrados por 47 mulheres (78,3%).

Na segunda mensuração, o índice menopausal médio foi de 20,2 (± 10,51), com mediana de 19, e os valores mínimo e máximo foram respectivamente de 2 e 39 pontos. A correlação produto-momento dos escores globais do IMBK no teste e no reteste está ilustrada na Figura 1. Foi computado o coeficiente de correlação de Spearman (r_s) entre os valores das duas aplicações, encontrando-se uma correlação positiva significativa (p = 0,001) e um coeficiente de 0,68, índice de fidedignidade considerado de moderada magnitude segundo Bryman e Cramer⁹.

Discussão

Embora a correlação encontrada tenha sido de moderada magnitude (r_s = 0,68), foi estatisticamente significativa e positiva. Quando se mede a fidedignidade pelo método do teste-reteste obtém-se um coeficiente de estabilidade (ou confiabilidade). O coeficiente assim obtido é uma estimativa da precisão mínima do IMBK nessa aplicação e, portanto, uma estimativa de sua qualidade em "medir" os sintomas da síndrome climatérica nessa amostra de mulheres. Para Bryman e Cramer⁹, um coeficiente de correlação satisfatório entre os escores de duas aplicações de um instrumento de pesquisa deve se situar entre 0,8 e 1,0.

Embora se reconheça que amostras de tamanho pequeno só demonstram correlações significativas se estas forem bem próximas de 1,0, o grau de fidedignidade evidenciado no presente estudo não alcançou o nível considerado ideal para um instrumento de medida. O coeficiente estatístico ideal ou satisfatório ¾ em outras palavras, um coeficiente elevado ¾ deveria situar-se acima de 0,8. Nesse sentido estritamente estatístico, Rodrigues¹¹ considera que todos os instrumentos de medida são falíveis, pois as escalas de medida possuem fidedignidade sempre inferior a um, ou seja, todas elas trazem consigo uma certa margem de erro.

No entanto, essa margem de erro do instrumento será tanto menor quanto maior for o seu coeficiente de fidedignidade. Dizer que uma medida é fidedigna significa somente que os determinantes primordiais do evento medido ¾ os estímulos que provocam as respostas, as variáveis que influem na reação do indivíduo e sobretudo a técnica de observação ¾ estão todos suficientemente controlados para que possamos reproduzir resultados dentro de limites estabelecidos. Mesmo que não possamos avaliar exatamente o erro casual da aplicação do IMBK, podemos afirmar que baixas correlações entre um teste e um reteste indicam condições insuficientemente estáveis para justificar a utilização deste índice como instrumento de pesquisa^8,12. Erro casual é aquele erro que ocorre devido ao processo de medida, ou seja, devido à imprecisão do instrumento de aferição utilizado^8,13.

No entanto, é preciso observar que a magnitude apenas moderada (e não elevada) da fidedignidade encontrada no presente estudo pode ser resultado da inespecificidade dos sintomas considerados como climatéricos e incluídos no IMBK, e conseqüentemente, da escassa validade desse índice menopausal. Se todos os sintomas contidos nos itens do IMBK fossem diretamente relacionados ao hipoestrogenismo, tais manifestações não deveriam se alterar significativamente na segunda aplicação do instrumento em relação à primeira, apresentando um coeficiente de correlação alto. Aldrighi e Bueno¹⁴ englobam sob a denominação de síndrome climatérica apenas sinais vasomotores e de atrofia cutaneomucosa, que seriam os sintomas relacionados diretamente à deficiência estrogênica.

Embora não tenha sido objetivo deste trabalho discutir a validade do IMBK, é preciso lembrar que confiabilidade e validade de um instrumento não constituem qualidades totalmente independentes, uma vez que um instrumento de mensuração que não seja confiável provavelmente não é capaz de ser válido¹³. "Fidedignidade" de uma medida refere-se à sua consistência, ou seja, à capacidade de um instrumento fornecer resultados consistentes em aplicações repetidas⁸. Esta noção, em geral, é utilizada para abarcar dois aspectos diferentes ¾ a fidedignidade externa e a interna. A fidedignidade externa é a noção que se usa mais vulgarmente e refere-se ao grau de consistência de uma medida ao longo do tempo ou "fidedignidade teste-reteste"⁹, da qual tratamos aqui.

"Validade" refere-se à avaliação do grau em que um instrumento mede realmente aquilo que se propõe a medir⁹. Se o IMBK mede manifestações associadas ao climatério, ou à síndrome climatérica, deveria ser discutida em que medida esse instrumento e outros índices menopausais semelhantes medem realmente as manifestações clínicas climatéricas. Nesse aspecto, impõe-se a distinção dos sintomas relacionados à insuficiência hormonal e dos sintomas que são associados ao processo de envelhecimento, o que gera outra discussão que foge aos objetivos deste trabalho. Embora os sintomas vasomotores estejam relacionados de forma mais clara com a deficiência estrogênica, sendo considerados como "a prova inequívoca de hipoestrogenismo"¹⁵, ainda não se sabe qual é o principal fator etiológico no desenvolvimento dos sintomas psicológicos da síndrome climatérica, bem como não está claro se os outros sintomas não-vasomotores do IMBK (artralgias, parestesias, vertigem, zumbidos) são decorrentes da carência estrogênica.

Convém lembrar que o IMBK é uma escala de auto-avaliação e não se pode confiar completamente em escalas auto-avaliadoras, uma vez que para estudar sentimentos e sintomas é necessário pedir ao paciente que faça um relato de sua experiência, admitindo alguma espécie de relação coerente entre relato e experiência. Selltiz et al.⁸ consideram que logicamente é o próprio indivíduo quem está em melhor posição para observar e descrever seus sentimentos; contudo, muitas vezes a concepção de determinado indivíduo quanto ao que constitui uma posição extremada ou moderada em relação a certo item de uma escala pode ser muito diferente da de outros sujeitos que fazem auto-avaliações que serão comparadas. Cohen e Syme¹⁶ atentam para esse fato, afirmando que é preciso analisar com parcimônia os auto-relatos como medidas "objetivas" de sintomatologia, uma vez que a "percepção de sensações internas" e o relato de sintomas não apresentam uma correspondência exata, sendo influenciados por vários fatores fisiológicos, psicossociais e culturais. Assim, as respostas a um questionário devem ser consideradas pelo pesquisador como condutas (ou seja, conteúdo latente) e não como dados objetivos.

Os problemas em relação a esse procedimento de avaliação teste-reteste da confiabilidade consistem na falta de conhecimento sobre a fidedignidade interna (importante em relação às escalas de múltiplos itens como o IMBK), que avalia se o instrumento está medindo um único conceito, bem como na possibilidade de memorização dos itens da escala por parte dos sujeitos na primeira aplicação¹⁷. O risco deste último problema ocorrer foi minimizado pelo intervalo de quatro semanas entre as duas aplicações do IMBK, um período de tempo considerado adequado para teste de estabilidade de uma medida.

Essa avaliação de confiabilidade do IMBK enquanto instrumento de medida pode ser tomada como um estudo de rastreamento da fidedignidade externa do mesmo em uma amostra clínica recrutada por processo não-aleatório. Assim, há aspectos do presente trabalho que limitam sua generalização. Um ponto negativo importante dos dados coligidos é a sua validade externa, pelo fraco poder de generalização que comporta, pois as pacientes atendidas no ambulatório de Ginecologia do HULW, um ambiente clínico, não são consideradas representativas das mulheres climatéricas da população geral nem das pacientes atendidas em outros serviços de Ginecologia da região.

No entanto, segundo Tripodi et al.¹⁸, no caso em que procedimentos probabilísticos de amostragem são impraticáveis, para aumentar a possibilidade de generalização desses resultados, poderiam ser feitas equiparações com outros estudos, com o objetivo de demonstrar estatisticamente se as características das pacientes da amostra considerada são comparáveis às pacientes de outros serviços de saúde. Nesse sentido, observa-se que várias características sociodemográficas das pacientes desta pesquisa assemelham-se às de outros estudos realizados no Brasil com mulheres no climatério atendidas em ambulatórios médicos. Fonseca et al.¹⁹ estudaram o perfil epidemiológico de 300 mulheres climatéricas cujas características predominantes foram similares às já relatadas para a amostra estudada: predominância de mulheres casadas, com filhos, do lar, brancas, de baixo poder aquisitivo, residentes na zona urbana, clientes de serviço público de saúde. Os sintomas relatados pelas pacientes da amostra estudada também foram semelhantes aos relatados por Pinto-Neto et al.²⁰ em estudo observacional de 502 mulheres que freqüentavam o Ambulatório de Menopausa da Universidade Estadual de Campinas (SP), ou seja, alterações vasomotores, seguidas por manifestações de ansiedade e de depressão, entre os sintomas mais freqüentes. Os dados sobre a sintomatologia chamada de climatérica e representada pelos itens do IMBK da presente amostra também são compatíveis com o que relatam Almeida e Almeida²¹ e Von Muhlen et al.²².

Concluimos que a fidedignidade do teste-reteste na aplicação do IMBK no presente estudo mostra que, embora esse instrumento tenha demonstrado uma estabilidade estatisticamente moderada, a qualidade desse instrumento deve ser observada com parcimônia por não representar uma mensuração inteiramente confiável enquanto técnica de aferição. Esse trabalho suscita a necessidade de reavaliar as propriedades dos índices menopausais enquanto técnica de pesquisa. É possível que modificações na atribuição dos pesos aos itens do IMBK e a inclusão de sintomas diretamente relacionados à carência estrogênica, como as manifestações de atrofia vaginal, tornem o instrumento mais confiável.

Considerando que um estudo correlacional é apenas um tipo de rastreamento e que o método teste-reteste de avaliação da confiabilidade é uma técnica simples de verificação dessa propriedade, concluímos que outras pesquisas deveriam ser realizadas com o objetivo de avaliar não só a fidedignidade mas também a validade do IMBK, pois uma medida com baixa confiabilidade interfere no teste adequado das hipóteses de pesquisas e na avaliação clínica de tratamentos efetuados.

SUMMARY

Purpose: based on the knowledge that the reliability of an instrument is essential for a correct interpretation of the results of research, the purpose of the present study is to evaluate the reliability of one of the menopausal indexes more often used in clinical practice and research, the Blatt and Kupperman Menopausal Index (BKMI).

Methods: the population consisted of 60 climacteric patients attended at the Gynecology Outpatient Clinic of the Lauro Wanderley University Hospital of the Federal University of Paraíba in João Pessoa city. The reliability coefficient was analyzed by the test-retest method, whose application was done on two different occasions with an interval of four weeks, without administration of medicines.

Results: the variation of the score observed with the application of BKMI at the first measurement was 2 to 41, with a median of 18 and mean of 18.8 (± 10.76), while at the second measurement, the menopausal index was 20.2 (± 10.51), median 19, and values ranging from 2 to 39. Despite these results, a Speaman (r_s) coefficient of 0.68 (p = 0.001), which is a coefficient of only moderate intensity, was observed.

Conclusions: the test-retest reliability in the application of the BKMI shows that, although this instrument presented a statistically moderate reliability, the intensity observed does not represent a reliable measurement. Considering that a correlational study is only a type of screening of the quality of a measurement method, we concluded that other studies must be performed with the purpose of evaluating the reliability and the validity of the BKMI. It is possible that the attribuition of different values to the items of BKMI and the inclusion of symptoms directly related to the estrogenic defficiency, like symptoms of vaginal atrophy, would make the instrument more reliable.

KEY-WORDS: Menopausal index. Climacterium. Menopause.

Referências

• 1. Giordano MG, Abe CK, Reiders J. Climatério. In: Giordano MG, editor. Ginecologia Endócrina e da Reprodução. 1^a ed. São Paulo: BYK;1998.
• 2. Bossemeyer R. Aspectos gerais do climatério. In: Fernandes CE, Melo, NR, Wehba S, editores. Climatério Feminino: fisiopatologia, diagnóstico e tratamento. 1^a ed. São Paulo: Lemos; 1999.
• 3. Velasco Murillo V, Cardona Pérez JA, Navarrete Hernandéz E, Madrazo Navarro M. Atención del climaterio y prevención de las complicaciones de la menopausia en medicina familiar. Rev Méd IMSS 1998; 36:463-76.
• 4. Alder E. The Blatt-Kupperman menopausal index: a critique. Maturitas 1998; 29:19-24.
• 5. Miranda GV, Miranda S. Alterações do humor relacionadas às variações hormonais. I. Menopausa. Psiquiatr Biol 1994; 2:15-9.
• 6. Saletu B, Brandstätter N, Metka M, et al. Double-blind, placebo-controlled, hormonal, syndromal, and EEG mapping studies with transdermal oestradiol therapy in menopausal depression. Psychopharmacology (Berl) 1995; 122:321-9.
• 7. Rubinow DR, Schmidt PJ, Roca CA. Hormone measures in reproductive endocrine-related mood disorders: diagnostic issues. Psychopharmacol Bull 1998; 34:289-90.
• 8. Selltiz C, Jahoda M, Deutsch M, Cook SW. Métodos de pesquisa nas relações sociais. 1^a ed. São Paulo: E. P. U.; 1974. p.387-432.
• 9. Bryman A, Cramer D. Análise de dados em ciências sociais: introdução às técnicas usando o SPSS. 1^a ed. Oeiras: Celta; 1990.
• 10.Kupperman HS, Wetchler BB, Blatt MH. Contemporary therapy of the menopausal syndrome. J Am Med Assoc 1959; 171:1627-37.
• 11.Rodrigues A. A pesquisa experimental em pesquisa e educação. 1^a ed. Petrópolis: Vozes; 1975. p.48-84.
• 12.Peak H. Problemas de observação objetiva. In: Festinger L, Katz D, editores. A pesquisa na psicologia social. 1^a ed. Rio de Janeiro: Fundação Getúlio Vargas; 1974.
• 13.Polit DF, Hungler BP. Fundamentos de pesquisa em enfermagem. 1^a ed. Porto Alegre: Artes Médicas;1995.
• 14.Aldrighi JM, Bueno JGR. Manifestações clínicas do climatério. Ars Curandi, 1994; 18:15-9.
• 15.Melo NR, Sacilotto TJ, Fernandes CE. Propedêutica da mulher climatérica e pós-menopausal. In: Pinotti JA, Halbe HW, Hegg R, editores. Menopausa. 1^a ed. São Paulo: Roca; 1995.
• 16.Cohen S, Syme SL. Issues in the study and application of social support. In: Cohen S, Syme SL, editors. Social Support and Health. 1^st ed. Orlando: Academic Press; 1985. p.1-41.
• 17.Mills J. The limitations of experiments. In: Mills J, editor. Experimental social psychology. 1^st ed. London: Collier-Macmillan; 1975. p.433-48.
• 18.Tripodi T, Fellin P, Meyer H. Análise da pesquisa social. 1^a ed. Rio de Janeiro: F. Alves; 1975.
• 19.Fonseca AM, Abdo CHN, Bagnoli VR, Penteado SRL, Pereira KUS, Halbe HW. Fatores biopsicossociais que interferem na sexualidade da mulher no climatério. Rev Ginecol Obstet 1998; 9:130-4.
• 20.Pinto-Neto AM, Pedro AO, Costa-Paiva LHS, et al. Repercussões biopsicossociais da transição climatérica: a visão da mulher. J Bras Ginecol 1994; 104:307-10.
• 21.Almeida AB, Almeida SB. Aspectos neuropsicológicos do climatério. Rev Med Sta Casa 1996; 7:1446-9.
• 22.Von Muhlen DG, Kritz-Silverstein D, Barrett-Connor E. A community-based study of menopause symptoms and estrogen replacement in older women. Maturitas 1995; 22:71-8.

Datas de Publicação

• Publicação nesta coleção
  11 Jul 2003
• Data do Fascículo
  Set 2000