Acessibilidade / Reportar erro

Evolução dos modelos de pesquisa em psicoterapia

The evolution of psychotherapy research models

Resumos

O presente estudo apresenta uma revisão não sistemática da literatura sobre estudos de avaliação em psicoterapia, descrevendo e discutindo as três principais formas para realizá-la: eficácia, efetividade e processo. Os resultados revelaram uma expressiva evolução no curso das pesquisas sobre o tema, desde os pioneiros, passando pelos estudos de eficácia e efetividade (ainda presentes e dominantes) e chegando ao estudo do processo psicoterápico, especialmente com estudos de caso que são realizados de diversas maneiras pelos autores. Porém, também é possível constatar que ainda existem muitas dúvidas e perguntas sem respostas no campo da pesquisa em avaliação de psicoterapia. É possível que novas investigações sobre processo psicoterápico possam contribuir para diminuir estas lacunas.

Psicoterapia; Eficácia; Efetividade e processo psicoterápico


This study presents a non-systematic review of literature on psychotherapy assessment studies, describing and discussing the three main features for its undertaking: efficiency, effectiveness and process. The results showed a significant evolution in the development of research on the subject beginning with pioneering studies, progressing through efficiency and effectiveness studies (which are still current and dominant) and arriving at the study of the psychotherapy process, especially through case studies conducted in a variety of fashions. However, it may also be observed that many doubts and unanswered questions persist in the psychotherapy assessment research field. New investigations into the psychotherapeutic process may help to close these gaps.

Psychotherapy; Efficiency; Effectiveness and psychotherapeutic process


ARTIGOS

Evolução dos modelos de pesquisa em psicoterapia1 1 Apoio: Conselho Nacional de Desenvolvimento Científico e Tecnológico (Projeto nº 481594/2004-3).

The evolution of psychotherapy research models

Evanisa Helena Maio de BrumI; Giana Bitencourt FrizzoII; Aline Grill GomesIII; Milena da Rosa SilvaII; Daniela Delias de SouzaIV; Cesar Augusto PiccininiII

IComplexo de Ensino Superior de Cachoeirinha. R. Silvério Manoel da Silva, 160, Colinas, 94940-243, Cachoeirinha, RS, Brasil. Correspondência para/Correspondence to: E.H.M. BRUM, E-mail: evanisa.brum@gmail.com

IIUniversidade Federal do Rio Grande do Sul, Instituto de Psicologia. Porto Alegre, RS, Brasil

IVUniversidade Federal do Rio Grande do Sul, Curso de Pós-Graduação em Psicologia. Porto Alegre, RS, Brasil

VUniversidade Federal do Rio Grande, Curso de Psicologia. Rio Grande, RS, Brasil

RESUMO

O presente estudo apresenta uma revisão não sistemática da literatura sobre estudos de avaliação em psicoterapia, descrevendo e discutindo as três principais formas para realizá-la: eficácia, efetividade e processo. Os resultados revelaram uma expressiva evolução no curso das pesquisas sobre o tema, desde os pioneiros, passando pelos estudos de eficácia e efetividade (ainda presentes e dominantes) e chegando ao estudo do processo psicoterápico, especialmente com estudos de caso que são realizados de diversas maneiras pelos autores. Porém, também é possível constatar que ainda existem muitas dúvidas e perguntas sem respostas no campo da pesquisa em avaliação de psicoterapia. É possível que novas investigações sobre processo psicoterápico possam contribuir para diminuir estas lacunas.

Unitermos: Psicoterapia. Eficácia. Efetividade e processo psicoterápico.

ABSTRACT

This study presents a non-systematic review of literature on psychotherapy assessment studies, describing and discussing the three main features for its undertaking: efficiency, effectiveness and process. The results showed a significant evolution in the development of research on the subject beginning with pioneering studies, progressing through efficiency and effectiveness studies (which are still current and dominant) and arriving at the study of the psychotherapy process, especially through case studies conducted in a variety of fashions. However, it may also be observed that many doubts and unanswered questions persist in the psychotherapy assessment research field. New investigations into the psychotherapeutic process may help to close these gaps.

Uniterms: Psychotherapy. Efficiency. Effectiveness and psychotherapeutic process.

A avaliação em psicoterapia parece ser tão antiga quanto a própria psicoterapia. O exame do tema revela uma expressiva evolução nesta área, iniciada com os estudos pioneiros de Freud (1895/1980) e Rogers (1942/2005), passando pelos estudos de eficácia e efetividade, ainda presentes e dominantes, até chegar aos estudos atuais sobre processo psicoterápico. Atualmente o pesquisador se depara com diferentes formas de avaliação em psicoterapia: aquelas que avaliam o resultado, como as de eficácia e de efetividade, e aquelas que avaliam o processo psicoterápico e enfocam especialmente como ocorrem as mudanças.

Embora Freud tenha sido o pioneiro a escrever sobre avaliação em psicoterapia, com seus estudos sobre a histeria em 1895 e o Pequeno Hans em 1909 (Jung, Nunes & Eizirik, 2007; Pheula & Isolan, 2007), em uma retrospectiva histórica sobre o início da avaliação em psicoterapia encontra-se que a mesma foi particularmente impulsionada pelo questionamento de Eysenck (1952) que clamou por provas científicas para comprovar que a psicoterapia seria mais efetiva do que a chamada "taxa de recuperação espontânea". Em função disso, grandes estudos foram iniciados nos anos 1950, com objetivo de investigar se a psicoterapia era eficaz ou não para produzir mudanças, particularmente na personalidade (Goldfried & Wolfe, 1996). Esta fase foi marcada por poucas especificações e diferenciações entre os problemas e a natureza dos resultados. Dentre os estudos destaca-se o projeto de pesquisa em psicoterapia psicanalítica da Fundação Menninger, realizado de 1952 a 1954 (Wallerstein, 1989). Também em 1950, Snyder realizou um levantamento pioneiro sobre as pesquisas em psicoterapia que foi apresentado na Revisão Anual de Psicologia (Goldfried & Wolfe, 1996; Krause et al., 2006).

Entre os anos 1960 e 1970, a questão da avaliação de pesquisa em psicoterapia passou a se voltar para quais técnicas psicoterápicas seriam mais eficazes na relação com um problema clínico específico (Goldfried & Wolfe, 1996). Apesar do avanço metodológico que estes estudos representavam, essa fase foi limitada, porque, em vez de pacientes de fato, foram avaliados nestas pesquisas estudantes universitários, enquanto os terapeutas eram frequentemente pós-graduandos (Goldfried & Wolfe, 1996).

A partir dos anos 1980, a pesquisa sobre avaliação em psicoterapia continuou enfatizando, sobretudo, a questão da eficácia (Goldfried & Wolfe, 1996; Howard, Moraes, Brill, Martinovich & Lutz, 1996). As descobertas desses estudos deixaram poucas dúvidas de que as psicoterapias avaliadas funcionavam na redução dos problemas emocionais (Goldfried & Wolfe, 1996). Contudo, inúmeras dessas pesquisas falharam em demonstrar diferenças significativas nos resultados entre as distintas formas de psicoterapias. Isto foi denominado por Lester Luborsky, Singer e Lise Luborsky (1975) como veredicto "Dodô", em uma referência ao livro de Carroll (1865/2009) Alice no país das maravilhas, no qual o pássaro Dodô, após uma corrida onde todos chegam ao final do percurso, proclama: 'todos venceram e todos devem ser premiados'. Contudo, o veredicto "Dodô" tem sido questionado por alguns pesquisadores que consideram a equivalência das psicoterapias um mito que reflete uma série de limitações das pesquisas: diferentes tipos de variáveis, delineamentos e de procedimentos utilizados (Serralta, Nunes & Eizirik, 2007), papel da qualidade da aliança terapêutica e do próprio terapeuta no resultado do tratamento (Charman, 2003), entre outros aspectos do que serão discutidos mais adiante neste artigo.

É importante destacar que, nos EUA, as evoluções metodológicas ocorridas a partir dos anos 1970 devem—se principalmente aos incentivos do programa de pesquisa do National Institute of Mental Health (NIMH) (Charman, 2003; Goldfried & Wolfe, 1996). O programa financiou inúmeras pesquisas de eficácia, com o objetivo de testar a possibilidade de conduzir testes clínicos variados em psicoterapia, focando principalmente a redução de sintomatologias associadas à desordens diagnósticas do Manual Diagnóstico e Estatístico de Transtornos Mentais (DSM) (American Psychiatric Association, 1995). O sucesso do programa do NIMH levou muitos pesquisadores a defender a ideia de que não seria necessário conduzir pesquisas sobre o processo de uma psicoterapia específica até ter sido estabelecido que a psicoterapia fosse eficaz; portanto, somente pesquisas de eficácia passaram a ser financiadas pela NIMH (Charman, 2003; Goldfried & Wolfe, 1996). Com isto, o fundo do NIMH para pesquisas sobre processo em psicoterapia começou a cair rapidamente a partir do final da década de 1980.

Recentemente, alguns pesquisadores passaram a defender que somente o estudo do processo psico-terápico pode oferecer para a ciência respostas mais específicas sobre o impacto da psicoterapia nos tratamentos emocionais, buscando assim esclarecer o que as pesquisa de resultado, que envolveram estudos de eficácia e efetividade, não conseguiram resolver (Charman, 2003; Fishman, 2002; Kächele, 2000). Assim, encontra-se na literatura um movimento recente que busca assegurar conhecimentos mais precisos sobre os mecanismos de mudança em psicoterapia através de estudos de caso (Jung, Nunes & Eizirik, 2007).

Apesar disso, é possível constatar a presença ainda intensa de pesquisas de resultado, como destacam Ferreira e Yoshida (2004). Os autores realizaram uma revisão sistemática da literatura brasileira e latino—americana sobre psicoterapias breves, e encontraram que predominam pesquisas de delineamento semi—experimental, com certo controle das variáveis, mas sem o rigor da randomização dos sujeitos. Após essa breve retrospectiva histórica, descreve-se a seguir cada uma das formas de avaliação em psicoterapia mais por-menorizadamente.

As pesquisas baseadas em evidência - eficácia e efetividade

A pesquisa de resultados envolve os estudos de eficácia e efetividade com uma base positivista, i.e., que apresentem evidências observáveis de mudanças no quadro clínico sendo examinado. Os estudos de eficácia e efetividade em psicoterapia tem sido descritos na literatura como pesquisas baseadas em evidências, que visam apresentar resultados de sua eficácia de forma ateórica (Pheula & Isolan, 2007). Os estudos buscam comparar, por exemplo, um grupo experimental e um grupo controle sem intervenção ou que recebeu outro tratamento ativo, avaliando a resposta terapêutica e a melhora da psicopatologia. Assim, busca-se identificar, testar, desenvolver e estimular a disseminação e o uso de técnicas validadas através de pesquisas científicas.

Primeiramente, os estudos de eficácia são realizados utilizando ensaios clínicos randomizados, característicos dos delineamentos experimentais. Para Robson (1993), esse delineamento oferece mais relações causais do que outros métodos de pesquisa. Para que seja considerado um experimento, é necessário que exista randomização da amostra para diferentes condições, o que torna possível controlar diversas variáveis sem necessariamente ter que conhecê-las ou especificá-las, já que, probabilisticamente, o processo de randomização tornaria os grupos equivalentes. Na sequência manipula—se uma ou mais variáveis independentes (exemplo os tipos de psicoterapia, psicanalítica vs sistêmica vs cognitivo comportamental), sendo o efeito desta manipulação medido por meio das variáveis dependentes (exemplo a depressão materna). Nesse tipo de abordagem para avaliação de intervenção, a questão central a ser respondida é se o tratamento funciona (Kächele, 2000), o que tende a ser avaliado por meio de instrumentos padronizados, como, por exemplo, escalas psicométricas e testes projetivos.

Dentre as inúmeras publicações existentes, um exemplo de estudo em eficácia foi realizado por Elkin et al. (1995) com 250 pacientes americanos designados randomicamente para quatro condições de tratamento durante 16 semanas: 1) psicoterapia cognitivo comportamental; 2) psicoterapia interpessoal - identificado pelo NIMH como sendo um tratamento psicodinâmico; 3) medicação antidepressiva e manejo clínico habitual (suporte e encorajamento); e 4) placebo e manejo clínico habitual. As avaliações ocorreram antes e depois do tratamento, com a utilização de escalas para avaliação da depressão e para avaliação global dos pacientes. Os resultados revelaram a melhora dos sintomas depressivos em todos os quatro tipos de tratamento avaliados, apontando que nenhuma das intervenções foi significativamente melhor do que as demais.

A validade dos estudos de eficácia, considerado até então o "padrão ouro" em avaliação de psicoterapia, foi questionado por Seligman (1995), no que foi conhecido como o mais extenso levantamento sobre psicoterapia realizado nos EUA. O autor destacou principalmente que esses estudos careciam de validade externa, ou seja, distanciavam-se do que acontece no dia a dia com dos usuários das psicoterapias, em função das exigências de randomização e seleção de pacientes sem comorbidades, devido ao controle rigoroso de variáveis, ao uso de manual com procedimentos pré-estabelecidos e ao limite do número de sessões. Assim, Seligman defendeu que, para avaliar a psicoterapia "no mundo real", eram necessários estudos de efetividade, que respeitassem a diversidade de situações, de comorbidades e de duração das psicoterapias. Ideias semelhantes foram salientadas por Goldfried e Wolfe (1996), ao destacarem que a pesquisa de resultado em psicoterapia distanciava-se do contexto da prática clínica.

Dentre os estudos de efetividade envolvendo avaliação de intervenções, destaca-se o uso de levantamento (survey) sem alocação aleatória dos sujeitos e sem as demais exigências características dos estudos de eficácia (Selligman, 1995). O levantamento é realizado com os pacientes que realizaram tratamento e, portanto, reflete a terapia como ele aconteceu no "mundo real" - sem duração fixa, não envolvendo uso de manual, com a possibilidade de se auto-corrigir - e respeita a comorbidade de sintomas e quadros clínicos apresentados pelos pacientes. Nesta abordagem, segundo Kächele (2000), busca-se responder a questão de como o tratamento funciona na prática.

O levantamento realizado por Seligman (1995) envolveu o envio de um questionário sobre saúde mental, para cento e oitenta mil leitores da revista americana Consumer Report. Sete mil leitores responderam, confirmando que haviam apresentado problemas pessoais nos três anos anteriores à pesquisas, o que os levou a procurar ajuda de um clínico geral, psicólogo, psiquiatra, conselheiro matrimonial, religioso ou amigo. A análise dos resultados revelou que: os tratamentos realizados pelos profissionais de saúde geralmente funcionaram; o tratamento de longa duração apresentou melhores resultados; as pessoas que escolheram ativamente o tipo de psicoterapia e o psicoterapeuta apresentaram melhores resultados; quando a terapia foi limitada pelo plano de saúde, os resultados do tratamento foram piores, se comparados aos pacientes que não tinham o tempo de tratamento limitado; mas não houve diferença entre os diversos tipos de tratamentos; nem diferenças entre os tratamentos que associaram medicação com os que não associaram. Os dados obtidos por Seligman corroboraram as ideias do veredicto "Dodô", pois os distintos tipos de tratamento não apresentaram diferenças significativas.

Embora Seligman fosse um defensor do estudo de eficácia para avaliação de psicoterapia, após avaliar os resultados do levantamento da Consumer Report ele passou a defender que o método utilizado neste estudo (estudo de efetividade) tinha mais vantagens em função de vários fatores, tais como: amostra extensa e representativas das pessoas que de fato procuraram tratamento; tratamento realizado sem uso de manual, população composta por pacientes com problemas múltiplos; e imparcialidade na realização da avaliação. Contudo, também salientou que o uso de levantamentos para avaliar intervenção tem uma série de limitações, como, por exemplo, ausência de randomização e de grupo controle; o fato de ser um estudo retrospectivo, baseado na memória dos respondentes; utilizar um questionário de autorresposta, o que impede avaliação mais objetiva sobre as condições pré e pós-intervenção e sobre a melhora dos pacientes. Ainda assim, segundo Seligman, os pontos positivos sobrepuseram-se aos pontos negativos.

Alguns autores brasileiros também têm se dedicado a investigar a efetividade das psicoterapias. Z. A. P. Del Prette e A. Del Prette (2008) descreveram o "Método JT", que foi proposto inicialmente por Jacobson, Follette e Revenstorf (1984) e retomado mais tarde por Jacobson e Truax (1991). Na análise dos resultados, são consideradas duas dimensões: a análise da significância clínica (mais voltada para a validade externa) e a verificação das mudanças obtidas (mais relacionada à validade interna). Nesta abordagem, considera-se que as mudanças decorrentes de uma intervenção, para serem consideradas efetivas, não bastam ser somente estatisticamente significativas, mas precisam também ser confiáveis e clinicamente relevantes. Além disto, esse método é capaz de avaliar a pré e pós-intervenção, permitindo portanto uma avaliação mais fidedigna dos reais efeitos da intervenção realizada.

Outro estudo, realizado por Yoshida (2008), objetivou explorar um método para determinar a mudança clinicamente significante de sintomas avaliados por meio de medidas de autorrelato. Para tanto, a pesquisadora realizou um estudo de caso sistemático, que envolveu o atendimento a uma paciente de 50 anos com quadro depressivo. A paciente recebeu 12 sessões de psicoterapia e uma sessão de acompanhamento que ocorreu um ano após o término do tratamento. As sessões foram registradas em áudio e vídeo e posteriormente transcritas. Os instrumentos utilizados foram: Inventário Beck de Depressão (BDI) (Cunha, 2001), que objetivou verificar o nível de depressão; Escala de Avaliação de Sintomas-40 (EAS-40) (Laloni, 2001), utilizada para avaliar sintomas psicopatológicos; Toronto Alexithymia Scale (TAS) (Yoshida, 2000), utilizada para medir o grau de alexitimia; Escala Fatorial de Ajustamento Emocional (EFAE) (Hutz & Nunes, 2001) para avaliar a estabilidade emocional. Os instrumentos foram aplicados após a primeira e a sexta sessão de psicoterapia, bem como um ano após o término do tratamento. Os resultados revelaram que: em relação ao BDI, houve abrandamento dos sintomas depressivos; em relação à TAS, a paciente não apresentou melhoras na capacidade de expressar afetos; em relação a EAS-40, ao final do tratamento a paciente já apresentava melhoras, mas ainda se mantinha no nível sintomatológico; por fim, em relação ao EFAE não houve mudanças estatisticamente significativas quanto à estabilidade emocional da paciente. Embora a autora fale em análise dos processos psicoterapêuticos, o estudo buscou verificar a efetividade de um tratamento psicoterápico breve, através de indicadores de mudanças clínicas apresentadas pela paciente, caracterizando-se, portanto, como um estudo de efetividade.

Um estudo inglês de efetividade mais recente foi realizado por Stiles, Barkham, Twigg, Mellor-Clark & Cooper (2006). Os autores avaliaram, durante três anos, 1.309 pacientes britânicos com uma variedade de problemas psicológicos, os quais foram tratados em 58 Centros de Saúde Nacional e receberam os seguintes tratamentos: psicoterapia cognitivo-comportamental, psicoterapia centrada na pessoa, e psicoterapia psico-dinâmica. Esses três tipos de tratamento foram combinados com outros enfoques (tratamento breve estruturado, tratamento integrativo, sistêmico e de apoio), resultando em seis diferentes técnicas. No início e no fim do tratamento os pacientes foram avaliados pelo próprio terapeuta através do CORE Assesment, instrumento que avalia a severidade e a duração do diagnóstico. Além disso, no início e no final do tratamento, o próprio paciente preenchia o CORE-OM, instrumento que avalia os domínios de bem-estar subjetivo, sintomas, funcionamento geral e riscos a si e aos outros. Um dos principais resultados apoiou o veredicto "Dodô", já que nenhuma psicoterapia teve resultados melhores do que outra para qualquer quadro clínico avaliado.

Embora diversos estudos mostrem evidencias de que as psicoterapias não se diferenciam no tratamento de quadros clínicos semelhantes, diversos autores tem criticado estas ideias sintetizadas pelo veredicto "Dodô". Por exemplo, Hilliard (1993) criticou tanto os estudos de eficácia quanto os de efetividade, ao destacar que pode estar havendo um certo erro metodológico ao se realizar comparações de grupos de pacientes submetidos às psicoterapias, antes que se tenha uma real clareza de como ocorrem os processos psicoterapêuticos individualmente. Por exemplo, se um estudo de eficácia compara um grupo de trinta pacientes, submetidos, a dois diferentes tipos de psicoterapia em que 5 indivíduos tenham um resultado bastante positivo, 5 um resultado insatisfatório e 5 tenham resultados neutros, a média vai ocultar essa variação e pode indicar não haver diferenças entre as intervenções, que é o que se observa no veredicto "Dodô". Para Hilliard, a pergunta a ser feita é "como um terapeuta em particular afetou o comportamento do cliente" e isso só pode ser respondido com análises caso a caso, pelo menos até que se tenha um escopo teórico e empírico consistente para então fazer comparação entre sujeitos. Uma segunda consideração feita por Hilliard é que as teorias disponíveis de psicoterapia são muito globais, o que dificulta a identificação dos processos de mudança ao longo do tratamento. Isto se faz importante também nas pesquisas com estudos de caso, que precisam de teorias que especifiquem mais o processo de mudança e, por isso, se faz necessária a criação de construtos mais específicos e menos globais, passíveis de serem testados.

Outra posição em relação a como fazer pesquisa em psicoterapia é descrita por Charman (2003), que sugere duas possibilidades: ou buscar aspectos intrínsecos da teoria, como proposto por Hilliard, ou então visar, a partir de estudos ainda de caráter exploratórios, desenvolver conceitos panteóricos, que enfatizem a colaboração entre paciente e terapeuta para alcançar mudanças mutuamente compreendidas, para posterior validação empírica. Segundo essa autora, da forma como as pesquisas são conduzidas hoje, cada uma seguindo diferentes paradigmas e convicções sobre as regras e padrões para pesquisas científicas, pouco se pode avançar além do veredicto "Dodô".

Desta forma, salientamos que o veredicto "Dodô" ampliou a discussão sobre qual o tipo de intervenção terapêutica produz determinado efeito ou é mais indicado para determinado quadro clínico. Para alguns autores, essa questão poderá ser respondida com estudos de caso qualitativos (Berríos & Lucca, 2006; Krause et al., 2006), por sua capacidade de capturar de forma detalhada e profunda os processos psicoterápicos. Nesse sentido, faz-se necessária uma mudança epistemológica, que valorize o papel da subjetividade e a existência de múltiplas compreensões, especialmente na pesquisa em psicoterapia (Berríos & Lucca, 2006). Este método tem sido considerado a melhor maneira de descrever processos de mudança psicológica e a complexidade de uma psicoterapia (Diniz-Neto & Féres—Carneiro, 2005). Como visto acima, há uma clara diferença de perspectiva entre os modelos de eficácia/efetividade e o modelo de pesquisa sobre processo psico-terápico. Os primeiros buscam avaliar as psicoterapias pelos resultados alcançados, enquanto o segundo busca compreender as variáveis relacionadas com a mudança propriamente dita.

As pesquisas sobre o processo em psicoterapia

Na revisão da literatura realizada por Jung et al. (2007), os autores destacam que a avaliação do processo psicoterápico foi realizada inicialmente por Freud (1895/1980) em seus estudos sobre histeria, e posteriormente, na década de 1940, com o trabalho de Rogers (1942/2005), que estudaram as gravações de sessões psicoterápicas. Isto levou ao desenvolvimento de inúmeros procedimentos para a análise de sessões de psico-terapia, os quais buscavam um melhor entendimento da natureza da interação paciente-terapeuta. Em seus estudos iniciais, Freud (1895/1980) buscava encontrar a causalidade psíquica apresentada pelo paciente, o que retratava através de uma narrativa de casos, bem como de sua evolução. Já os estudos iniciais de Rogers investigavam trocas isoladas e discretas entre o terapeuta e o paciente (exemplo o silêncios), em vez de unidades funcionais que deveriam refletir de forma mais ampla os processos de mudança.

No entanto, tais pesquisas foram deixadas de lado em pouco tempo (Goldfried & Wolfe, 1996; Kächele, 2000), configurando-se atualmente um novo seguimento do estudo do processo psicoterápico. Dentro do movimento atual de avaliação de processo psicoterápico, diversos autores propõem distintas formas de avaliação (Fishman, 2002; Goldfried & Wolfe, 1996; Hill, Thompson & Willians, 1997; Hilliard, 1993; Howard et al., 1996; Kächele, 2000; Krause et al., 2006) tendo em vista a complexidade dos fenômenos processuais (Kächele, 2000).

Um exemplo é a retomada do delineamento de estudos de caso, mas com uma metodologia mais rigorosa (Jung et al.,2007). A ideia é aumentar a cientificidade dos estudos, com destaque tanto para o contexto em que ocorrem, como para a subjetividade envolvida na psicoterapia, priorizando registros mais claros e precisos do tratamento, uso de medidas de resultado e procedimentos diagnósticos válidos e confiáveis. Contudo, como destaca Charman (2003), o princípio nesse tipo de investigação é considerar a psicoterapia como um processo, e não um produto, uma vez que implica um processo interpessoal desenvolvido para promover mudanças nos sentimentos, cognições e comportamentos.

Uma proposta, chamada de psicologia pragmática, vem sendo defendida por Fishman (2002). Embora sendo destacada como alternativa ao positivismo, preserva raízes deste movimento, na medida em que propõe que os estudos de caso qualitativos e sistemáticos sejam inseridos em uma base de dados para constantes análises. Para o autor, o estudo de caso pragmático é epistemologicamente integrativo, tanto por combinar o padrão de indicadores do desempenho quantitativo com as medidas dos problemas apresentados e com o desfecho, na tradição positivista, quanto por elaborar descrições qualitativas, na tradição do construcionismo social.

Seguindo algumas ideias de Fishman, Howard et al. (1996) propuseram um enfoque centrado no progresso do curso do paciente individual, envolvendo igualmente avaliações qualitativas e quantitativas dos casos. Howard et al. (1996) propuseram que ambos os enfoques (positivismo e construcionismo social) devem ser considerados, porém realizados separadamente, destacando que estudos de caso qualitativos podem ser realizados sem necessariamente envolver avaliações quantitativas. Para os autores, existem três categorias distintas de estudos de caso, que podem ser usadas separadamente para analisar os processos terapêuticos: o estudo de caso único experimental, a análise quantitativa de caso único (ambos quantitativos), e o estudo de caso com ênfase na análise qualitativa.

Outra abordagem possível para a pesquisa de processo foi apresentada por Hill (1990) e Hill et al. (1997) que desenvolveram um método denominado pesquisa qualitativa consensual (Consensual Qualitative Research - CQR), pautado principalmente na teoria baseada em evidências (grounded theory). Isso significa que, nesse método, não são definidas categorias a priori e que há uma constante comparação entre os dados e as categorias derivadas, até que as ideias principais sejam identificadas, ou seja, o processo é essencialmente indutivo. Embora não seja um modelo específico de análise de psicoterapia, os autores sugerem que pode ser muito útil para essa finalidade, uma vez que permite entender a singularidade dos comportamentos do paciente e/ou do terapeuta, ou então sequências interativas e fenômenos que ocorrem durante longos períodos de tempo. Além disso, o contexto do caso é utilizado a fim de auxiliar na compreensão de especificidades da experiência. As análises dos dados são realizadas por uma equipe de 3 a 5 pesquisadores, a fim de que haja uma variabilidade de opiniões sobre cada decisão. O consenso é usado para que a melhor construção possível seja desenvolvida para todos os dados. Feita a análise inicial, ela é conferida por outros dois "auditores", a fim de assegurar que a primeira equipe não negligenciou nenhum dado importante. Por fim, a equipe inicial pode retomar continuamente os dados brutos até estar segura de que os resultados são precisos e baseados nos dados. Os autores ainda descrevem três passos de como fazer a análise do conteúdo em si. Primeiro, os dados são subdivididos em alguns tópicos temáticos; em um segundo momento, as ideias principais são construídas conforme esses domínios para cada caso; e, por fim, é realizada uma análise entre os casos (cross analysis) buscando examinar as consistências entre eles. Só então são feitas as possíveis explicações e inferências.

Já a revisão da literatura sobre processo terapêutico realizada por Krause et al. (2006) revelou linhas de investigação e procedimentos metodológicos. Independente da linha de pesquisa, a pessoa do terapeuta tem papel fundamental. A primeira linha, intitulada "o estudo do processo terapêutico", se centra tanto na interação terapêutica como no processo de mudança experimentado durante a relação de ajuda e estuda os episódios relevantes de mudança psicoterápica. Esta linha de investigação é adequada para abarcar assuntos de maior complexidade, abandonando a premissa da homogeneidade do processo psicoterápico. Para tanto, é importante a análise das relações sequenciais dos dados e a identificação de eventos ou episódios relevantes de troca. Os autores referiram que, metodologicamente, se faz necessária uma maior flexibilidade para analisar os dados desta linha, o que se traduz em um interesse crescente pelos métodos de investigação qualitativos, assim como na combinação de métodos qualitativos com quantitativos. Mas diante desta combinação, o qualitativo se destaca, por se considerar que a percepção humana é o melhor "instrumento de coleta" de padrões e episódios do processo psicoterápico.

Já a segunda linha de investigação - denominada por Krause et al. (2006) "o estudo dos fatores de mudança inespecíficos" - também chamados de "fatores comuns" a diferentes tipos de psicoterapias - busca descobrir quais fatores da psicoterapia transversais a diferentes tipos de psicoterapias, seriam responsáveis pelos processos de mudança. A partir da dificuldade de se determinarem empiricamente os fatores de mudança específicos, passou-se a discutir sobre fatores inespecíficos. Esses, no começo, eram considerados o produto da aplicação de métodos de investigação inadequados, mas posteriormente obtiveram um status próprio como objeto de investigação. Em termos gerais, os fatores inespecíficos ou comuns incluem condições gerais da terapia, tais como: aliança terapêutica, a estrutura da situação terapêutica, a função do terapeuta, a forma de interação entre os envolvidos nas sessões, a forma em que se organizam e se transmite os conteúdos terapêuticos, e a capacidade do paciente em se ajudar.

Em particular, a literatura tem destacado a importância dos fatores inespecíficos na avaliação em psicoterapia. Na revisão de Chatoor e Kurparick (2001) foram destacados três fatores inespecíficos que contribuem para os resultados do tratamento e estão mais associados às diferenças nos resultados do que um determinado método de abordagem: a aliança terapêutica, a competência do terapeuta e a aderência do terapeuta a uma modalidade de tratamento. Em relação à competência do terapeuta, em três estudos (Buckley, Newman, Kellett & Beail, 2006; Chatoor & Kurparick, 2001; Jung et al., 2007) onde essa variável foi avaliada, não houve diferença nos resultados das terapias quando se considerou o tempo de experiência dos terapeutas. Isso pode estar associado ao fato de os terapeutas menos experientes contarem com supervisão dos casos ou ainda à possibilidade de a diferença entre terapeutas ser algo mais subjetivo, relacionado talvez a suas características pessoais e relacionais, que não se traduzem apenas no tempo de experiência (Jung et al., 2007). Estes últimos autores buscaram explicar este achado por meio do que denominaram de "eros terapêutico", ou seja, o grande entusiasmo característico de terapeutas iniciantes que pode levar a repercussões positivas no resultado da terapia. De qualquer forma, esse é um tema que ainda merece mais investigações.

Alguns autores referem que, em vez de estudar o "processo terapêutico" com ênfase nas trocas terapeuta-paciente, deve-se focar o estudo do "processo de mudança", por ser uma dimensão importante do processo psicoterápico (Goldfried & Wolfe, 1996; Hilliard, 1993; Kächele, 2000; Krause et al., 2006; Pheula & Isolan, 2007). Neste enfoque, tanto os momentos iniciais como finais da psicoterapia são levados em consideração, assim como todos os momentos ao longo do processo que envolvem mudanças. O objetivo não é examinar o que está acontecendo na psicoterapia (principal característica dos estudos de processo terapêutico), nem apenas a comparar os momentos inicias e finais (que constituem os estudos de eficácia terapêutica), mas sim identificar, descrever, explicar e predizer efeitos dos processos que levaram a mudanças terapêuticas ao longo de toda a intervenção (Hilliard, 1993). A questão dirigida por esta abordagem para a pesquisa do processo psicoterápico é: "o que tem feito o psicoterapeuta para ter um impacto particular sobre o paciente?"

Tais pesquisas constituem uma tentativa de construir mapas que possam clarear a descrição das mudanças que ocorrem ao longo do processo psico-terápico (Goldfried & Wolfe, 1996). Para tanto, faz-se necessário um paradigma de pesquisa alternativo, que emerja das interações entre terapeuta e paciente e individualize a intervenção em cada caso particular, o que indica a importância de se considerar o estudo de caso único (Goldfried & Wolfe, 1996; Krause et al., 2006). Assim, pode-se identificar os processos de mudanças nos pacientes e os comportamentos do terapeuta que as possa ter eliciado.

Esta abordagem de pesquisa poderia focar pelo menos dois tipos de processos de mudanças (Goldfried & Wolfe, 1996): a) indicações intrapessoais e interpessoais das mudanças dos pacientes; e b) ações do terapeuta que, de forma fidedigna, tragam tais mudanças ao paciente. Por exemplo, quais comportamentos do terapeuta e indicadores de mudanças no paciente estão presentes quando memórias intrusivas traumáticas são emocionalmente processadas?

Esta abordagem que investiga os pontos de mudanças, assim como outras similares que envolvem o conceito de episódio, têm sido estudadas por diversos autores (Helmeke & Sprenkle, 2000; Martin & Stelmaczonek, 1989; Váldez et al., 2005). Para eles, trabalhar com pontos de mudança é identificar e descrever exaustivamente os momentos que aparecem como significativos, mais chamativos ou relevantes para o processo de mudança. Em particular, procura-se fazer assinalamentos quanto ao espaço de tempo entre os pontos de mudança, o segmento onde mais se expressa a mudança, e a sequência de pontos de mudança dentro de uma ou muitas sessões terapêuticas. Após estes assinalamentos é realizada uma análise ampla tanto da relação das mudanças como dos momentos anteriores à mudança, utilizando-se de uma abordagem qualitativa, que trata não só de demarcar estes pontos, mas também o que os compõem. Entre os inúmeros pontos de mudança, a literatura destaca como mais comuns os momentos de resolução de problemas, de tomada de consciência, de apoio e de insight (Elliott et al., 1994); bem como momentos em que surgem novas formas de comportamento (Hill, 1990).

O insight, ou seja, tornar consciente o material inconsciente, é importante, pois facilita e reforça a mudança terapêutica - mas não é o essencial (Morgan et al., 1998). Também é relevante como o paciente se vê e como se relaciona com as pessoas, e isso ocorre a partir da relação entre a dupla terapêutica, no aqui e agora, através de interações verbais e não-verbais. Conforme Fonagy (1998), quando se estabelecem momentos de conexão, o terapeuta é visto pelo paciente como um novo objeto, e seu envolvimento permite um afastamento de suas experiências passadas com outras pessoas, viabilizando a alteração de seu conhecimento relacional implícito. Nesta mesma direção, Beebe (1998) complementa que os momentos autênticos de conexão entre terapeuta e paciente, bem mais do que as interpretações do material inconsciente, são as bases para as verdadeiras transformações psíquicas.

Em relação especificamente à pesquisa de processo psicoterápico no Brasil, Serralta et al. (2007) afirmaram que este é um campo em fase de desenvolvimento inicial, pois ainda não há estudos sistemáticos do processo terapêutico, e poucas são as medidas disponíveis para os pesquisadores interessados nesse tema. Contudo, observaram um recente interesse por essa temática, expresso pela publicação de trabalhos sobre fatores do paciente associados a sua capacidade de formar aliança terapêutica e sobre a associação entre aliança terapêutica e transferência. Os autores perceberam ainda um maior interesse, entre pesquisadores, na elaboração de versões brasileiras de instrumentos que avaliam fatores que integram ou influenciam o processo da psicoterapia, como transferência, contra-transferência, aliança terapêutica e mecanismos de defesa.

Nesse sentido, Serralta et al. (2007) elaboraram uma versão em português do Psychotherapy Process Q-Set (PQS), um instrumento, segundo eles, capaz de fornecer descrições empírica e clinicamente significativas do processo terapêutico de diferentes abordagens psicoterápicas. O instrumento é de autoria de Enrico E. Jones, psicólogo, psicanalista, professor e pesquisador da Universidade de Berkeley, falecido em 2003 (Jones, 2000). O PQS e seu manual original são de 1985 e foram publicados por primeira vez em 2000 no apêndice do livro "Therapeutic Action: a guide to psychoanalytic therapy". Segundo Serralta et al. (2007), o PQS foi originalmente desenvolvido com o objetivo de compreender o papel dos diferentes fatores envolvidos no processo terapêutico. É um instrumento aplicável à sessão terapêutica gravada em áudio e/ou vídeo, promovendo uma descrição detalhada e abrangente dos elementos do processo terapêutico. O PQS tem sido bastante utilizado por pesquisadores de diversos países para estabelecer empiricamente relações causais entre o processo terapêutico e a mudança psíquica, em delineamentos de caso único ou de múltiplos casos, e também para comparar o processo terapêutico de diferentes psicoterapias, identificar os fatores do processo que melhor predizem os resultados terapêuticos, examinar o processo de formulação das hipóteses clínicas dos psicoterapeutas, entre outras aplicações

Outro instrumento de avaliação do processo psicoterápico, mais especificamente sobre a aliança terapêutica, a Escala de Aliança Psicoterápica da Califórnia, na versão do paciente (Calpas-P) (Marmar, Weiss & Gaston, 1989) foi recentemente adaptada para o Brasil por Marcolino e Iacoponi (2001). A escala presta-se a medir quatro dimensões da aliança: aliança terapêutica; aliança de trabalho; compreensão e envolvimento do terapeuta; e acordo entre o paciente e o terapeuta em relação aos objetivos e às estratégias utilizadas no tratamento. As versões em português do PQS e do Calpas-P apresentaram propriedades semelhantes às das versões originais, e estão disponíveis para uso em pesquisas brasileiras.

Considerações Finais

Os estudos revisados acima sobre avaliação de psicoterapias revelam uma expressiva evolução no curso das pesquisas sobre o tema, desde os estudos pioneiros, passando pelos de eficácia e efetividade (ainda presentes e dominantes) e chegando ao estudo do processo psicoterápico, especialmente com estudos de caso que são realizados de distintas maneiras por vários autores. Porém, também é possível constatar que ainda existem muitas dúvidas e perguntas sem respostas no campo da pesquisa em psicoterapia tanto em função das dificuldades inerentes na avaliação de um processo tão complexo, quanto em função de as psicoterapias também sofrerem mudanças com o passar dos anos, inclusive com o surgimento de novas abordagens.

É possível que novas investigações sobre o processo psicoterápico possam contribuir para diminuir estas lacunas. Por exemplo, em uma revisão sistemática da literatura, Pheula e Isolan (2007) questionaram a manualização das psicoterapias nas pesquisas. Se, por um lado, ela permite a descrição minuciosa dos procedimentos adotados, o que é importante para a replicação de estudos, por outro lado impede a correção de técnicas durante o tratamento, prática comum na clínica. Além disso, a rigidez dos manuais pode prejudicar a relação terapêutica ao enfatizar excessivamente uma determinada técnica. Uma solução possível é a combinação de várias técnicas, mantendo o caráter focal da terapia, mas com menor rigidez quanto à determinação da intervenção em cada sessão. Os métodos disponíveis estão aí para serem analisados e adequados às demandas e oferecem esta possibilidade flexível, desde que haja uma postura do clínico-pesquisador comprometida com os avanços científicos (Jung, Fillippon, Nunes & Eizirik, 2006).

Por fim, salienta-se a importância de se persistir no estudo do processo psicoterápico, pois isto permitirá uma maior aproximação entre pesquisa e prática clínica, o que sem dúvida se constitui em um grande desafio para todos os envolvidos com esta temática. E tanto a pesquisa como a prática clínica se beneficiarão destas trocas, que permitirão uma melhor compreensão sobre as psicoterapias.

Recebido em: 25/8/2010

Versão final reapresentada em: 29/6/2011

Aprovado em: 25/8/2011

  • American Psychiatric Association. (1995). Critérios diagnósticos do DSM-IV Porto Alegre: Artes Médicas.
  • Beebe, B. (1998). A procedural theory of therapeutic action: commentary on the symposium. Interventions that effect change in psychotherapy. Infant Mental Health Journal, 19 (3), 333-340.
  • Berríos, R., & Lucca, N. (2006) Qualitative methodology in counseling research: Recent contributions and challenges for a new century. Journal of Counseling & Development, 84 (2),174-186.
  • Buckley, V. J., Newman, D. W., Kellett, S., & Beail, N. (2006). A naturalistic comparision of effectiveness os trianee and qualified therapists. Psychology and Psychotherapy: Theory, Research and Practise, 79 (1),137-144.
  • Carroll, L. (2009). As aventuras de Alice no País das Maravilhas Lisboa: Relógio d'Água. (Originalmente publicado em 1865).
  • Charman, D. (2003). Paradigms in current psychotherapy research: a critique and the case for evidence-based psychodynamic psychotherapy research. Australian Psychologist, 38 (1), 39-45.
  • Chattor, I., & Krupnick, J. (2001). The role of non-specific factors in treatment outcome of psychotherapy studies. European Child & Adolescent Psychiatry, 10 (Suppl. 1), S19-S25.
  • Cunha, J. (2001). Manual da versão em português das Escalas Beck São Paulo: Casa do Psicólogo.
  • Diniz-Neto, O. D., & Féres-Carneiro, T. (2005). Eficácia terapêutica: terapia de família e o efeito "Dodô". Estudos de Psicologia (Natal), 10 (3), 355-361.
  • Del Prette, Z. A. P., & Del Prette, A. (2008). Significância clínica e mudança confiável na avaliação de intervenções psicológicas. Psicologia: Teoria e Pesquisa, 24 (4), 497-505.
  • Elliot, R., Shapiro, A., Firth-Cozens, J., Stiles, B., Hardy, E., Llewellyn, P., et al. (1994). Insight in interpersoal-dyamic therapy: a comprehensive process analysis. Journal of Counseling Psychology, 41 (4), 449-463.
  • Elkin, I., Gibbons, R., Shea, T., Sotsky, M., Watkins, T., Pilkonis, P., et al. (1995). Initial severity and differential treatment outcome in the National Institute of Mental Health Treatment of Depression Collaborative Research Program. Journal of Consulting and Clinical Psychology, 63 (5), 841-847.
  • Eysenck, H. (1952). The effects of psychotherapy: an evaluation. Journal of Consulting Psychology, 16 (5), 319-324.
  • Ferreira, N. S., & Yoshida, E. M. P. (2004). Produção científica sobre psicoterapias breves no Brasil e demais países latino-americanos (1990-2000). Estudos de Psicologia (Natal), 9 (3), 523-531.
  • Fishman, D. (2002). From single case to database: a new method for enhancing psychotherapy, forensic, and other psychological practice. Applied & Preventive Psychology, 10 (4), 275-304.
  • Fonagy, P. (1998). Moments of change in psychoanalytic theory: discussions of a new theory of psychic change. Infant Mental Health Journal, 19 (3), 346-353.
  • Freud, S. (1980). Estudos sobre histeria. In S. Freud. Obras psicológicas completas de Sigmund Freud (Vol. 2). Rio de Janeiro: Imago. (Originalmente publicado em 1895).
  • Goldfried, M., & Wolfe, B. E. (1996). Psychotherapy practice and research: repairing a strained alliance. American Psychologist, 51 (10), 1007-1016.
  • Helmeke, K., & Sprenkle, D. (2000). Clients' perceptions of pivotal moments in couples therapy: a qualitative study of change in therapy. Journal of Marital and Family Therapy, 26 (4), 469-483.
  • Hill, C. (1990). Exploratory insession process research in individual psychotherapy: a review. Journal of Counsulting and Clinical Psychology, 58 (3), 288-294.
  • Hill, C., Thompson, B., & Willians, E. (1997). A guide of consensual qualitative research. The Counseling Psychologist, 25 (4), 517-572.
  • Hilliard, R. (1993). Single-case methodology in psychotherapy process and outcome research. Journal of Consulting and Clinical Psychology, 61 (3), 373-380.
  • Howard, K., Moraes, K., Brill, P., Martinovich, Z., & Lutz, W. (1996). Evaluation of psychotherapy: efficacy, effectiveness, and patient progress. American Psychologist, 51 (10), 1059-1064.
  • Hutz, C., & Nunes, C. (2001). Escala fatorial de ajustamento, emocional/neuroticismo São Paulo: Casa do Psicólogo.
  • Jacobson, N. S., Follette, W. C., & Revenstorf, D. (1984). Psychotherapy outcomes research: methods for reporting variability and evaluating clinical significance. Behavior Therapy, 15 (4), 336-352.
  • Jacobson, N. S., & Truax, P. (1991). Clinical significance: a statistical approach to defining meaningful change in psychotherapy research. Journal of Consulting and Clinical Psychology, 59 (1), 12-19.
  • Jones, E. E. (2000). Therapeutic action: a guide to psychoanalytic psychotherapy New Jersey: Aronson. (Originalmente publicado em 1895).
  • Jung, S., Fillippon, A., Nunes, M., & Eizirik, C. (2006). História recente e perspectivas atuais da pesquisa de resultados em psicoterapia psicanalítica de longa duração. Revista de Psiquiatria do Rio Grande do Sul, 28 (3), 298-312.
  • Jung, S., Nunes, M., & Eizirik, C. (2007). Avaliação de resultado da psicoterapia psicanalítica. Revista de Psiquiatria do Rio Grande do Sul, 29 (2), 184-196.
  • Kächele, H. (2000). Conventional wisdom and/or evidence-based psychotherapy In S. Gril, A. Ilbanez, I. Mosca & P. Souza (Orgs.), Investigación en psicoterápica: processos y resultados (pp.17-26). Pelotas: Educat.
  • Krause, M., Parra, G., Aristegui, R., Dagmino, P., Tomicic, A., Valdés, N., et al. (2006). Indicadores genéricos de cambio en el proceso psicoterapéutico. Revista Latinoamericana de Psicología, 38 (2), 299-325.
  • Laloni, D. T. (2001). Escala de avaliação de sintomas-90-R SCL-90-R: adaptação, precisão e validade Tese de doutorado não-publicada, Pontifícia Universidade Católica de Campinas.
  • Luborsky, L, Singer, B., & Luborsky L. (1975). Comparative studies of psychotherapies. Archives of General Psychiatry, 32 (8), 995-1008.
  • Marcolino, J. A. M., & Iacoponi, E. (2001). Escala de aliança psicoterápica da Califórnia na versão do paciente. Revista Brasileira de Psiquiatria, 23 (2) 88-95.
  • Marmar, C., Weiss D., & Gaston, L. (1989). Toward validation of the California therapeutic alliance rating system. Psychological Assessment, 1 (1), 46-52.
  • Martin, J., & Stelmaczonek, K. (1989). Participant's identification and recall of important events in counseling. Journal of Counseling Psychology, 35 (4), 385-390.
  • Morgan, A., Bruschweiler-Stern, N., Harrison, A., Lyons-Ruth, K., Nahum, J., Sander, L., et al. (1998). Moving along to things left undone. Infant Mental Health Journal, 19 (3), 324-332.
  • Pheula, G. F., & Isolan, L. R. (2007). Psicoterapia baseada em evidências em crianças e adolescentes. Revista Psiquiatria Clínica, 34 (2), 74-83.
  • Robson, C. (1993). Real world research: a resource for social scientist and practioner researchers Oxford: Blackwell Publishing.
  • Rogers, C. (2005). Psicoterapia e consulta psicológica São Paulo: Martins Fontes. (Originalmente publicado em 1942).
  • Seligman, M. (1995). The effectiveness of psychotherapy: the consumer report survey. American Psychologist, 50 (12), 965-974.
  • Serralta, F. B., Nunes, M. L. T., & Eizirik, C. L. (2007). Elaboração da versão em português do psychotherapy process Q-Set. Revista de Psiquiatria do Rio Grande do Sul, 29 (1), 44-55.
  • Stiles, W., Barkham, M., Twigg, E., Mellor-Clark, J., & Cooper, M. (2006). Effectiveness of cognitive-behavioral, person-centred and psychodynamic therapies as practiced in UK National Health Service settings. Psychological Medicine, 36 (4), 555-566.
  • Valdés, N., Krause, M., Vilches, O., Dagnino, P., Echavarri, O., Bem-Dov, P., et al. (2005). Proceso de cambio psicoterapéutico: análisis of relevant episodes in a group therapy with addict patients. Psykhe, 14 (2), 3-18.
  • Yoshida, E. M. P. (2000). Toronto alexthymia scaletas: precisão e validade da versão em português. Psicologia: Teoria e Prática, 2 (1), 59-74.
  • Yoshida, E. M. P. (2008). Significância clínica de mudança em processo de psicoterapia psicodinâmica breve. Paidéia, 18 (40), 305-316.
  • Wallerstein, R. (1989). The psychotherapy research project of the Menninger Foundation: an overview. Journal of Consulting and Clinical Psychology, 57 (2), 195-205.
  • 1
    Apoio: Conselho Nacional de Desenvolvimento Científico e Tecnológico (Projeto nº 481594/2004-3).
  • Datas de Publicação

    • Publicação nesta coleção
      02 Jul 2012
    • Data do Fascículo
      Jun 2012

    Histórico

    • Recebido
      25 Ago 2010
    • Aceito
      25 Ago 2011
    • Revisado
      29 Jun 2011
    Programa de Pós-Graduação em Psicologia, Pontifícia Universidade Católica de Campinas Núcleo de Editoração SBI - Campus II, Av. John Boyd Dunlop, s/n. Prédio de Odontologia, 13060-900 Campinas - São Paulo Brasil, Tel./Fax: +55 19 3343-7223 - Campinas - SP - Brazil
    E-mail: psychologicalstudies@puc-campinas.edu.br