Versão Portuguesa do CORE-OM: tradução, adaptação e estudo preliminar das suas propriedades psicométricas

The Portuguese version of the CORE-OM: translation, adaptation, and preliminary study of psychometric properties

ARTIGO ORIGINAL

Versão Portuguesa do CORE-OM: tradução, adaptação e estudo preliminar das suas propriedades psicométricas

The Portuguese version of the CORE-OM: translation, adaptation, and preliminary study of psychometric properties

Célia Maria Dias Sales^I; Carla Marina de Matos Moleiro^II; Chris Evans^III; Paula Cristina Gomes Alves^II

^IUniversidade Autônoma de Lisboa, Centro de Investigação e Intervenção Social do Instituto Universitário de Lisboa (ISCTE)

^IICentro de Investigação e Intervenção Social do ISCTE

^IIINottinghamshire Healthcare NHS Trust

^{Endereço para correspondência}

RESUMO

CONTEXTO: O Clinical Outcome Routine Evaluation - Outcome Measure (CORE-OM) é um instrumento europeu de autorrelato para medir a saúde mental em adultos e se encontra adaptado para mais de 20 países. O CORE-OM é utilizado em contextos clínicos hospitalares, saúde ocupacional e educacional, assim como na avaliação da qualidade dos serviços de saúde mental.

OBJETIVOS: Este estudo apresenta a tradução e a adaptação do CORE-OM para a língua portuguesa.

MÉTODOS: A tradução do CORE-OM seguiu o protocolo internacional da equipe CORE System Trust, em colaboração com os autores originais da medida. Este protocolo envolveu sete traduções independentes, elaboradas por pessoas com/sem familiaridade com a área de saúde mental e por tradutores profissionais. Essas traduções foram posteriormente discutidas em formato de grupo focal, do qual resultou uma versão final da medida. Participaram no processo de tradução indivíduos de várias faixas etárias, contextos socioculturais e níveis de escolaridade.

RESULTADOS: Resultados preliminares numa amostra de 111 indivíduos (população geral) revelam que essa tradução é fiável e com elevada consistência interna.

CONCLUSÃO: A versão portuguesa do CORE-OM aqui apresentada é relevante e adequada, sendo um instrumento indicado para avaliar a mudança psicológica tanto em investigação como na prática clínica.

Palavras-chave: Tradução, bem-estar psicológico, medidas de autorrelato, CORE-OM, versão portuguesa.

ABSTRACT

BACKGROUND: The Clinical Outcome Routine Evaluation - Outcome Measure (CORE-OM) is a European self-report measure of psychological well-being in adults, which is already adapted for more than 20 countries. The CORE-OM is applicable in primary care settings, in occupational health and educational contexts, as well as for evaluations of mental health services quality.

OBJECTIVES: To translate the CORE-OM into and adapt it to the Portuguese language.

METHODS: The translation of CORE-OM to Portuguese was conducted in accordance with the CORE System Trust international guidelines, in collaboration with the authors of the original CORE-OM. This guidelines involved seven independent translations by individuals familiar/non-familiar with the field of mental health and by licensed translators. After the discussion of these translations in a focus group, a final version of the Portuguese CORE-OM was established. Individuals from different age groups, socio-cultural backgrounds and educational levels participated in this translation process.

RESULTS: Preliminary results in a sample of 111 individuals (general population) show that the translated measure is confidential and has a good internal reliability.

DISCUSSION: The Portuguese version of the CORE-OM is a valid and adequate instrument to evaluate psychological changes, both in research and clinical practice contexts.

Keywords: Translation, psychological well-being, self-report questionnaires, CORE-OM, Portuguese version, IPPS.

Introdução

O sistema CORE (do acrônimo inglês Clinical Outcome in Routine Evaluation) é uma bateria de instrumentos de avaliação da qualidade do tratamento psicológico, desenvolvido no Reino Unido, durante a década de 1990, em resposta a exigências de avaliação do serviço nacional de saúde mental naquele país^1-4. Especificamente, foi recomendado que se passasse a: a) avaliar os resultados de cada tratamento; b) usar esses resultados da efetividade dos tratamentos realizados, juntamente com outros indicadores de funcionamento (por exemplo, tempo de espera), para avaliar a qualidade do serviço; c) usar essa informação sobre o desempenho dos serviços na gestão de qualidade e para organizar a articulação inter-serviços, procurando, assim, adequar a oferta do sistema de saúde mental às necessidades clínicas de uma certa região ou do próprio país⁴.

Até então os profissionais costumavam avaliar a sua intervenção com instrumentos criados por eles próprios, ou com instrumentos importados dos Estados Unidos, não gratuitos, que se focavam essencialmente nos quadros sintomáticos e que não abrangiam todas as informações consideradas relevantes do ponto de vista clínico^4,5. Ilustrando a disparidade nos procedimentos de avaliação dos resultados psicoterapêuticos, Froyd⁶et al. identificaram, numa revisão sistemática da literatura, cerca de 1.430 instrumentos dessa natureza (i.e., outcome measures), dos quais 851 eram utilizados apenas pontualmente.

Foi nesse contexto que uma equipe multidisciplinar de psiquiatras, psicoterapeutas, psicólogos clínicos e conselheiros se reuniram com o intuito de desenvolver uma bateria de instrumentos capaz de dar resposta aos novos requisitos de avaliação^2-5. Este artigo apresenta a versão portuguesa de um dos instrumentos dessa bateria: o questionário CORE-OM. São descritos o processo de tradução para português, a adaptação cultural ao nosso país e os dados iniciais das suas características psicométricas.

O sistema CORE

Partindo de uma filosofia bottom-up⁴, isto é, da prática para a teoria, iniciou-se em 1995 uma estreita colaboração com profissionais no terreno, para desenvolverem um sistema de avaliação dos serviços psicológicos que fosse relevante do ponto de vista clínico, adaptado às exigências práticas de funcionamento dos serviços e potencialmente aplicável a uma grande diversidade de áreas/serviços de ajuda psicológica.

Dessa feita, 220 profissionais de ajuda foram questionados, de modo aberto e qualitativo, acerca das informações que recolhiam rotineiramente dos seus pacientes^4,5. Esses profissionais eram provenientes de dois grupos distintos, o primeiro composto por 1.190 serviços do Sistema Nacional de Saúde Britânico e o segundo com membros da Society for Psychotherapy Research - UK. Em paralelo, foram consultadas, ainda, várias Autoridades Locais para a Saúde Familiar (do inglês Family Health Service Authority), nas quais foram recolhidos 26 questionários semelhantes aos enviados para os profissionais de saúde.

A análise de conteúdo (i.e., grounded theory) desses dados qualitativos resultou na identificação de várias categorias temáticas que, segundo a amostra, deveriam ser recolhidas em duas fases da terapia: a) Pré-terapia: Sintomas, Funcionamento pessoal, Histórico médico, Risco, Bem-estar subjetivo, Fatores contextuais e Orientação terapêutica; b) Pós-terapia: Eficácia do tratamento e Eficácia do serviço.

As informações recolhidas neste estudo resultaram no desenvolvimento de três ferramentas distintas: uma medida de resultado, o CORE-OM (do inglês Outcome Measure), a ser preenchido pelo paciente, e dois questionários para os terapeutas, designadamente o Questionário de Caracterização Pré-terapia (Therapy Assessment Form) e o Questionário do Final da Terapia (End of Therapy Form)⁷. Esses dois últimos questionários, cujo conjunto se designa por CORE-A (do inglês Assessment), têm como objetivo a avaliação subjetiva do terapeuta sobre a terapia e também a recolha de informações adicionais acerca do paciente, para uma visão mais compreensiva do caso clínico⁵. O Questionário de Caracterização é preenchido antes do início do tratamento e descreve o paciente com base nos dados sociodemográficos (p. ex., idade, gênero), o seu histórico prévio de acompanhamento clínico (p. ex., medicação prescrita, episódios prévios de tratamento) e outras informações relevantes para o plano clínico (p. ex., fonte de encaminhamento). No que concerne ao Questionário do Final da Terapia, orientado para o momento pós-intervenção ou alta clínica, este abarca informações referentes ao tratamento recebido (p. ex., periodicidade das sessões, abordagem terapêutica, término planeado, drop-out). Para uma descrição detalhada do sistema, consultar www.coreims.co.uk.

O CORE-OM

O CORE-OM é um instrumento de autorrelato que procura medir o bem-estar psicológico de adultos que possuam um grau de literacia suficiente para compreensão do conteúdo dos itens e, se possível, o seu preenchimento autônomo. Esse instrumento poderá ser aplicado enquanto instrumento de avaliação pré-terapia ou como medida de mudança psicológica durante a intervenção e/ou no final dela⁸.

O CORE-OM não se constitui numa ferramenta de diagnóstico para perturbações específicas (p. ex., depressão), podendo, em vez disso, ser usado genericamente num grande espectro de categorias nosológicas, serviços e modalidades terapêuticas. É de salientar ainda que as propriedades psicométricas da versão original do CORE-OM têm sido amplamente estudadas, resultando na sua validação e na criação de normas para a população britânica⁸.

O CORE-OM é composto por 34 itens, que podem ser agrupados em várias dimensões: a) Bem-estar subjetivo (4 itens), b) Queixas e sintomas (12 itens), c) Funcionamento social e pessoal (12 itens) e d) Comportamentos de risco (6 itens)². Os 34 itens do CORE-OM foram formulados com diferentes níveis de intensidade, incluindo quer experiências de elevado desconforto ou sofrimento psicológico, quer situações relativamente frequentes na população geral (Tabela 1). É importante referir, ainda, que o domínio Risco não constitui uma subescala per se do CORE-OM, mas sim um conjunto de alertas clínicos que os terapeutas e serviços poderão enquadrar no contexto da intervenção em curso, supervisão clínica ou reuniões de equipe.

Versões do CORE-OM

Existem diferentes versões do CORE-OM, que podem ser usadas em diferentes situações de avaliação⁷.

- CORE-NR (Clinical Outcome Routine Evaluation - No Risk): Esta versão do CORE-OM é composta por 28 itens, incluindo todos aqueles que compõem a versão completa, exceto os itens do domínio Risco. Uma vez que os seis itens do domínio Risco são considerados alertas ou marcadores clínicos, e não uma subescala do CORE-OM, estes poderão ser então omitidos sempre que necessário.

- CORE-SF (Clinical Outcome Routine Evaluation - Short Form) - versões A e B: Composto por 18 itens, o CORE-SF corresponde à versão reduzida do CORE-OM. Existem duas versões do CORE-SF, os modelos A e B, os quais integram dois subconjuntos equivalentes de 18 itens do CORE-OM (incluindo itens do domínio Risco).

- CORE-10: Com apenas 10 dos 34 itens totais, esta versão reduzida do CORE-OM é uma medida breve de triagem e revisão clínica, incluindo também alguns itens do domínio Risco.

- CORE-5: De todas as versões reduzidas do CORE-OM, esta é a mais breve, composta por apenas 5 dos 34 itens da escala total. O CORE-5 visa à avaliação da mudança psicológica sessão a sessão, excluindo itens do domínio Risco.

- GP-CORE (General Population - Clinical Outcome Routine Evaluation⁹): Destinada à população em geral, a versão GP-CORE inclui 14 itens dos 34 que integram o CORE-OM, excluindo os que compõem o domínio Risco. Além disso, no GP-CORE também não figuram os itens do CORE-OM que identificam situações de sofrimento psicológico extremo, o que torna esta medida mais adequada para utilização em populações não clínicas e/ou estudantis.

- CORE-LD (Clinical Outcome Routine Evaluation - Learning Disabilities¹⁰): Esta versão do CORE-OM inclui 34 itens com o conteúdo original, cujo texto foi reformulado e simplificado para utilização em populações com dificuldades de aprendizagem (do inglês Learning Disabilities). Além dos itens simplificados, o CORE-LD inclui ainda recursos visuais como auxiliares de compreensão do instrumento e suas instruções.

- YP-CORE (Young Persons - Clinical Outcome Routine Evaluation¹¹): Composta por 10 itens, o YP-CORE constitui a versão infantil do CORE-OM, destinada a crianças e adolescentes com idades compreendidas entre 11 e 17 anos. Este instrumento pode ser usado não só em serviços de saúde mental, mas também em contextos não clínicos, por exemplo, em contexto escolar.

Tendo como objetivo primordial a criação de uma medida acessível para todos, a equipe CORE IMS disponibiliza gratuitamente o CORE-OM e todas as suas versões em formato de papel e caneta, para uso em contexto clínico ou de investigação.

Existem ainda duas versões informatizadas do sistema CORE, nomeadamente, o CORE-Net e, mais recentemente, o Individualized Patient Progress System (IPPS)¹³.

CORE-Net: O CORE-Net é um sistema informático, de utilização online, desenvolvido pela equipe CORE IMS em 2005. Esse programa, do qual fazem parte o sistema CORE e as versões reduzidas CORE-10 e CORE-5, possibilita uma recolha de dados dinâmica, permitindo o preenchimento direto em computador pelo paciente ou pelo terapeuta. Ao avaliar a mudança psicológica de forma rápida e em tempo real, o CORE-Net produz resultados que podem ser usados para a monitorização do progresso e tomada de decisões clínicas. Simultaneamente, o CORE-NET oferece relatórios do desempenho dos terapeutas e do funcionamento dos serviços (p. ex., número de pacientes atendidos, número de altas, abandonos, tempo médio de espera etc.), que podem ser usados por gestores e decisores políticos em processos de gestão da qualidade e financiamento dos serviços. O CORE-NET é atualmente usado em centenas de serviços no Reino Unido e na Noruega.

IPPS: A mais recente inovação tecnológica do CORE resulta da colaboração com uma equipe de investigação em Portugal (Fundação para a Ciência e a Tecnologia, referência PTDC/PSI-PCL/098952/2008), que concebeu um sistema de monitorização individualizado do progresso de mudança, designado IPPS¹². A principal inovação desse sistema consiste em medir os resultados da intervenção psicológica tendo em conta a perspectiva e os problemas únicos de cada paciente¹⁴. Sabemos que cada pessoa vive dificuldades particulares que podem não ser captadas por medidas estandardizadas (como é o CORE-OM). O objetivo, assim, é criar um sistema informático que permita uma avaliação individualizada de cada caso, combinando a avaliação dos problemas específicos que a pessoa deseja mudar na terapia, com os seus resultados no CORE-OM¹⁵. Outra novidade do IPPS é a possibilidade de monitorizar o processo terapêutico não só de indivíduos, mas também de famílias e de grupos em tratamento.

Durante o ano de 2010, a equipe de investigação e a equipe técnica do CORE Trust trabalharam em conjunto para desenvolver a aplicação web do IPPS, que na prática consiste numa extensão do CORE-Net, englobando todas as suas funcionalidades anteriores e essa nova componente individualizada^12,15. O sistema integra duas medidas de monitorização qualitativa, nomeadamente o PQ (Personal Questionnaire^14,15) e o HAT (Helpful Aspects of Therapy^16,17), que dão um feedback da evolução clínica dos casos, informação essa considerada bastante útil pelos terapeutas para a condução dos processos terapêuticos¹⁸. O IPPS integra ainda um módulo de comparação de famílias e grupos (MF Calculator - http://calculador.izone-ks.com/), que permite avaliar quem apresenta problemas específicos semelhantes, dentro de uma família ou de um grupo terapêutico, possibilitando a respectiva representação gráfica, para uso fácil pelo terapeuta¹⁹.

Atualmente, uma versão piloto do IPPS está sendo testada por uma rede colaborativa de clínicos e serviços portugueses (Portuguese Network for Practice-based Change Evaluation), estando prevista a sua disponibilização e tradução para o inglês no segundo semestre de 2012.

Por ser um instrumento flexível, o CORE-OM e as suas versões têm sido usados em vários contextos e populações, tais como avaliação da mudança psicológica em unidades primárias e secundárias de saúde^20-22, supervisão clínica²³, serviços de aconselhamento universitário²⁴ e ainda investigação em várias áreas, tais como psicoterapia²⁶ e saúde mental em geral^26-28.

O CORE-OM constitui-se também numa ferramenta útil e poderosa no contexto da avaliação da qualidade de serviços de saúde mental²⁹ e de saúde ocupacional, permitindo uma comparação de resultados quantitativos em nível local, nacional ou até internacional. Assim sendo, este instrumento poderá contribuir largamente para uma perspectiva holística da avaliação da qualidade em saúde mental, ao integrar e complementar as metodologias de avaliação de quarta geração, isto é, que recolhem informações qualitativas acerca do processo das intervenções psicológicas, na perspectiva dos agentes envolvidos em todo o serviço³⁰. Além da avaliação de serviços de saúde mental, por ser um instrumento generalista, o CORE-OM é também um potencial instrumento a se utilizar na avaliação da aplicabilidade e eficácia de protocolos clínicos inovadores, assim como do seu impacto na saúde mental e qualidade de vida dos pacientes (ver Silva e Nardi³⁰, 2011 para um exemplo de estudos dessa natureza).

Atualmente, o CORE-OM encontra-se disponível em várias línguas, tais como norueguês, eslovaco, italiano, islandês, albanês, grego, holandês, gujarati, galês, kannada, espanhol, sami, francês, alemão, curdo, polaco, árabe, turco, mandarim e japonês (Mellor-Clark, 2007). Em Portugal, o processo de tradução do CORE-OM iniciou-se em 2007, o qual será apresentado em seguida.

Métodos

Participantes

Participaram neste estudo 111 indivíduos, na sua maioria mulheres, recrutados por meio do método de amostragem em cadeia, com alunos universitários, os seus amigos e familiares. As idades dos participantes variaram entre 14 e 62 anos, com a média de 31 anos (mediana de 28 anos). A descrição sociodemográfica da amostra é apresentada na tabela 2.

Instrumento

O instrumento utilizado foi o CORE-OM, na sua versão original². Como foi referido anteriormente, o CORE-OM é composto por 34 itens que podem ser agrupados em várias dimensões, nomeadamente: a) Bem-estar subjetivo (4 itens), b) Queixas e sintomas (12 itens), c) Funcionamento social e pessoal (12 itens) e d) Comportamentos de risco (6 itens). Cada item é avaliado numa escala que varia de Nunca a Sempre ou quase sempre, cujos valores extremos oscilam entre 0 e 4 pontos, reportando-se o participante à experiência da última semana.

Procedimento

O processo de tradução do instrumento seguiu os passos utilizados pelos grupos internacionais na tradução do CORE-OM para outras línguas, uma vez que os autores defendem que não só traduções de qualidade pobre, como também a assumpção de pressupostos universalistas, comprometem a qualidade dos instrumentos traduzidos³¹, sendo, por isso, de alguma forma estandardizado o processo de tradução e monitorizado pelos autores originais. É recomendado, então, que a tradução seja feita por um grupo de pessoas, que efetuem traduções e retroversões da medida, mantendo o princípio central de tradução do significado do item (e não a tradução literal da língua inglesa)³². Esta deve envolver cinco componentes basilares:

1) A participação de, pelo menos, um(a) tradutor(a) qualificado(a).

2) A inclusão no grupo de tradução não só de pessoas com familiaridade na área da saúde mental, mas também pelo menos uma pessoa que não seja profissional em psicologia, psicoterapia ou aconselhamento e que, simultaneamente, não tenha tido experiência pessoal em terapia.

3) O envolvimento de um elemento da equipe de autores originais na revisão das versões de tradução e retroversão, sendo essencial o seu esclarecimento sobre o significado central de cada item, para que seja mantido.

4) A utilização da medida traduzida num estudo piloto, para receber feedback (principalmente ao nível da linguagem) da aplicação a pessoas de diferentes idades de contexto clínico e não clínico, bem como de diferentes grupos culturais que possam existir em cada país.

5) Finalmente, após esse processo, uma retroversão independente deve ser feita da versão traduzida final e das iniciais.

6) Seguindo esse procedimento, no presente estudo foram realizadas sete traduções independentes da medida, por quatro profissionais de saúde mental (uma das quais de origem cabo-verdiana) e três leigos (incluindo uma especialista em tradução e línguas, uma estudante de origem cabo-verdiana e um indivíduo bilíngue). Foi seguidamente efetuado um grupo de discussão focalizada, em que participaram três dessas pessoas e um dos autores originais da escala, recebendo por escrito informação dos restantes tradutores. Comentários adicionais às versões traduzidas foram recebidos de uma psicóloga que viveu alguns anos no Brasil e de um psiquiatra sênior que viveu uma década em Moçambique. Desse grupo de discussão, resultou uma tradução portuguesa do CORE-OM, que foi retrovertida por uma pessoa bilíngue (inglês/português) de nacionalidade canadense que vive em Portugal e tem formação na área da saúde mental. Esaa foi medida utilizada no presente estudo piloto.

Resultados

Uma vez que o objetivo do presente estudo empírico é a tradução e a adaptação do CORE-OM à população portuguesa, são apresentados com maior relevância os resultados que se prendem com a precisão/consistência interna numa amostra não clínica.

Os resultados referentes à consistência interna foram bastante bons, como se pode ver na tabela 4.

Pela tabela, constata-se que os níveis de consistência interna foram bons e equiparáveis aos encontrados no Reino Unido, com a exceção da subescala de risco (α = .46).

A representação gráfica dos dados em função da idade não revelou quaisquer efeitos quer em curva, quer em degrau. As correlações de Spearman dos resultados com a idade demonstraram não atingir o nível de significância (o mais baixo p = .33, rho = .10 para o bem-estar).

Discussão

O presente estudo teve como objetivo o desenvolvimento da versão portuguesa do CORE-OM², partindo do protocolo de adaptação e tradução estandardizado proposto pelos autores dessa medida. Além de ter seguido as normas internacionais para a adaptação linguística do CORE-OM, esse processo de tradução incluiu ainda participantes provenientes de vários grupos minoritários que vivem em Portugal, assim como indivíduos provenientes de diferentes faixas etárias e níveis de escolaridade, com o objetivo de assegurar uma elevada validade externa.

No que diz respeito à consistência interna, a versão portuguesa do CORE-OM revelou-se bastante adequada (α > 0,8) e comparável à versão original dessa medida. À semelhança do CORE-OM no seu todo, os resultados também indicam que as suas subescalas detêm um bom nível de consistência interna, igualmente equiparável ao CORE-OM original. É importante salientar, no entanto, a disparidade entre a consistência interna do domínio Comportamentos de Risco nas duas versões do instrumento, Portuguesa vs. Original, que na primeira se relevou bastante menor do que na segunda. Investigações futuras, com amostras de maiores dimensões, tornam-se assim necessárias não só para um estudo mais robusto e sólido das propriedades psicométricas do instrumento e respectivas subescalas, mas também para potencialmente confirmar e/ou melhorar os resultados deste estudo preliminar.

Apesar do tamanho reduzido da amostra, este estudo apresenta a versão portuguesa do CORE-OM, a qual parece ser consistente, aplicável e relevante para essa população. O próximo passo, já em curso, consistirá na validação deste instrumento para Portugal, incluindo o desenvolvimento de normas para a população clínica e não clínica, estendendo a sua utilização aos mais variados contextos, desde avaliação psicológica, monitorização clínica e investigação na área da psicoterapia e/ou saúde mental em geral. Encontram-se também já em curso estudos de adaptação cultural desta versão portuguesa do CORE-OM para o Brasil e para Moçambique.

Este trabalho foi financiado pela Fundação para a Ciência e a Tecnologia, Portugal (PTDC/PSI-PCL/098952/2008).

Recebido: 28/9/2011

Aceito: 16/12/2011

• 1. Department of Health, HMSO, NHS Psychotherapy Services in England: Review of Strategic Policy, London; 1996.
• 2. Evans C, Mellor-Clark J, Margison F, Barkham M, Audin K, Connell J, et al. CORE: Clinical Outcomes in Routine Evaluation. J Ment Health. 2000;9:247-55.
• 3. Evans R, Mellor-clark J, Barkham M, Mothersole G. Developing the resources and management support for routine evaluation in counselling and psychological therapy service provision: reflections on a decade of CORE development. Eur J Psychother Counsell. 2006;8:141-61.
• 4. Mellor-clark J, Barkham M, Connell J, Evans C. Practice-based evidence and standardized evaluation: informing the design of the CORE system. Eur J Psychother Counsell. 1999;2:357-74.
• 5. Barkham M, Mellor-Clark J, Connell J, Cahill J. A core approach to practice-based evidence: a brief history of the origins and applications of the CORE-OM and CORE System. Counsell Psychother Res. 2006;6:3-15.
• 6. Froyd J, Lambert M, Froyd J. A review of practices of psychotherapy outcome measurement. J Ment Health. 1996;5:11-5.
• 7. Mellor-Clark J. A decade of development: CORE IMS. Rugby: Penny Gray; 2007.
• 8. Evans C, Connell J, Barkham M, Margison F, McGrath G, Mellor-Clark J, et al. Towards a standardised brief outcome measure: psychometric properties and utility of the CORE-OM. Br J Psychiatry. 2002;180:51-60.
• 9. Sinclair A, Barkham M, Evans C, Connell J, Audin K. Rationale and development of a general population well-being measure: psychometric status of the GP-CORE in a student sample. Br J Guid Counsell. 2005;33:153-73.
• 10. Marshall K, Willoughby-Booth S. Modifying the Clinical Outcomes in Routine Evaluation measure for use with people who have a learning disability. Br J Learn Disabil. 2007;35:107-12.
• 11. Twigg E, Barkham M, Bewick BM, Mulhern B, Connell J, Cooper M. Young Person's CORE: development of a brief outcome measure for young people. Counsell Psychother Res. 2009;9:160-8.
• 12. Sales CMD, Alves P, Elliott R, Evans C, Jenkins AC, Mellor-Clark J. Technological innovation in family therapy: the individualized patient progress (IPPS) web system. British Association for Counselling and Psychotherapy Conference; 2011 Maio 6-7, Liverpool, Reino Unido.
• 13. Sales CMD, Alves PCG. Individualized patient-progress systems: why we need to move towards a personalized evaluation of psychological treatments. Canadian Psychology. (in press).
• 14. Sales CMD, Alves PCG. Taking clients' perspective on board: a systematic review of the methodological options. Manuscript under preparation.
• 15. Sales C, Gonçalves S, Fernandes E, Sousa D, Silva I, Duarte J, et al. Procedimento do Questionário Pessoal Simplificado (PQ). Lisboa, Portugal: Universidade Autónoma de Lisboa; 2007. [Manuscrito não publicado]
• 16. Elliott R. Helpful Aspects of Therapy Form. Toledo, Estados Unidos da América: Universidade de Toledo; 1993. [Manuscrito não publicado]
• 17. Sales C, Gonçalves S, Fernandes E, Sousa D, Silva I, Duarte J, et al. Formulário - Aspectos Úteis da Terapia (HAT). Lisboa, Portugal: Universidade Autónoma de Lisboa; 2007. [Manuscrito não publicado]
• 18. Sales C, Gonçalves S, Fragoeiro A, Noronha S, Elliott R. Psychotherapists openness to routine naturalistic idiographic research. Ment Health Learn Disabilities Res Practice. 2007;145-61.
• 19. Sales CMD, Wakker PP. The metric-frequency measure of similarity for ill-structured data sets, with an application to family therapy. The British Journal of Mathematical and Statistical Psychology. 2009;62:663-82.
• 20. Barkham M, Gilbert N, Connell J, Marshall C, Twigg E. Suitability and utility of the CORE-OM and CORE-A for assessing severity of presenting problems in psychological therapy services based in primary and secondary care settings. Br J Psychiatry. 2005;186:239-46.
• 21. Bewick B, Trusler K, Mullin T, Grant S, Mothersole G. Routine outcome measurement completion rates of the CORE-OM in primary care psychological therapies and counselling. Counsell Psychother Res. 2006;6:33-40.
• 22. Botella L. Routine evaluation in a psychotherapy service: the use of CORE System data. Eur J Psychother Counsell Health. 2006;8:235-41.
• 23. McNaughton KA, Boyd J, Mcbride J. Using CORE data in counselling supervision: an initial exploration. Eur J Psychother Counsell Health. 2006;8:209-25.
• 24. Connell J, Barkham M, Mellor-Clark J. The effectiveness of UK student counselling services: an analysis using the CORE System. Br J Guid Counsell. 2008;36:1-18.
• 25. Hall Z, Mullee M. Undertaking psychotherapy research. Group Analysis. 2000;33:319-32.
• 26. Barkham M, Culverwell A, Spindler K, Twigg E, Connell J. The CORE-OM in an older adult population: psychometric status, acceptability, and feasibility. Ageing Ment Health. 2005;9:235-45.
• 27. Cooke R, Barkham M, Audin K, Bradley M, Davy J. Student debt and its relation to student mental health. Journal of Further and Higher Education. 2004;28:53-66.
• 28. Mellor-Clark J, Barkham M. Quality evaluation: methods, measures & meaning. In: Feltham C, Horton I, editors. The Handbook of Counselling and Psychotherapy. London: Sage Publications; 2000.
• 29. Kantorski LP, Wetzel C, Olschowsky A, Jardim VMR, Bielemann VLM. Avaliação de quarta geração - contribuições metodológicas para avaliação de serviços de saúde mental. Interface - Comunicação, Saúde e Educação. 2009;13:343-55.
• 30. Silva ACO, Nardi AE. Terapia cognitivista-comportamental para perda gestacional: resultados da utilização de um protocolo terapêutico para luto. Rev Psiq Clín. 2011;38:122-4.
• 31. Evans C, Dolan D, Toriola A. Detection of intra- and cross-cultural non-equivalence by simple methods in cross-cultural research: evidence from a study of eating attitudes in Nigeria and Britain. Eat Weight Disord. 1997;2:67-78.
• 32. Evans C. Psiquiatra e professor universitário. Comunicação pessoal, 2010.

Datas de Publicação

• Publicação nesta coleção
  08 Maio 2012
• Data do Fascículo
  2012

Histórico

• Recebido
  28 Set 2011
• Aceito
  16 Dez 2011