Escala de Eficácia Adaptativa: evidências de validade com base na estrutura interna e normas interpretativas

Adaptive Efficacy Scale: Validity evidence based on internal structure and interpretative norms

Resumo

O acúmulo de evidências de validade e precisão traz respaldo aos usuários de instrumentos de avaliação psicológica. Objetivou-se estimar novas evidências de validade da estrutura interna da Escala Diagnóstica Adaptativa Operacionalizada de Autorrelato, assim como avaliar os parâmetros dos itens e características dos participantes e estabelecer normas interpretativas para a escala. A amostra foi composta por 404 estudantes universitários de ambos os sexos (62% mulheres). Análise fatorial confirmatória corroborou a perspectiva teórica de que as escalas Afetivo-Relacional e Produtividade medem facetas complementares do construto eficácia adaptativa. A Teoria de Resposta ao Item, Modelo de Créditos Parciais, forneceu os parâmetros dos itens e características dos participantes: níveis de dificuldades/theta e índices de ajuste. Através dos mapas de pessoas-itens foram estabelecidas normas interpretativas e pontos de corte para a escalas. Considera-se que a Escala Diagnóstica Adaptativa Operacionalizada de Autorrelato seja útil em situações onde entrevistas não sejam possíveis para a avaliação da eficácia adaptativa.

Palavras-chave:
Adaptação; Avaliação psicológica; Escala diagnóstica adaptativa operacionalizada; Psicodiagnóstico; Psicologia clínica.

Abstract

The accumulation of evidence of validity and reliability provides support to users of psychological assessment instruments. This study aimed to estimate new evidence of internal structure validity of the Escala Diagnóstica Adaptativa Operacionalizada de Autorrelato (Self-Report Adaptive Operational Diagnostic Scale), evaluate the item parameters and participants’ characteristics, and establish interpretative norms for the scale. The sample was composed of 404 undergraduate students of both genders (62% female). Confirmatory factor analysis corroborated the theoretical perspective that the Affective-Relational and Productivity subscales measure complementary facets of adaptive efficacy. The Rasch-Masters Partial Credit Model, an Item Response Theory model, was used to determine the item parameters and characteristics of the participants: item difficulty/theta and adjustment indices. Interpretative standards and cutoff points for the scale were established using item-person maps. The Self-Report Adaptive Operational Diagnostic Scale can be useful to evaluate the adaptive efficacy when interviews cannot be conducted.

Keywords:
Adaptation; Psychological assessment; Adaptative operational diagnostic scale; Psychodiagnosis; Psychology, clinical.

Na tarefa de construção e desenvolvimento de um instrumento de avaliação psicológica, faz-se necessário obter diferentes medidas de evidência de suas propriedades psicométricas para ter segurança de que cumpre, de forma confiável, sua função. A Escala Diagnóstica Adaptativa Operacionalizada de Autorrelato (EDAO-AR) (Yoshida, 2013) vem sendo desenvolvida com a finalidade de avaliar a eficácia da adaptação de pessoas adultas nos setores afetivo-relacional e da produtividade (definidos abaixo).

Do ponto de vista teórico, a EDAO-AR está baseada na teoria da adaptação de Simon (1989, 1997, 2005), a qual defende que o objetivo final (consciente ou inconsciente) de todo o comportamento é o de manter a integração dos diversos sistemas do organismo (intelectual, afetivo, conativo e anátomo-fisiológico). Define adaptação como o “conjunto de respostas de um organismo vivo, em vários momentos, a situações que o modificam, permitindo manutenção de sua organização (por mínima que seja) compatível com a vida” (Simon, 1989, p.14).

Esse conceito de adaptação, que tem inspiração na Biologia, aplica-se a todos os seres humanos na Psicologia, independentemente de qual seja a condição de sua saúde mental. O que pode variar em cada caso é a qualidade da adaptação, que se traduz na consistência e coerência dos comportamentos com os fins almejados. Simon (1989,1997, 2005) propõe três níveis de qualidade adaptativa: adequada, pouco adequada e pouquíssimo adequada. Frente a um problema, a resposta do sujeito será considerada adequada caso ele seja capaz de resolvê-lo, de trazer satisfação e de ser “coerente com os valores internos (padrões éticos pessoais) e os valores da cultura em que vive” (Simon, 1989, p.17). A adaptação é pouco adequada quando a solução ao problema traz satisfação ao sujeito, mas resulta em algum tipo de conflito interno ou externo ou, ainda, quando não traz satisfação, mesmo que esteja de acordo com seus valores internos ou culturais. A adaptação é pouquíssimo adequada quando, além de insatisfatória, traz algum grau de conflito para o indivíduo.

A qualidade das respostas adaptativas nem sempre é homogênea nos diferentes setores da personalidade. Pode-se, assim, pensá-la a partir de quatro desses setores: Afetivo-Relacional (A-R), Produtividade (Pr), Sociocultural (SC) e Orgânico (Or). O setor A-R corresponde aos sentimentos, atitudes e ações com relação a si mesmo e aos outros e o setor Pr corresponde aos sentimentos, atitudes e ações relacionados ao trabalho, estudo ou qualquer outra atividade de natureza produtiva, que seja a atividade principal do indivíduo, no período avaliado. Já o setor SC compreende os comportamentos e sentimentos relativos à inserção do indivíduo em sua cultura e o Or os relativos ao seu corpo e à sua saúde física (Simon, 1997).

Para fins de diagnóstico da eficácia adaptativa, Simon (1997) propõe que se avalie quantitativamente os setores A-R e o Pr, em virtude da relevância que têm do ponto de vista da saúde como um todo, e, qualitativamente, os setores S-C e Or. O autor concebeu, ainda, uma escala clínica denominada Escala Diagnóstica Adaptativa Operacionalizada (EDAO) (Simon, 1997; Simon & Yamamoto, 2008), que se baseia em dados provenientes de entrevista psicológica para a avaliação da eficácia adaptativa. Com ela, obtém-se dados sobre como o sujeito vem respondendo às contingências e situações de sua vida nos quatro setores da personalidade. Em seguida, atribui-se escores aos setores A-R e Pr em função da qualidade geral da adaptação em cada um deles. A soma dos dois escores é considerada uma medida da eficácia adaptativa e se traduz em cinco grupos classificatórios, correspondentes à adaptação eficaz ou ineficaz leve, moderada, severa e grave. A avaliação dos setores S-C e Or é utilizada sobretudo na orientação dos temas a serem focalizados em processos psicoterápicos (Silva, 2011; Younes, Lessa, Yamamoto, Coniaric, & Ditzz, 2010).

Para a versão de autorrelato da EDAO, ou EDAO-AR (Yoshida, 2013), foram desenvolvidos itens para a avaliação da qualidade da adaptação dos setores A-R e Pr, sendo que cada conjunto de itens foi considerado como “um instrumento independente, caracterizando cada qual uma escala para a avaliação de uma das dimensões do construto eficácia adaptativa” (p.84). A autora justifica teoricamente essa opção lembrando que a qualidade das respostas adaptativas pode ser diferente para cada setor avaliado. Do ponto de vista prático, argumenta que, por se tratar de um instrumento de autorrelato, espera-se que cada item meça um aspecto específico do construto avaliado, diferentemente de uma avaliação clínica, onde o avaliador procede à “divisão” dos conteúdos da fala do avaliado em função de sua compreensão. Ou seja, é o pesquisador quem decide o que pertence a que setor e procede à avaliação. Nesse sentido, um dos problemas que se coloca à análise das propriedades psicométricas de um instrumento de autorrelato é o de verificar se o conjunto de itens mede efetivamente o construto pretendido (American Educational Research Association, American Psychological Association, & National Council on Measurement in Education, 2014; International Test Commission, 2013).

Algumas evidências de validade e de precisão da EDAO-AR já foram obtidas. Yoshida (2013) buscou evidências de validade da estrutura interna em uma amostra composta por pacientes ambulatoriais e acompanhantes por meio de Análise Fatorial Exploratória (AFE) e de precisão através de análise da consistência interna (alfas de Cronbach). Além disso, existem evidências de validade baseadas na relação com instrumentos os quais medem outras variáveis. Por exemplo, a Escala de Avaliação de Sintomas-40 (EAS-40) (Laloni, 2001), que mede a severidade de sintomas psicopatológicos.

Os resultados das análises fatoriais exploratórias apontaram solução de três fatores para cada uma das escalas, que avaliam a adaptação dos dois setores da personalidade: A-R e Pr. No que se refere à interpretação das dimensões que emergiram, Yoshida (2013) sugere que elas medem as respostas adaptativas frente: à situação problema enfrentada no setor avaliado (foco na situação problema); às respostas adaptativas; ao setor; às necessidades afetivas e cognitivas do eu (foco no eu); e às respostas adaptativas em relação aos outros (foco no outro). Quanto à precisão, coeficientes alfa de Cronbach indicaram bons níveis de consistência interna para as escalas A-R e Pr, iguais a 0,810 e 0,804, respectivamente, e índices aceitáveis para os respectivos fatores, entre 0,59 e 0,72. Em relação às evidências de validade externa, correlações significativas com a EAS-40 (r entre -0,351 e -0,615; p< 0,001) confirmaram a expectativa teórica de que se associariam negativamente à EDAO-AR.

Os mesmos modelos, considerando as escalas independentes, foram avaliados em uma amostra não clínica, composta por estudantes universitários, através da Análise Fatorial Confirmatória (AFC). Os resultados obtidos indicaram adequação do modelo frente aos dados disponíveis e manutenção da estrutura interna da EDAO-AR de uma amostra não clínica [WLSMV χ² = 257,272, gl = 186, χ²/gl = 1,38, CFI = 0,93, TLI = 0,91 e RMSEA = 0,04 (Intervalo de Confiança - IC90% = 0,026 - 0,050), para escala A-R] e WLSMV χ² = 209,352, gl = 132, χ²/gl = 1,58, CFI = 0,92, TLI = 0,90 e RMSEA = 0,05 IC90% = 0,035 - 0,060, para a escala Pr). Além disso, coeficientes alfas de Cronbach indicaram bons índices de precisão das escalas (0,77 e 0,75) e seus respectivos fatores (entre 0,57 e 0,76) (Yoshida, Peixoto, & Honda, 2015).

Outros estudos, realizados com amostras compostas por universitários, também buscaram evidências de validade baseadas na relação com outras variáveis. Para tanto, foram estimados níveis de associação entre a eficácia adaptativa e medidas de crenças irracionais, r entre -0,28 e -0,36, p < 0,01 (Gobbo & Yoshida, 2013), de alexitimia, r entre -0,25 e -0,51, p < 0,05 (Pereira & Yoshida, 2013) e sintomas depressivos, r entre -0,49 e -0,68, p < 0,01 (Yoshida, Baptista, & Argimon, 2014). Em todos os casos, obteve-se associações negativas, ratificando a sugestão de que a eficácia adaptativa, medida com a EDAO-AR, corresponde a uma medida da saúde geral e de funcionalidade do sujeito (Yoshida, Enéas, & Santeiro, 2010).

Dentre as características das pesquisas realizadas com a EDAO-AR, destaca-se o fato destas se basearem na Teoria Clássica dos Testes (TCT) e ainda o de não contarem com normas de interpretação dos escores brutos. Diante dessas limitações, aponta-se a Teoria de Resposta ao Item (TRI) como um modelo psicométrico complementar ao modelo clássico, o que possibilita novas respostas quanto ao desenvolvimento e à validação de instrumentos de avaliação psicológica. Portanto, uma breve apresentação desse modelo faz-se necessária.

De acordo com Embretson e Reise (2000), a TRI propõe um modelo matemático que representa os elementos centrais da situação de testagem psicológica. Nessa situação, quanto maior for a intensidade do traço investigado pelo item para a pessoa, maior será a probabilidade de que concorde com o mesmo; por outro lado, quanto menos intensa for a característica descrita pelo item para a pessoa, menor será a probabilidade de que concorde com ele. Essa relação entre as características dos sujeitos, também conhecida como habilidades ou theta (θ), e a probabilidade de resposta correta ao item é expressa pelo principal elemento da TRI, a Curva Características do Item (CCI). Esta sofre a influência de outras características dos itens, como: o modelo de TRI (logístico de 1, 2 ou 3 parâmetros), dificuldade (parâmetro b), discriminação (parâmetro a) e a probabilidade de escolhas de respostas ao acaso (parâmetro c), respectivamente.

Nesta pesquisa, será empregado o modelo de créditos parciais (Rasch-Masters Partial Credit Model) de Wright e Masters (1982). Este corresponde a uma ampliação do modelo dicotômico de um parâmetro desenvolvido por George Rasch para uma sequência de respostas alternativas ordenadas (e.g., escalas de tipo Likert). Nesse caso, a CCI se caracteriza por diferentes linhas em forma de sino que expressam a relação entre diferentes níveis de θ e a probabilidade de endosso às diversas categorias de resposta da escala. Expressando-a em notação matemática, tem-se:

Onde

P_ix (θ) indica a probabilidade de uma pessoa com aptidão θ responder x ao item i. E a resposta ao item tem a notação x = 0, ... m (para m + 1 categorias de resposta).

Assim, a equação atesta que a probabilidade de uma pessoa responder a categoria x dentre as diferentes categorias de um item politômico m_i é função da diferença entre o nível de traço latente da pessoa e o parâmetro da intersecção da categoria. Em outras palavras, o parâmetro da intersecção δ_ij pode ser considerado como uma dificuldade da categoria de resposta associada com a transição de uma categoria com a próxima e que, para um item i, existem diferentes dificuldades m_i (intersecções), as quais correspondem a m_i + 1 categorias de respostas (Embretson & Reise, 2000).

Diferentes recursos são propostos a partir desse modelo, dentre eles tem se destacado o Mapa de item-pessoas (Person-item Map) para o desenvolvimento de normas interpretativas com base nos itens (Embretson & Reise, 2000; Peixoto & Nakano, 2014). Para tanto, as pessoas e itens são alocados em uma escala comum e a interpretação passa a ser referenciada no item através da associação entre o nível de habilidade dos sujeitos e a dificuldade dos itens (procedimento denominado calibração). Assim, a partir do nível de habilidade da pessoa, estima-se a probabilidade de endossar as diferentes categorias de resposta de um item. Segundo Embretson e Reise (2000), dentre as vantagens desse procedimento destaca-se o relaxamento das exigências de grandes amostras e escores distribuídos normalmente, bem como a possibilidade de ter acesso à maneira como as pessoas se descrevem através dos itens da escala, características estas que justificam a utilização do modelo nesta pesquisa.

Com base no exposto, estabeleceu-se os seguintes objetivos: (a) estimar novas evidências de validade interna para EDAO-AR, considerando a proposta teórica de que as duas escalas, Afetivo-Relacional e Produtividade, medem facetas de um mesmo construto; (b) estimar, através do MCP, os parâmetros dos itens (b e índices de ajustes Infit/Outfit) e características dos participantes (θ e Infit/Outfit); (c) e desenvolver, por meio do procedimento Mapa de item-pessoa, normas de interpretação, estabelecendo pontos de corte para os diferentes níveis da qualidade adaptativa.

Método

Participantes

A amostra, por conveniência, foi composta por 404 estudantes universitários, com idades entre 18 e 44 anos (M = 2,74; DP = 3,89), dos quais 62,0% eram do sexo feminino. Quanto ao estado civil, 94,8% se declararam solteiros, 5,0% casados, 0,2% divorciados. Os estudantes eram provenientes de três instituições de ensino superior, duas privadas, localizadas no interior de São Paulo, e uma pública, localizada no interior de Goiás.

Instrumentos

Escala Diagnóstica Adaptativa Operacionalizada de Autorrelato (EDAO-AR) (Yoshida, 2013): objetiva a avaliação da eficácia adaptativa de pessoas adultas, nos setores afetivo-relacional e produtividade. Conta com duas escalas independentes: A-R, com 24 itens, e Pr, com 21. Cada uma avalia três dimensões da eficácia adaptativa: foco no eu, foco no outro e foco na situação problema. Cada item apresenta uma situação problema seguida de três maneiras diferentes de enfrentá-lo, sendo que as alternativas foram construídas de acordo com os critérios propostos por Simon (1998, 2005). Elas correspondem aos níveis de qualidade adaptativa: adequado, pouco adequado e pouquíssimo adequado, sendo informado ao respondente que deve indicar apenas uma das alternativas, a que descreve com mais proximidade a maneira como enfrentaria a situação proposta no item. Para a somatória de respostas do setor A-R, são ponderadas: 3 para as respostas adequadas, 2 para as pouco adequadas e 1 para as respostas pouquíssimo adequadas. No setor Pr: 2 para as adequadas, 1 às pouco adequadas e 0,5 às pouquíssimo adequadas.

A avaliação geral da eficácia adaptativa é feita a partir da somatória dos escores obtidos nas escalas A-R e Pr. A classificação final dos respondentes segue os mesmos critérios de classificação por grupos da EDAO (Simon, 1989, 2005): Grupo 1: Adaptação eficaz, quando A-R e Pr são adequados (soma 5,0); Grupo 2: Adaptação ineficaz leve, quando um dos setores é adequado e o outro é pouco adequado (soma 4,0); Grupo 3: Adaptação ineficaz moderada, quando ambos são pouco adequados (soma 3,0) ou um é adequado e o outro pouquíssimo adequado (soma 3,5 ou 3,0); Grupo 4: Adaptação ineficaz severa, quando um setor é pouco e o outro pouquíssimo adequado (soma 2,0 ou 2,5); Grupo 5: Adaptação ineficaz grave, quando ambos são pouquíssimos adequados (soma 1,5).

Procedimentos

Análise Fatorial Confirmatória foi empregada tendo em vista o cumprimento do objetivo de obtenção de novas evidências de validade da estrutura interna do modelo de medida proposto por Yoshida (2013). Vale salientar que as escalas A-R e Pr, até o momento utilizadas separadamente, foram integradas em um só modelo em concordância com a proposta teórica de Simon (1989, 2005), na qual a eficácia adaptativa geral é avaliada através dos escores obtidos nesses dois setores. Para tanto, empregou-se o modelo hierárquico de segunda ordem representando as escalas e correlação entres as variáveis latentes.

Para o teste do modelo, empregou-se método de estimação Weighted Least Square (WLSMV) a partir da matriz de correlações policóricas (Lara & Alexis, 2014) no software estatístico MPlus 7.3 (Muthén & Muthén, 2012). Destaca-se que o WLSMV é um estimador robusto, mais adequado ao nível de mensuração ordinal das variáveis normalmente utilizadas nos instrumentos psicológicos, em especial aquelas distribuídas assimetricamente (Brown, 2006). Assim, o modelo foi testado a partir dos índices recomendados por Muthén e Muthén (2012), são estes: WLSMVχ², df, χ²/df, RMSEA, CFI e TLI. Estabeleceu-se como parâmetro os seguintes valores para os índices de ajuste χ²/df < 2, RMSEA < 0,06, CFI e TLI > 0,90, tendo em vista os critérios convencionalmente adotados na literatura, os quais compreendem esses valores como indicadores de ajustes do modelo de medida quando aplicados a dados ordinais (Gomez et al., 2014; Muthén & Muthén, 2012).

Para análise das propriedades dos itens das escalas e características dos participantes, utilizou-se o Modelo de Créditos Parciais (MCP), estimado a partir do método Maximum Likelihood no software Winsteps 3.7 (Linacre & Wright, 2004). De acordo com Ostini, Finkelman, e Nering (2015), a principal característica do MCP, dentre os modelos politômicos que compõem a família Rasch, é o fato dele não restringir igualdade na distância entre as categorias de resposta dos itens que compõem uma escala. Isso o caracteriza como o modelo mais apropriado para esta pesquisa, uma vez que a EDAO-AR utiliza uma escala hierárquica (ordinal) em sua categoria de resposta.

A partir do MCP, verificou-se os índices de dificuldade dos itens (parâmetro b), nível de traço latente apresentado pelos participantes (θ) e índices de ajustes Infit/Outfit, que indicam a ocorrência de respostas inesperadas ao modelo matemático (quantificados na forma de resíduos em relação ao modelo) (Linacre & Wright, 2004). Segundo Linacre (2002), essa estatística pode variar de 0 a infinito, sendo que valores entre 0,5 e 1,5 indicam bom ajuste. Contudo, convencionalmente, tem-se adotado valores maiores que 0,7 e menores que 1,3 na literatura (Bond & Fox, 2001; Smith, 1996). Em relação aos indicadores de precisão fornecidos pelo modelo para as escalas, buscou-se índices superiores a 0,7. Além disso, foram inspecionadas as curvas das categorias de respostas dos itens.

Por fim, com vistas ao desenvolvimento de normas interpretativas da EDAO-AR, empregou-se a análise do mapa de pessoas-itens para interpretação com referência no item. A fim de identificar a métrica da escala, ancorou-se a média dos índices de dificuldade dos itens em 0. Assim, os índices de dificuldades dos itens, bem como os níveis de habilidade das pessoas foram apresentados em uma escala padronizada com M = 0 e DP = 1. Além disso, adotou-se o procedimento de transformação de escore total em theta para o estabelecimento de pontos de corte. Para tanto, um nível de theta e um erro padrão foram estimados pelo modelo para cada um dos possíveis escores totais das subescalas. Conforme descrito por Linacre (2015), esse procedimento prediz qual o nível de habilidade que se espera observar para um dado escore total, o que possibilita o estabelecimento de ponto de corte com base nos parâmetros estimados em um grupo de referência (neste caso a amostra estudada). Trata-se, então, da aplicação prática das informações advindas da TRI e, portanto, de uma importante ferramenta para os profissionais práticos da área (Primi, Weschler, Nakano, Oakland, & Guzzo, 2014).

Vale destacar que as análises com base na TRI foram realizadas separadamente para cada uma das escalas, em respeito aos pressupostos de unidimensionalidade e independência local (Pasquali, 2007). Contudo, optou-se por avaliar conjuntamente os fatores que compuseram cada uma delas, uma vez que o modelo teórico propõe que esses fatores refletem uma variável latente comum, a adequação no setor A-R ou Pr, respectivamente. Cita-se, ainda, que a aplicação da EDAO-AR ocorreu após a aprovação do projeto pelo Comitê de Ética da Pontifícia Universidade Católica de Campinas (Protocolo nº 720/09). O instrumento foi administrado de forma coletiva, em salas de aulas, antecedido da assinatura do Termo de Consentimento Livre e Esclarecido.

Resultados

Evidência de validade

Buscou-se, inicialmente, evidências de validade da estrutura interna da EDAO-AR (Yoshida, 2013), desenvolvida para avaliar a eficácia adaptativa como um construto geral a partir das escalas A-R e Pr. Cada subescala é composta por três fatores que medem: foco no eu, foco no outro e foco na situação problema. Cada item, por sua vez, é pontuado em função do nível de adequação da resposta adaptativa do setor avaliado, como indicado anteriormente.

Os diferentes níveis de adequação são entendidos como indicadores de variações nas variáveis observadas, ou seja, diferentes escores nos itens (Markus & Borboom, 2005). Inicialmente, foi testado o modelo geral composto por 45 itens, quando se obteve índices de ajustes classificáveis como sofríveis: χ² = 1469,793, df = 938, χ²/df = 1,57, p < 0,001 RMSEA = 0,038 com IC90% = 0,034 - 0,041, CFI = 0,862, TLI = 0,853. Contudo, foram observados itens com cargas fatoriais menores que 0,30, o que penalizava os índices de ajustes, como os itens 5, referente à escala A-R, e 28, 41 e 42, referentes ao setor da Pr. Com a exclusão desses itens, as análises revelaram índices de ajuste classificados como bons (Byrne, 2012; Schweizer, 2010), χ² = 1158,695, df = 733, χ²/df = 1,58, p < 0,001, RMSEA = 0,038 com IC90% = 0,034 - 0,042, CFI = 0,924, TLI = 0,912, bem como um modelo significativamente mais adequado ∆χ² = 311,098, ∆df = 205, p < 0,001, conforme apresentado na Figura 1. Nesta, observam-se as cargas fatoriais padronizadas, todas acima de 0,30, além de baixos erros padrão associados às variáveis do modelo. Esses resultados dão suporte à evidência de validade da estrutura interna do modelo de medida proposto por Yoshida (2013), quando suprimidos os itens referidos. Ademais, os resultados apontam para a estabilidade do modelo na avaliação de estudantes universitários e, portanto, uma população não clínica, corroborando o que foi encontrado por Yoshida et al. (2015).

Figura 1
Modelo de medida da Eficácia Adaptativa.

Parâmetros dos Itens

Verificados por meio do Modelo de Créditos Parciais, as principais características dos itens dificuldade, Infit e Outfit são apresentadas na Tabela 1. Observam-se as estatísticas descritivas: Média, Desvio-Padrão, Mínimo e Máximo das principais características dos itens que compõem cada uma das escalas (Tabela 1). Vale ressaltar que, de acordo com o esquema de ancoragem, a dificuldade média dos itens foi centrada em zero. Observa-se que, para a subescala A-R, as estatísticas DP = 0,63, Máximo = 0,97 e Mínimo = -1,47 indicam que os itens tendem a ser relativamente fáceis de serem endossados, haja vista os níveis de theta apresentados pelos participantes M = 1,67, DP = 0,81, Máximo = 3,84 e Mínimo = -0,61.

Tabela 1
Estatísticas descritivas dos parâmetros dos itens e das características dos participantes

Escalas	Estatísticas	Parâmetros dos itens				Características dos participantes				Precisão Corr. Item-θ
		b	Infit	Outfit		θ	Infit	Outfit
Afetivo-Relacional	Média	0,00	1,00	1,02		1,67	1,02	1,02		0,74
	Desvio-Padrão	0,63	0,06	0,18		0,81	0,29	0,50
	Máximo	0,97	1,07	1,59		3,84	2,15	4,39		0,41 - 0,61
	Mínimo	-1,41	0,87	0,84		-0,61	0,30	0,39
	Estatísticas	b	Infit	Outfit		θ	Infit	Outfit
Produtividade	Média	0,00	0,99	1,04		1,93	1,03	1,04		0,77
	Desvio-Padrão	0,95	0,14	0,25		1,05	0,36	0,54
	Máximo	3,13	1,31	1,77		4,88	2,60	3,46		0,47 - 0,66
Mínimo	-1,11	0,84	0,76		-0,60	0,38	0,18

• Notas: b: dificuldade dos itens; θ: theta/nível no traço latente; Corr. item-θ: correlação entre item e theta/nível no traço latente apresentado pelos participantes.

Em relação aos índices de ajustes dos itens, observam-se valores adequados para Infit, M = 1,00, DP = 0,06 e Máximo = 1,07, portanto menor que o ponto crítico 1,3. Para os valores de Outfit, também foi encontrada adequação do valor médio igual a 1,02 e DP = 0,18. Contudo, a estatística Máximo denuncia o item 1 com valor acima do esperado. Quanto às características dos participantes, valores médios dos índices de ajustes indicam que, de maneira geral, os mesmos se mostraram adequados ao padrão resposta esperado pelo modelo (M = 1,02, DP = 0,29, e M = 1,02, DP = 0,50, para Infit e Outfit, respectivamente). No entanto, estatísticas de Máximo denunciam a existência de pessoas com padrão de resposta inesperado.

Para a escala Pr, os itens tendem a se mostrar mais difíceis de serem endossados; notadamente a variação nos índices dificuldade dos itens é de 1,11 e 3,13, enquanto o nível theta apresentado pelos sujeitos é M = 1,93, DP = 1,05 e variação entre -0,60 e 4,88. Além disso, observa-se que os itens possibilitam a avaliação de maior extensão no nível de habilidade, quando comparado à escala A-R. No que diz respeito à estatística Infit, verifica-se que todos os itens apresentam índices de ajuste adequado, ou seja, igual ou inferior a 1,3. Para os índices Outfit, houve adequação do valor médio, igual 1,04, DP = 0,25. No entanto, a estatística Máximo aponta o item 43 com ajuste fora do esperado pelo modelo (1,77). Quanto às características dos participantes, valores médios dos índices de ajustes indicam que, de maneira geral, os mesmos se enquadram no padrão resposta esperado pelo modelo (M = 1,03, DP = 0,36, e M = 1,04, DP = 0,54, para Infit e Outfit, respectivamente). No entanto, estatísticas Máximo também apontam para a existência de pessoas com padrão de resposta inesperado.

respectivamente); Pr: Produtividade; f4: Foco na situação problema; f5: Foco no eu; f6: Foco no outro (referentes ao setor Produtividade (Pr) respectivamente).

Por fim, verifica-se na Tabela 1, os índices de precisão calculados por meio do método de Rasch e a variação das correlações item-theta. Esses resultados dão suporte a novas evidências de precisão do instrumento, índices de precisão iguais a 0,74 e 0,77 para A-R e Pr, respectivamente, e índices de correlação entre item-theta que variam entre 0,41 e 0,66, indicando boa capacidade dos itens em recuperar o nível de habilidade das pessoas.

Normas de interpretação

A fim de estabelecer normas interpretativas para as escalas em questão, bem como pontos de corte para os diferentes níveis de adequação, utilizou-se o Mapa de itens-pessoas, que se baseia nos fundamentos da TRI, e a interpretação referenciada no item, conforme apresentado na Figura 2. De acordo com a figura, os itens se distribuem em ordem de dificuldade. O item mais facilmente endossado pelos participantes localiza-se na base do mapa (item 4) e exige menor nível de habilidade (theta) para ser endossado em sua maior pontuação. Segue-se, assim, uma ordem crescente de dificuldades, sendo que o mais difícil de ser endossado localiza-se no topo do mapa (item 13). Outra importante informação diz respeito ao símbolo “:”, que representa o ponto de transição na probabilidade de escolha da alternativa de resposta em função do nível de theta do sujeito (por exemplo: em que nível de theta o sujeito provavelmente deixa de assinalar a alternativa 1 para assinalar a alternativa 2).

Figura 2
Mapa subescala Afetivo Relacional.

Além disso, a Figura 2 apresenta três linhas abaixo do mapa: a primeira denominada “Pessoas” representa a frequência de pessoas localizadas em cada ponto da escala de theta (sendo os valores lidos na vertical); a segunda linha, “Estatísticas”, representa as estatísticas descritivas de theta dos participantes, sendo a média representada pela letra (M), um desvio-padrão (S) e dois desvios-padrões (T); por fim, a terceira linha, “Percentil”, mostra o percentil de sujeitos associado a cada ponto da escala.

Quanto à análise, na Figura 2 pode-se observar, primeiramente, o comportamento das alternativas de respostas de cada item da escala, ou seja, uma relação crescente, não linear, entre o nível de eficácia adaptativa do sujeito (theta) e a intensidade do construto medido pelo item (parâmetro b). Os resultados sugerem a adequação dessas alternativas de resposta, devido à concordância entre a proposta teórica dos níveis crescentes de adequação - pouquíssimo adequado (1), pouco adequado (2) e adequado (3) - e o correspondente crescimento do nível de habilidade dos respondentes. Dessa maneira, compreende-se o mapa de itens como o conjunto de informações a respeito de pessoas com diferentes níveis de eficácia adaptativa e que se descreverem através do conteúdo dos itens, permitindo estabelecer os pontos de corte a fim de desenvolver normas interpretativas para o instrumento (Primi et al., 2014).

Assim, estabeleceu-se como critério que sujeitos com níveis de theta até -1 devem ser considerados “pouquíssimo adequados” no setor afetivo relacional (A-R). Ademais, esses indivíduos tendem a endossar a alternativa 2 da escala Likert (“pouco adequado”) na faixa de itens que vão do 4 ao 16, bem como endossar a alternativa 1 (“pouquíssimo adequado”) na faixa que compreende os itens de maior dificuldade, desde o 19 até o 13. Sujeitos localizados no intervalo de theta entre -0,9 e 0,9 foram classificados como pouco adequados, pois têm maior probabilidade de endossarem a alternativa 3 (“adequado”) nos itens menos intensos (itens: 4, 14, 24, 16) e a alternativa 2 nos outros itens da escala, chegando à probabilidade de endossarem a alternativa 1 nos itens mais difíceis (entre 23 e 13). Por fim, os sujeitos com nível de theta maior que 1 foram classificados como “adequados” nesse setor adaptativo, frente à maior probabilidade de endossarem a alternativa 3, mesmo nos itens mais intensos, portanto mais difíceis de serem endossados, localizados na parte superior do mapa.

Através da transformação do escore total em nível de habilidade, pode-se estabelecer os pontos de corte no escore total esperado para cada nível de adequação. Dessa forma, pessoas com escore total entre 23 e 35 devem ser classificadas como “pouquíssimo adequadas” no setor A-R, aquelas com escore entre 36 e 55, “pouco adequadas”, e pessoas com escore igual ou superior a 56, “adequadas”. Na Figura 2, observa-se também a prevalência de participantes com nível de adaptação adequado no setor A-R, mais especificamente 79,05% da amostra, acompanhados por 20,04% com configuração adaptativa pouco adequada.

A subescala Pr também foi submetida à avaliação de mapa de itens, conforme apresentado na Figura 3. Na figura, também é possível observar a relação esperada entre o crescimento do nível de adequação e a maior exigência no nível de theta para escolha das alternativas.

Figura 3
Mapa subescala Produtividade.

Para o setor Pr, foi estabelecido que indivíduos com níveis de theta até -1,2 devem apresentar adequação “pouquíssimo adequada”. Notadamente, sujeitos alocados nessa região da escala tendem a endossar a alternativa 2 nos itens menos intensos, que compreendem a faixa do 37 ao 35, e apresentam maior probabilidade de endossarem a alternativa 1 nos outros itens. Sujeitos com nível de theta localizado no intervalo entre -1,1 e 1,1 foram considerados “pouco adequados”, uma vez que tendem a se descrever através da alternativa 2 em grande parte dos itens, embora apresentem probabilidade de endossar a alternativa 3 nos itens localizados na base do mapa (itens: 37, 39, 40) e a alternativa 1 para aquele localizado no topo (item 43). Por fim, sujeitos com nível de theta igual ou superior a 1,2, que foram classificados como adequados nesse setor adaptativo, tendem a endossar a alternativa 3 em grande parte dos itens da escala, embora não deixem de apresentar chances de endossarem outras alternativas em itens mais intensos (itens localizados entre 31 e 43). Portanto, no que diz respeito ao ponto de corte do escore total, designou-se a seguinte configuração: escore total entre 18 e 30, “pouquíssimo adequado”; entre 31 e 42, “pouco adequado”; e escor total superior a 43, “adequado”. Verifica-se que na amostra avaliada, no que se refere ao setor Pr, grande parte da amostra (77,22%) foi classificada com configuração adaptativa adequada, enquanto 22,77% como pouco adequada.

Discussão

Este estudo teve como objetivo apresentar evidências de validade da estrutura interna da EDAO-AR por meio de análise fatorial confirmatória, além de estimar os parâmetros dos itens e características dos participantes e estabelecer normas interpretativas para a escala, segundo o modelo de créditos parciais. O modelo teórico de avaliação da eficácia adaptativa apresentou suporte empírico e acúmulo de evidências de validade ao modelo desenvolvido por Yoshida (2013), confirmando a capacidade das escalas A-R e Pr de medirem diferentes dimensões da eficácia adaptativa.

Destaca-se, também, a estabilidade do modelo de medida quando submetido à avaliação de uma população não clínica, representada por estudantes universitários, uma vez que as primeiras evidências de validade e precisão da EDAO-AR foram obtidas com amostra composta por pacientes ambulatoriais (Yoshida, 2013). Contudo, quatro itens da escala original não apresentaram correlações significativas com os fatores, indicando a inadequação dos itens para a avaliação da população estudantil. Dessa forma, sugere-se que, para a avaliação de pessoas pertencentes à população não clínica, sejam ignorados os escores dos itens 5, 28, 41 e 42 para a classificação final.

Para além das questões de evidências de validade do modelo de medida proposto, a TRI possibilitou a verificação das forças e fragilidades dos itens que compõem a EDAO-AR, assim como índices de confiabilidade do instrumento. Os índices de dificuldade dos itens demostraram a adequação da escala para avaliação de pessoas com nível de eficácia adaptativa próximo da média. Esses achados vão ao encontro das motivações que inspiraram a construção da EDAO (Simon, 1989, 1997, 2005), a necessidade de desenvolver um instrumento capaz de fornecer informações preventivas da população vista como “normal”, podendo, assim, ser desenvolvidas ações preventivas a estados psicopatológicos e males adaptativos que, todavia, não chegam a configurar uma doença mental específica. Ainda com relação às características positivas da escala, destaca-se os índices de Infit dos itens, todos dentro do padrão de resposta esperado pelo modelo, demostrando a capacidade de serem previstos pelo mesmo quando os valores de intensidade do item (dificuldade) estão próximos aos valores de traço latente (theta) da pessoa.

Em relação às fragilidades da escala, pode-se apontar dois itens com índices de Outfit que indicaram valores superiores ao esperado, apresentando-se menos indicados para previsão de respostas quando a diferença entre o theta da pessoa e a intensidade do item for muito grande. Nesses casos, uma pessoa com alto nível de eficácia adaptativa poderia endossar categorias de respostas correspondentes ao nível de adaptação pouco adequado e vice-versa, nos itens com essas características (Linacre, 2015).

Contudo, destaca-se que estas são situações menos preocupantes no que diz respeito às características de desajustes dos itens, devido à maior relevância da capacidade do item se ajustar ao padrão de resposta esperado pelo modelo quando os níveis de traços latentes dos sujeitos estão próximos ao nível de intensidade dos itens. Além disso, o Outfit é uma estatística baseada em valores inesperados periféricos e, portanto, mais sensível à influência de outlier (Smith, 1996; Wright & Linacre, 1994). Dessa forma, isso justifica a manutenção desses itens no modelo de medida.

Em relação à obtenção das evidências de precisão das escalas que compuseram o modelo de medida, observou-se que os índices calculados por meio do método de Rasch se mostram adequados, ambos acima de 0,70. Segundo Linacre (1996), coeficientes Rasch e coeficientes alpha de Cronbach são semelhantes e devem ser interpretados da mesma forma, contudo, uma pequena diferença precisa ser levada em consideração: enquanto o modelo tradicional assume variância de erro igual a 0 para as medidas extremas, o modelo Rasch trata esses valores extremos como dados faltosos. Portanto, a medida de precisão a partir do modelo Rasch é mais conservadora nesse aspecto e tende a informar valores menores quando comparada à precisão utilizada tradicionalmente.

De acordo com Carvalho, Primi e Meyer (2012), dentre as contribuições da TRI para os instrumentos clínicos, o procedimento mapa de itens-pessoas merece ser destacado, em especial por sua capacidade de fornecer significado psicológico aos resultados de uma pessoa aos itens do instrumento. Justamente por essas capacidades, foi possível verificar, neste estudo, as características de cada item e a maneira como os participantes os percebiam. Dessa maneira, desenvolveram-se pontos de corte, tendo como base o arcabouço teórico que fundamentou o desenvolvimento da EDAO-AR.

A classificação final da escala pode tomar os mesmos moldes desenvolvidos por Simon (2005) quanto aos grupos adaptativos. Portanto, sugere-se que as pontuações do setor Produtividade sejam transformadas depois de aferido o nível de adequação da pessoa neste setor adaptativo. Dessa maneira, o escore 3 correspondente ao nível adaptação adequada deve ser transformado em 2, o escore 2 referente ao nível pouco adequado, em 1, e o escore 1 correspondente a pouco adequado deve ser transformado em escore 0,5. A partir da somatória dos escores obtidos nas escalas A-R e Pr, chega-se à classificação final da EDAO-AR e seus respectivos grupos adaptativos, conforme procedimentos descritos na sessão Instrumentos.

Os resultados da pesquisa apontaram novas evidências de validade da EDAO-AR, contribuindo sobretudo com dados empíricos, os quais robustecem a ideia de que esse instrumento permite a avaliação da eficácia adaptativa. Ademais, sugerem que as escalas A-R e Pr permitem medir dimensões diferentes, mas complementares do construto eficácia adaptativa, em conformidade com a teoria da adaptação de Simon (1989, 1997, 2005). É possível, portanto, admitir que ela constitui uma alternativa à versão original EDAO (Simon, 1989), de natureza clínica, e cuja utilidade encontra-se fartamente documentada (Simon & Yamamoto, 2008; Silva, 2011; Younes et al., 2010). Reforça-se, portanto, a sugestão de que a versão de autorrelato da EDAO possa ser um instrumento útil em situações onde entrevistas clínicas não sejam possíveis ou desejáveis, além, naturalmente, de se constituir em instrumento mais versátil para pesquisas com grande número de participantes para ser avaliado (Yoshida, 2013).

O presente estudo também contribuiu para o estabelecimento de normas de interpretação para escalas. A utilização da TRI para a definição dos pontos de corte, favorece que sejam empregados a pessoas com diferentes níveis de theta na população (mesmo aqueles pouco representado neste estudo), devido ao pressuposto de invariância dos parâmetros estimados através da TRI. Contudo, sugere-se a realização de novas pesquisas que objetivem verificar a ocorrência de funcionamento diferencial dos itens em função de sexo e estratificações de idade, por exemplo. Esses investimentos podem garantir que os itens do instrumento apresentem a mesma dificuldade para os diferentes grupos avaliados. Por fim, destacam-se algumas das limitações desta pesquisa, como a composição de uma amostra por conveniência não aleatória e a falta de representatividade nacional, já que os estudantes universitários eram prioritariamente da região sudeste e centro-oeste do país. Com isso, sugere-se que as novas pesquisas se estendam a outras regiões brasileiras, bem como a participantes com diferentes níveis de escolaridade.

Referências

• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing Washington, D.C.: American Educational Research Association.
• Bond, T. G., & Fox, C. M. (2001). Applying the Rasch model Mahwah: LEA.
• Brown, T. A. (2006). Confirmatory factor analysis for applied research New York: The Guilford Press.
• Byrne, B. M. (2012). Structural equation modeling with Mplus: Basic concepts, applications, and programming New York: Routledge.
• Carvalho, L. F., Primi, R., & Meyer, G. J. (2012). Application of the Rasch model in measuring personality disorders. Trends of Psychiatry Psychotherapy, 34(2), 101-109.
• Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists Mahwah: Lawrence Erlbaum.
• Gobbo, J. P., & Yoshida, E. M. P. (2013). Eficácia adaptativa e crenças irracionais em universitários Recuperado em fevereiro 17, 2014, de http://www.puc-campinas.edu.br/websist/Rep/Sic08/Resumo/2013813_1668_147122870_resesu.pdf
  » http://www.puc-campinas.edu.br/websist/Rep/Sic08/Resumo/2013813_1668_147122870_resesu.pdf
• Gomez, R., McLaren, S., Sharp, M., Smith, C., Hearn, K., & Turner, L. (2014). Evaluation of the bifactor structure of the dispositional hope scale. Journal of Personality Assessment, 97(2), 191-199. https://doi.org/10.1080/00223891.2014.938158
  » https://doi.org/10.1080/00223891.2014.938158
• International Test Commission. (2013). ITC guidelines on test use. Retrieved November 26, 2015, from https://www.intestcom.org/files/guideline_test_use.pdf
  » https://www.intestcom.org/files/guideline_test_use.pdf
• Laloni, D. T. (2001). Escala de avaliação de sintomas-90R-SCL-90-R: adaptação, precisão e validade (Tese de doutorado não-publicada). Pontifícia Universidade Católica de Campinas. Recuperado em novembro 26, 2015, de http://tede.bibliotecadigital.puc-campinas.edu.br:8080/jspui/handle/tede/389
  » http://tede.bibliotecadigital.puc-campinas.edu.br:8080/jspui/handle/tede/389
• Lara, D., & Alexis, S. (2014). ¿Matrices policóricas/ tetracóricas o matrices pearson? Un estudio metodológico. Revista Argentina de Ciencias del Comportamiento, 6(1), 39-48.
• Linacre, J. M. (1996). True-score reliability or Rasch statistical validity? Rasch Measurement Transactions, 9, 455-456.
• Linacre, J. M. (2002). What do infit and outfit, meansquare and standardized mean? Rasch Measurement Transactions , 16(2), 878.
• Linacre, J. M. (2015). A user’s guide to winsteps ministep: Rasch-model computer programs Retrieved January 24, 2016, from http://www.winsteps.com
  » http://www.winsteps.com
• Linacre, J. M., & Wright, B. D. (2004). Winsteps: Multiplechoice, rating scale, and partial credit Rasch analysis [Computer software]. Chicago: Mesa Press.
• Markus, K. A., & Borboom, D. (2005). Frontiers of test validity theory: Measurement, causation, and meaning New York: Routledge .
• Muthén, L. K., & Muthén, B. O. (2012). Mplus user’s guide (7th ed.). Los Angeles: Muthén & Muthén.
• Ostini, R., Finkelman, M., & Nering, M. (2015). Selecting among polytomous IRT models. In S. P. Rise & D. A. Revicki (Orgs.), Handbook of item response theory modeling: Applications to typical performance assessment (pp.285-304). New York: Routledge .
• Pasquali, L. (2007). TRI - Teoria de Resposta ao Item: teoria, procedimentos e aplicações Brasília: LabPAM.
• Peixoto, E. M., & Nakano, T. K. (2014). Problemas e perspectivas na utilização dos testes psicológicos em psicologia do esporte. In C. R. Campos & T. C. Nakano (Orgs.), Avaliação psicológica direcionada a populações específicas: técnicas, métodos e estratégias (pp.201-232). São Paulo: Vetor.
• Pereira, L., & Yoshida, E. M. P. (2013). Eficácia adaptativa e alexitimia em universitários Recuperado em fevereiro 17, 2014, de https://www.puc-campinas.edu.br/websist/Rep/Sic08/Resumo/2013813_165212_147123762_resesu.pdf
  » https://www.puc-campinas.edu.br/websist/Rep/Sic08/Resumo/2013813_165212_147123762_resesu.pdf
• Primi, R., Wechsler, S. M., Nakano, T. C., Oakland, T., & Guzzo, R. S. L. (2014). Using item response theory methods with the Brazilian temperament scale for students. Journal of Psychoeducational Assessment, 9, 1-12. https://doi.org/10.1177/07342829145 28613
  » https://doi.org/10.1177/07342829145 28613
• Schweizer, K. (2010). Some guidelines concerning the modeling of traits and abilities in test construction. European Journal of Psychological Assessment, 26(1), 1-2.
• Silva, C. J. (2011). Eficácia adaptativa e funcionamento global de mulheres idosas com câncer de mama (Dissertação de mestrado não-publicada). Universidade Federal de Uberlândia, Minas Gerais. Recuperado em fevereiro 5, 2014, de http://repositorio.ufu.br/bitstream/123456789/1499/1/Efic%C3%A1ciaAdaptativaFuncionamento.pdf
  » http://repositorio.ufu.br/bitstream/123456789/1499/1/Efic%C3%A1ciaAdaptativaFuncionamento.pdf
• Simon, R. (1989). Psicologia clínica preventiva: novos fundamentos São Paulo: EPU.
• Simon, R. (1997). Proposta de redefinição da E.D.A.O. (Escala Diagnóstica Adaptativa Operacionalizada). Boletim de Psicologia, 47(107), 85-93.
• Simon, R. (1998). Proposta de redefinição da Escala Diagnóstica Adaptativa Operacionalizada EDAO. Mudanças São Bernardo do Campo, 6(10), 13-24.
• Simon, R. (2005). Psicoterapia breve operacionalizada: teoria e técnica São Paulo: Casa do Psicólogo.
• Simon, R., & Yamamoto, K. (2008). Psicoterapia breve operacionalizada em situações de crise adaptativa. Mudanças - Psicologia da Saúde, 16(2), 144-151.
• Smith, R. M. (1996). Polytomous mean-square fit statistics. Rasch Measurement Transactions , 10(3), 516-517.
• Wright, B. D., & Linacre, J. M. (1994). Reasonable meansquare fit values. Rasch Measurement Transactions , 8(3), 370. Retrieved February 17, 2014, from http://www.rasch.org/rmt/rmt83.htm
  » http://www.rasch.org/rmt/rmt83.htm
• Wright, B. D., & Masters, G. N. (1982). Rating scale analysis Chicago: MESA.
• Yoshida, E. M. P. (2013). Escala Diagnóstica Adaptativa Operacionalizada de Autorrelato - EDAO-AR: evidências de validade. Paidéia, 23(54), 83-91. https://doi.org/10.1590/1982-43272354201310
  » https://doi.org/10.1590/1982-43272354201310
• Yoshida, E. M. P., Baptista, M. N., & Argimon, I. I. L. (2014). Escala Diagnóstica Adaptativa Operacionalizada de Autorrelato (EDAO-AR): validade externa Manuscrito submetido para publicação.
• Yoshida, E. M. P., Enéas, M. L. E., & Santeiro, T. V. (2010). Escala Diagnóstica Adaptativa Operacionalizada (EDAO): avaliação da qualidade da eficácia adaptativa. In A. A. A. Santos, F. F. Sisto, E. Boruchovitch, & E. Nascimento (Eds.), Perspectiva em avaliação psicológica (pp.211-227). São Paulo: Casa do Psicólogo .
• Yoshida, E. M. P., Peixoto, E. M., & Honda, G. C. (2015). Escala da Eficácia Adaptativa (EDAO-AR): evidências de validade com universitários. Avaliação Psicológica, 14(2), 291-298.
• Younes, J. A., Lessa, F., Yamamoto, K., Coniaric, J., & Ditzz, M. (2010). Psicoterapia breve operacionalizada e crise por expectativa de perda: um estudo de caso. Psicologia Argumento, 28(63), 303-311.

• Apoio: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Processo nº 99999.007298/2014-05).

Datas de Publicação

• Publicação nesta coleção
  Jun 2017

Histórico

• Recebido
  06 Out 2014
• Revisado
  22 Mar 2016
• Aceito
  15 Abr 2016