Versões Alternativas do Subteste Memória Lógica da WMS-R: Análise de Desempenho de uma Amostra Saudável da Cidade de São Paulo

Alternative Versions of the Logical Memory Subtest of the WMS-R: Performance Analyses of a Healthy Sample from the City of São Paulo

Resumos

O teste Memória Lógica da Wechsler Memory Scale - Revised (WMS-R) é amplamente utilizado na prática clínica como instrumento de avaliação da memória verbal. O objetivo deste estudo foi analisar as propriedades psicométricas iniciais de versões alternativas das histórias traduzidas e livremente adaptadas da WMS-R empregadas no Brasil: três histórias equiparáveis à história Ana Soares e três à de Roberto Mota. A amostra foi constituída de 655 universitários, com idades entre 18 e 35 anos. Foi solicitada a recordação livre imediata e tardia (após 30 min) de cada história, original e alternativas. A análise de equivalência entre a recordação imediata e tardia das histórias alternativas e originais mostrou que cinco histórias foram memorizadas de forma equiparável às histórias originais se aplicadas individualmente. A recordação de três pares dessas histórias alternativas também foi equivalente à recordação do par original. Uma análise utilizando a Teoria de Resposta ao Item apontou os itens com melhor índice discriminativo. Assim, propõe-se histórias alternativas às do WMS-R que poderão ser usadas em estudos de normatização.

Avaliação neuropsicológica; memória episódica; WMS-R; recordação de histórias; recordação livre

The Logical Memory test of the Wechsler Memory Scale - Revised (WMS-R) is widely used in clinical practice as a tool for verbal memory assessment. The aim of this study was to examine the initial psychometric properties of alternative versions of the stories translated and freely adapted from WMS -R used in Brazil: three stories comparable to Ana Soares' and three to Roberto Mota's stories. The sample consisted of 655 adults aged between 18 and 35 years. Immediate and delayed free recall of each original and alternative story was requested. The analysis of equivalence between the recall of alternative and original stories showed that five stories proved equivalent to the original stories, if applied individually. Recall of three pairs of these alternative stories was also equivalent to that of the original pair. An analysis using Item Response Theory (IRT) showed the items with best discriminative index. Therefore, the alternative stories proposed here can be used in normalization studies.

Neuropsychological assessment; episodic memory; WMS-R; prose recall; free-recall

Uma das baterias utilizadas mais largamente para avaliação da memória é a "Wechsler Memory Scale" (WMS) desenvolvida em 1945 por David Wechsler (ver Miller, 2010) e que hoje está em sua quarta versão (WMS-IV). Esta bateria incorpora diversas modalidades de testes de memória, já foi traduzida e/ou adaptada para países como Austrália, Nova Zelândia, Canadá, Estados Unidos, Espanha, Alemanha, França, Dinamarca, Holanda, Noruega, Suécia, Reino Unido e, atualmente, está sendo traduzida e adaptada para o Brasil e Índia (http://pearsonclinical.com).

O subteste Memória Lógica (Logical Memory) da WMS é um dos subtestes mais utilizados na prática clínica internacional (ver Sullivan, 2005) incluindo o Brasil (por exemplo, Gil & Busse, 2009; Melo & Da-Silva, 2012; Noffs, Magila, Santos, & Marques, 2002; Silva, Andrade, & Oliveira, 2007), principalmente em protocolos pré-cirúrgicos de epilepsia (Kneebone, Chelune, & Lüders, 1997; Mader, 2001; Noffs et al., 2002; Rausch & Babb, 1993; Trenerry et al., 1993). Este teste é composto de duas histórias (uma sobre uma mulher [Anna Thompson] e outra sobre um homem [Robert Miller]) com 25 itens a serem memorizados cada e possuem uma estrutura geral baseada em quatro conteúdos temáticos: apresentação do personagem, conflito, agravante/complemento e resolução (Morris, Kunka, & Rossini, 1997).

Essas histórias são relatadas uma de cada vez ao testando (a história com personagem feminino primeiro) que deve evocá-las livremente, sem pistas, imediatamente e após 30 minutos. O número de itens recordados permite a avaliação da recordação imediata e tardia, respectivamente. A recordação imediata é considerada uma medida da eficiência da retenção de informações na memória operacional (subsistema retentor episódico do modelo multicomponente de memória operacional; ver Baddeley 2000; Baddeley & Wilson, 2002), ao passo que a recordação tardia é uma medida de memória episódica (Tulving & Schacter, 1990).

A memória episódica refere-se à recordação de eventos específicos, tem perfil temporal e é espacialmente localizada, portanto, é uma memória relacionada ao contexto em que foi aprendida (Bueno & Oliveira, 2004; Conway, 2009; Tulving, 2002). Este tipo de memória é provavelmente um dos mais suscetíveis a prejuízos. Por exemplo, a formação de novas memórias episódicas é reduzida por fatores como o consumo de tranquilizantes (Pompéia, Pradella-Hallinan, Manzano, & Bueno, 2008), a ocorrência de epilepsia (Noffs et al., 2002), o avançar da idade e a presença de doenças neuropsiquiátricas (Bottino et al., 2002; Foss, Formigheri, & Speciali, 2009; Souza, Soncini, Schönwald, & Chaves, 2005). Assim, testes como o de Memória Lógica são essenciais na avaliação neuropsicológica, pois permitem detectar prejuízo na formação de novas memórias episódicas.

A existência de somente um par de histórias no teste Memória Lógica limita seu uso para avaliar a efetividade de tratamentos e monitorar a recuperação ou deterioração de funções decorrentes de patologias (ver Benedict & Zgaljardic, 1998; Zgaljardic & Benedict, 2001). Ou seja, no que tange testes como o de Memória Lógica, as pessoas são capazes de lembrar ao menos partes da história após uma apresentação inicial (ver Benedict & Zgaljardic, 1998; Schnabel, 2012; Sullivan, 2005; Zgaljardic & Benedict, 2001), o que faz com que as avaliações subsequentes nas quais são usadas as mesmas versões da história não sejam medidas adequadas de memória, pois estão contaminadas por aprendizado de seu conteúdo. Isto é demonstrado em função dos efeitos de melhora de desempenho com testagens repetidas como mostram vários estudos com medidas da Wechsler Adult Intelligence Scale - Revised (WAIS-R), por exemplo (Goldberg et al., 2007; Ivnik, Smith, Malec, & Petersen, 1995; Matarazzo & Herman, 1984; Mitrushina & Satz, 1991; Moore, Stambrook, Hawryluk, & Peters, 1990; Rawlings & Crewe, 1992; Wechsler, 1981).

Apesar da evidente necessidade de se ter histórias alternativas e equiparáveis para trabalhos que avaliam a memória mais que uma vez nos mesmos sujeitos, há somente poucos trabalhos na literatura internacional que se propuseram a fazê-lo. Morris et al. (1997) desenvolveram versões alternativas para o Memória Lógica do WMS-R (Anna Thompson e Robert Miller), denominadas Martha e Greg. Estas histórias foram desenvolvidas para serem psicometricamente equivalentes às histórias originais no que se refere a diversas características e tiveram recordação imediata, por universitários saudáveis, correlacionada positivamente à recordação das histórias originais.

Em muitos contextos clínicos e experimentais, porém, mais que uma versão alternativa, para cada história original, pode ser necessária quando mais de duas avaliações serão realizadas. Sullivan (2005) propôs seis histórias alternativas seguindo critérios rígidos semelhantes aos de Morris et al. (1997) de modo que fossem equiparáveis às histórias originais do WMS (Anna Thompson e Robert Miller do WMS-R, e Joe Garcia, que substituiu a história de Robert no WMS-III). Esta autora analisou, então, a comparabilidade das histórias em diversos parâmetros incluindo o desempenho de sujeitos saudáveis em termos da recordação imediata dessas histórias. Apesar da memorização dessas histórias ter sido no geral semelhante, foram observadas algumas diferenças entre elas, provavelmente porque as próprias histórias do WMS não são equivalentes nos parâmetros estudados (ver Morris et al., 1997; Sullivan, 2005), tampouco em termos de memorização (ver Henry, Adama, Buck, Buchanan, & Altepeter, 1990).

Schnabel (2012), por sua vez, propôs duas versões alternativas às histórias do WMS-IV e observou que as versões originais e as propostas em seu estudo foram recordadas de forma semelhante imediata e tardiamente não só por pessoas saudáveis, mas também por grupos clínicos que apresentam prejuízo de memória episódica. Existem também no Brasil versões alternativas de histórias para avaliar a memória (Correa & Gorenstein 1988a, 1988b), mas estas histórias são diferentes das do WMS o que diminui o seu potencial de detectar problemas de memorização.

No Brasil, a tradução e adaptação livre das histórias do teste Memória Lógica (denominadas de Ana Soares e Roberto Mota) citado por muitos artigos, refere-se a uma publicação em um congresso (Camargo, Bezerra, Gouveia, Santos, & Lemos, 1994). Temos conhecimento de apenas um artigo publicado que inclui a transcrição de uma das histórias originais (Noffs et al., 2002).

Embora a adaptação feita por Camargo et al. (1994) venha sendo utilizada em protocolos de pesquisa e avaliações clínicas no Brasil, como por exemplo em serviços de neurocirurgia, que realizam avaliação neuropsicológica no protocolo pré-cirúrgico (ex. Argimon, Timm, Rigoni, & Oliveira, 2005; Bottino et al., 2002; Cordeiro, Salgado, Santos, Constantino, & Malatesta, 2008; Costa, 2000; Foss et al., 2009; Mader, 2001; Souza et al., 2005; Vasconcelos et al., 2006; Zayanna, Cammarota, Argimon, Gomes, & Schwanke, 2011), não há ainda dados normativos publicados.

Outro fator importante é que não há versões alternativas do teste de Memória Lógica para serem usadas em testagens repetidas e que sejam concernentes a nossa cultura. Há um trabalho que relata o uso de versões alternativas em idosos de população rural (Araújo, 2009). Todavia, esta dissertação de mestrado não inclui explicação do processo de desenvolvimento destas versões, apesar de ter apontado um melhor desempenho da população rural quando foram usadas histórias voltadas para sua realidade.

Com o intuito de construir histórias alternativas às do teste Memória Lógica, um estudo realizado por Bolognani, Pompéia, Rzezak, e Bueno (2010) se propôs a desenvolver três histórias equiparáveis a cada uma das histórias traduzidas e adaptadas livremente para uso no Brasil por Wechsler (1981), dado que estas histórias não são equiparáveis entre si em termos do número de palavras, frases, etc. (ver Morris et al., 1997; Schnabel, 2012; Sullivan, 2005). Para tanto foram consideradas as características culturais da nossa população, ao invés de realizada uma tradução e adaptação das histórias alternativas desenvolvidas por Morris et al. (1997) e Sullivan (2005). Para o desenvolvimento dos novos pares de histórias foi feita inicialmente uma análise morfológica/segmentar das histórias originais, seguida de uma análise de conteúdo temático. Após esta análise foram criadas as histórias paralelas respeitando-se estrutura morfológica, conteúdo temático (teor geral e número de ideias) seguindo as propostas de Morris et al. (1997) e Sullivan (2005).

O presente estudo pretendeu dar continuidade ao desenvolvimento das histórias alternativas do subteste Memória Lógica da WMS-R para uso no Brasil (Bolognani et al., 2010) por meio da análise da adequação das versões, bem como as propriedades psicométricas iniciais. Ou seja, no presente estudo todas as histórias, originais e alternativas, foram aplicadas em uma amostra de jovens saudáveis como em Morris et al. (1997), Schnabel (2012) e em Sullivan (2005), e foi estudada sua comparabilidade em termos de sua recordação imediata e/ou tardia por adultos jovens saudáveis. Para isto foram empregadas duas vertentes da psicometria moderna, a Teoria Clássica dos Testes (TCT) e a Teoria de Resposta ao Item (TRI; Pasquali, 2009). A primeira procura entender o comportamento que um indivíduo apresenta ao responder um teste através do seu resultado final, ou seja, os escores na recordação imediata e tardia de cada história. Neste caso o foco é apenas na somatória de todas as respostas dadas a uma série de itens como realizado por Morris et al. (1997) e Sullivan (2005). Todavia, este procedimento pode ocultar efeitos de memorização teto e solo como apontado por Goldberg et al. (2007), isto é, histórias que são lembradas da mesma forma por todos sem serem capazes de discriminar pessoas com boa ou memória. Estes autores sugerem que seja empregado teoria de resposta ao item para melhor investigar esta questão.

Na área de psicometria, a Teoria de Resposta ao Item é um modelo que envolve a análise dos escores dos itens individuais que compõem uma escala ou teste e não o escore global do teste. Ela se baseia na ideia de que a probabilidade de uma resposta correta é uma função matemática dos parâmetros dos respondentes e/ou dos itens. Aqui avaliamos o parâmetro item, que analisa traços latentes de cada subitem do teste de acordo com a dificuldade e a discriminação das respostas (Andrade, Tavares, & Valle, 2000). Assim, é possível determinar quais itens das histórias são capazes de discriminar entre pessoas com diferentes habilidades de memória e não somente caracterizar qual o número de itens as pessoas geralmente recordam.

Método

Participantes

Foram recrutados 673 universitários, com idade entre 18 e 35 anos, de ambos os sexos, para os quais o português fosse primeira língua. Foram selecionadas duas instituições de ensino superior para a aplicação das histórias, uma instituição particular na cidade de São Paulo e uma instituição tecnológica na cidade de Indaiatuba. Os cursos frequentados pelos participantes testados foram: Administração, História, Logística, Psicologia e Nutrição. A seleção destas instituições foi feita por conveniência devido à dificuldade de aceite da aplicação da pesquisa por outras instituições de ensino superior que foram contatadas.

Instrumentos

Foram empregadas as 6 versões alternativas (baseadas nas desenvolvidas por Bolognani et al., 2010), sendo 3 versões alternativas a cada uma das histórias da adaptação brasileira das histórias originais da WMS-R, isto é, Ana Soares e Roberto Mota (Camargo et al., 1994). Tendo em vista que a estrutura das histórias originais não é equiparável, como apontado anteriormente, as três versões alternativas da história de Ana Soares tinham como personagens mulheres (Maria da Conceição; Suzana Borges; Regina Cardoso), ao passo que as versões alternativas da história de Roberto Mota tinham personagens do sexo masculino (Luis Marques; José Oliveira; Alberto Lemos). Estas versões alternativas foram construídas obedecendo aos seguintes critérios com base nos trabalhos de Morris et al. (1997), Schnabel (2012) e Sullivan (2005):

• 1. Estrutura geral das histórias, ou conteúdo temático (apresentação do personagem; conflito; agravante ou complemento; resolução);

• 2. Estrutura específica (sexo do personagem; o que fez/tinha; o que ocorreu e seus detalhes);

• 3. Estrutura gramatical e detalhes (classes gramaticais das palavras empregadas, nº de palavras, caracteres e sentenças; complexidade das frases);

• 4. Legibilidade, ou facilidade de leitura.

Procedimento

O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal de São Paulo (protocolo 6210 de 09/03/2012). Todos os participantes assinaram termos de consentimento informado.

As oito histórias (duas originais e três histórias alternativas a cada história original) foram testadas em termos de sua recordação imediata e tardia. Para tanto, após contato e autorização para a pesquisa de instituições de ensino superior, salas de aula foram escolhidas aleatoriamente e independente do curso, contanto que contivessem no mínimo 20 e no máximo 40 estudantes. Para cada sala de aula foi contada uma única história, sendo no total, 24 salas de aula participantes do estudo.

Os critérios de exclusão adotados no presente estudo foram relato pelos participantes de: diagnóstico ou histórico de doenças neurológicas e/ou psiquiátricas, uso de álcool nas últimas 24 horas ou medicamentos que interferem com desempenho cognitivo na época do experimento, não ter o português como primeira língua, ser menor de 18 anos ou maior de 35 anos. Para isso foi utilizado um questionário com dados sócio demográficos e de saúde.

Após a leitura e assinatura do termo de consentimento livre e esclarecido, bem com o preenchimento do questionário sócio demográfico e de saúde, foi realizada a aplicação das histórias.

Essa aplicação seguiu o mesmo procedimento descrito no manual da WMS-R para o subteste Memória Lógica (Wechsler, 1987), sendo realizada a recordação livre imediata e tardia (30 minutos) das histórias, exceto que a aplicação das histórias foi feita em sala de aula, coletivamente e as respostas foram dadas por escrito ao invés de serem orais. Foi garantida uma distância suficiente entre as carteiras a fim de não possibilitar que os participantes copiassem as respostas dos colegas. Cada história foi contada pela pesquisadora para os alunos que voluntariamente quiseram participar da pesquisa, à frente da sala de aula, em voz alta, de modo que todos os participantes pudessem ouvi-la.

Ao término da recordação imediata, foi solicitado aos participantes que não escrevessem nem conversassem sobre a história, retomando normalmente as atividades da aula. Isso foi feito para garantir que não houvesse reverberação da história caso soubessem que seria solicitada a recordação tardia.

Escores

Cada história possui 25 "ideias" que podem ser apenas uma palavra ou uma pequena sentença (por exemplo, "Ana Soares", em que Ana equivale a um item e Soares a outro; diferentemente, a sentença "que tinha sido assaltada", equivale a um item) seguindo o teste original. Recordações exatamente iguais aos itens das histórias ou o uso de uma série de sinônimos são pontuados com 1 ponto, o que faz com que o escore máximo seja de 25 pontos (Wechsler, 1981).

As palavras e termos considerados como sinônimos para pontuação seguiram Bolognani et al. (2010) e podem ser obtidos dos autores do presente estudo. Foram obtidos escores para cada participante para recordação livre imediata e tardia.

Análise Estatística

Foi inicialmente realizada uma análise descritiva do escore total da recordação imediata e tardia para cada participante e histórias aplicadas por meio de medida de tendência central (média), variabilidade (desvio e erro-padrão), bem como da idade dos participantes e proporção de sexos referente a cada história. Para as análises com propostas inferenciais referente à comparabilidade da sub-amostra que foi apresentada a cada história e segundo a Teoria Clássica dos Testes (TCT) foi empregado o programa IBM SPSS Statistics Data Editor.

Para a análise de equivalência de memorização entre as histórias, seguindo a Teoria Clássica dos Testes (TCT), primeiramente foram comparadas as histórias originais (Ana Soares e Roberto Mota) por meio de Modelos Lineares Gerais (Generalized Linear Models [GLM]). Os fatores usados foram história (dois níveis), idade e sexo como preditores contínuo e categórico, respectivamente. Tendo em vista que os escores das histórias originais diferiram (ver detalhes na sessão Resultados), o que confirma que elas não têm equivalência em termos de estrutura e recordação (ver Henry et al., 1990; Sullivan, 2005), as demais análises fora m feitas comparando as histórias com personagens do sexo masculino e feminino já que elas foram construídas seguindo as respectivas estruturas das histórias originais. Os fatores foram os mesmos que os descritos acima. O teste post hoc foi o de Bonferroni. Os escores de recordação imediata e tardia das histórias foram realizados por GLM diferentes já que pode haver dependência entre estes escores, isto é, pessoas que têm maior recordação imediata têm o potencial de ter maior recordação tardia. O nível de significância adotado foi 5%.

A fim de estabelecer possíveis pares de histórias a serem utilizados no contexto clínico, procedimento adotado no manual da WMS-R (Wechsler, 1987), as histórias foram combinadas em pares (uma história com personagem masculino e outro, feminino) e a soma dos escores de recordação imediata e tardia de cada par foi comparada aos da soma relativa ao par original através de GLMs com par como fator. O escore máximo de cada par é 50, ou a soma dos itens em ambas as histórias de cada par.

Para análise das propriedades psicométricas, ou seja, propriedade da discriminação do item segundo a teoria de resposta ao item (TRI), foram analisados os resultados referentes à recordação imediata com o programa Mplus (versão 7). Os valores de discriminação adotados foram os recomendados por Baker (2001): índices de discriminação nula (-∞ à 0), baixos/muito baixos (0,01 à 0,64) médios (0,65-1,34), e altos (> 1,35). Itens pouco discriminativos permitem que indivíduos com habilidades bastante diferentes tenham aproximadamente a mesma probabilidade de responder corretamente ao item. Já itens muito discriminativos permitem que possa se discriminar indivíduos em dois grupos: os que possuem habilidades abaixo do valor da média e os que possuem habilidades acima do valor da média (Andrade et al., 2000).

Resultados

Foram excluídos 18 sujeitos: quatro pois ingeriram álcool nas 24 horas anteriores ao estudo, seis porque tinham diagnóstico de ansiedade e/ou depressão e faziam uso de psicotrópicos, três tinham menos de 18 anos e cinco tinham mais de 35 anos.

Dessa forma, a amostra final foi de 655 sujeitos de ambos os sexos, subdivididos entre as oito histórias: Ana Soares (82 sujeitos); Maria da Conceição (82 sujeitos); Suzana Borges (84 sujeitos); Regina Cardoso (83 sujeitos); Roberto Mota (81 sujeitos); Luis Marques (80 sujeitos); José Oliveira (81 sujeitos) e Alberto Lemos (81 sujeitos).

Análise segundo a Teoria Clássica dos Testes (TCT)

Em nenhuma das análises abaixo descritas houve efeito de gênero, sexo ou interação entre estes fatores e a recordação imediata e tardia (valores de p > 0,24).

Análise de Comparação das Versões Alternativas de cada História com as Histórias Originais, Individualmente

A comparação inicial entre as histórias originais da WMS-R quanto aos escores da recordação imediata e tardia mostrou que, na amostra do presente estudo, houve maior média de recordação da história Ana Soares em comparação com a história Roberto Mota, tanto na recordação imediata, F(1,161) = 3,90, p = 0,05, quanto na recordação tardia, F(1,161) = 8,449, p = 0,004.

Baseado em tais diferenças, as análises dos resultados das histórias alternativas, testadas no presente estudo, foram realizadas por sexo dos personagens das histórias, nesse caso as histórias das personagens femininas e masculinas separadamente, como já citado. No que se refere à comparação entre as histórias originais e as versões alternativas nas histórias com personagens do sexo feminino houve diferenças significativas entre as histórias na recordação imediata, F(3,327) = 14,19, p < 0,001, e na recordação tardia, F(3,327) = 12,11, p < 0,001. A história Regina Cardoso foi menos lembrada que a história original Ana Soares, Maria da Conceição e Suzana Borges na recordação imediata e tardia (valores de p < 0,007), sendo as demais equivalentes entre si (Tabela 1).

Tabela 1.
Características Demográfi cas da Amostra por Versão da História Apresentada (original e alternativa), Média ± Desvio Padrão da Recordação Livre Imediata (Rec. Imed.) e Tardia (Rec. Tardia) de cada História e de Pares destas Versões Combinadas e Diferenças Estatísticas Apresentadas na Recordação (? Rec.) quando da Comparação com as Histórias do Mesmo Gênero ou Outros Pares

	N	% homens	Idade	Rec. Imed.	Rec. tardia	≠ rec. imediata	≠ rec. tardia
Personagens Femininos
Ana Soares (original)	82	39,1	20,6 ± 2,1	12,2 ± 3,7	11,9 ± 3,9	≠ Regina Cardoso	≠ Regina Cardoso
Maria da Conceição (alternativa)	82	51,2	23,9 ± 2,4	13,2 ± 4,1	13,1 ± 4,0	≠ Regina Cardoso	≠ Regina Cardoso
Regina Cardoso (alternativa)	83	50,6	23,7 ± 1,8	10,1 ± 3,7	10,1 ± 3,5	≠ todas	≠ todas
Suzana Borges (alternativa)	84	46,4	21,1 ± 2,1	13,6 ± 3,7	13,1 ± 3,6	≠ Regina Cardoso	≠ Regina Cardoso
Personagens Masculinos
Roberto Mota (original)	81	48,0	20,6 ± 1,7	11,2 ± 2,8	10,3 ± 3,1
Alberto Lemos (alternativa)	81	44,4	23,3 ± 1,6	10,1 ± 3,0	9,8 ± 3,3	≠ Luis Marques	≠ Luis Marques
José Oliveira (alternativa)	80	58,8	23,2 ± 2,0	11,0 ± 4,1	10,5 ± 4,1
Luis Marques (alternativa)	82	50,0	24,5 ± 2,2	12,3 ± 3,7	11,5 ± 3,6	≠ Alberto Lemos	≠ Alberto Lemos
Pares
Ana Soares + Roberto Mota				23,4 ± 6,5	22,2 ± 7,0
Maria da Conceição + José Oliveira				24,2 ± 8,2	23,6 ± 8,1
Maria da Conceição + Alberto Lemos				23,3 ± 7,1	22,9 ± 7,3
Suzana Borges + Alberto Lemos				23,6 ± 6,7	22,9 ± 6,9
Regina Cardoso + Luis Marques				22,4 ± 7,4	21,6 ± 7,1

Já em relação às histórias com personagens do sexo masculino, houve diferenças significativas entre as histórias na recordação imediata, F(3,320) = 6,07, p = 0,001, e na recordação tardia, F(3,320) = 3,45, p = 0,017. A história original Roberto Mota não diferiu de nenhuma das histórias alternativas; já a história Alberto Lemos teve menor recordação apenas em relação à história Luis Marques nas recordações imediata e tardia (valores de p < 0,02) (Tabela 1).

Análise de Comparação de Pares das Versões Alternativas com o Par de Histórias Original

Na análise de formação de pares os pares que mostraram escores semelhantes ao do par original tanto na memória imediata quanto tardia foram os seguintes: Maria da Conceição e José Oliveira; Suzana Borges e Alberto Lemos; Regina Cardoso e Luís Marques. A análise estatística mostrou que não houve diferença significativa entre nenhum desses pares analisados em relação ao par original Ana Soares e Roberto Mota na recordação imediata, F(3,327) = 0,753, p = 0,52, e tardia F(3,27) = 1,854 p = 0,118 (Tabela 1). Os outros pares formados diferiram do par original e seus dados não serão apresentados ou discutidos.

Análise Segundo a Teoria de Resposta ao Item (TRI)

Quanto aos itens com altas taxas de discriminação (1,35 à +∞), a análise de TRI (Tabela 2) encontrou nas histórias originais sete itens na história Ana Soares e dois itens na história Roberto Mota; já nas histórias alternativas houve três itens na história Maria da Conceição e Suzana Borges, cinco na história Regina Cardoso e Luis Marques, oito na história José de Oliveira e cinco itens na história Alberto Lemos.

Tabela 2.
Número de Itens em Cada História de Acordo com o Nível de Discriminação com Base na Análise da Teoria de Resposta ao Item

Histórias			Discriminação (nº de itens por história)
	Nula (-∞)	Muito Baixa (0,01 – 0,34)	Baixa (0,35 – 0,64)	Moderada (0,64 – 1,35)	Alta (1,35 – 1,69)	Muito Alta (> 1,70)	Excelente (+∞)
Ana Soares	4	3	7	4	3	3	1
Maria da Conceição	2	8	3	9	0	2	1
Suzana Borges	4	5	4	9	1	1	1
Regina Cardoso	3	3	6	8	1	4	0
Roberto Mota	13	4	3	2	0	2	0
Luis Marques	3	5	3	9	3	1	1
José Oliveira	3	5	4	5	2	6	0
Alberto Lemos	8	6	4	2	2	3	0

Já em relação aos itens com baixas taxas de discriminação (Tabela 2), nas histórias originais houve itens com baixa discriminação/nenhuma discriminação (-∞ à 0,64), sendo treze itens na história Ana Soares e vinte itens na história Roberto Mota; já nas histórias alternativas houve treze itens na história Maria da Conceição e Suzana Borges, dez na história Regina Cardoso, onze na história Luis Marques, doze na história José de Oliveira e dezesseis itens na história Alberto Lemos. Como se pode ver a história Roberto Mota é a que mais apresenta itens de baixa discriminação, sendo que desses vinte itens, treze apresentaram discriminação nula, sendo esta a história menos discriminativa, comparada as outras.

Discussão

O presente estudo descreveu o processo de comparação da recordação imediata e tardia de diferentes versões alternativas do subteste Memória Lógica do WMS-R para uso no Brasil por adultos jovens saudáveis com alta escolaridade. As histórias originais não foram equiparáveis entre si em termos dos escores na recordação imediata e tardia, corroborando Henry et al. (1990) e Sullivan (2005). Por este motivo as histórias com personagens do sexo masculino e feminino foram tratadas separadamente, já que elas têm estruturas ligeiramente distintas (Henry et al., 1990) e talvez por este motivo sejam diferentemente recordadas.

Considerando a análise individual de escores totais de cada história, de acordo com o sexo dos personagens, foi verificado que das seis histórias alternativas, cinco apresentaram equivalência com as histórias originais. A única história que não o apresentou e tampouco foi semelhante em termos de recordação com as demais histórias alternativas foi a de Regina Cardoso, que teve índice de recordação imediata e tardia significativamente menor que as demais histórias com personagem do sexo feminino.

Em relação aos pares de histórias construídos a partir da combinação das versões alternativas (uma história do sexo masculino e outra do feminino) que foram comparáveis em termos de memorização imediata e tardia com aquela do par original, verificamos que três pares foram adequados (Maria da Conceição e José Oliveira; Suzana Borges e Alberto Lemos; Regina Cardoso e Luís Marques). Este procedimento, de comparação da recordação de pares de histórias alternativas com o par original, foi adotado por Morris et al. (1997) mas não por Schnabel (2012) e Sullivan (2005), e é importante pois permite o uso destas versões quando do emprego do procedimento padrão de aplicação do teste Memória Lógica. Com isso, os pares sugeridos pelo presente estudo, após validação, tem o potencial de ser utilizados na clínica como medida de memória em casos de necessidade de re-teste em pacientes, garantindo resultados equiparáveis às histórias originais (Ana Soares e Roberto Mota).

A análise de TRI mostrou que alguns itens das histórias alternativas, assim como itens das histórias originais, apresentaram índices discriminativos baixos/muito baixos (0,01 à 0,64) e até mesmo sem discriminação alguma, ou discriminação nula (-∞ à 0). Note que itens pouco discriminativos permitem que indivíduos com habilidades bastante diferentes tenham aproximadamente a mesma probabilidade de responder corretamente ao item, o que não é de interesse no contexto clínico e experimental. Já itens muito discriminativos permitem discriminar indivíduos entre os que possuem habilidades abaixo do valor médio da dificuldade do item e os que possuem habilidades acima do valor médio da dificuldade do item (Andrade et al., 2000).

Do total de 25 itens por história verificamos que os itens com baixa ou nenhuma discriminação (-∞ à 0,64) por história foram entre 10 e 13 itens para todas as histórias exceto a do Roberto Mota, para qual foram encontrados 20 itens não discriminativos (13 apresentaram discriminação nula), e a do Alberto Lemos, que apresentou 16 itens não discriminativos. O uso, individual, destas últimas duas histórias deve ser evitado, pois devem gerar poucos dados úteis na caracterização de alterações mnemônicas. Embora a memorização das histórias com personagens masculinos alternativas propostas aqui tenha sido equiparável à de Roberto Motas, esta análise de discriminação ao item aponta que a possibilidade de discriminar pacientes com problemas mnemônicos pode estar comprometida usando a história masculina original, isto é, pode haver um efeito solo ou teto não detectável (ver Goldberg et al., 2007). Com base nisto, sugere-se que, se for usado o procedimento padrão com determinação da memorização conjunta das duas histórias originais, é provável que recordação relativa à história de Ana Soares seja mais responsável pela detecção de problemas mnemônicos. Tendo em vista que não temos conhecimento de estudos que tenham determinado discriminação ao item das histórias originais, em sua versão em inglês e português, esta constatação deve ser avaliada em futuros estudos nesta área.

A história Regina Cardoso, por ter apresentado na aplicação individual um maior índice de dificuldade de memorização quando comparada às demais histórias com personagens femininas, e a de Alberto Lemos, que foi mais difícil de recordar que a de Luis Marques, podem ter os itens de menor discriminação substituídos por itens mais fáceis de serem lembrados em um estudo futuro de padronização, caso seja de interesse obter mais histórias alternativas do que as que se mostraram equiparáveis às histórias originais. Fazer o mesmo com a história do Roberto Mota não é indicado, pois somente 20% de seus itens apresentaram discriminação adequada. A história teria que ser totalmente alterada para que fosse semelhante às demais em termos de itens discriminativos.

As versões alternativas das histórias avaliadas aqui poderão fornecer dados mais confiáveis na avaliação do funcionamento da memória verbal no contexto clínico e experimental após validação, pois permitem que o teste de Memória Lógica seja repetido sem o risco de que a memorização de uma história por exposição prévia repercuta positivamente nos escores numa aplicação posterior (ver Benedict & Zgaljardic, 1998; Goldberg et al., 2007; Schnabel, 2012; Sullivan, 2005; Zgaljardic & Benedict, 2001). Com efeito, foi demonstrado que a repetição de testagens com o uso de formas alternativas de testes que avaliam memória verbal não levam à melhora de desempenho (Benedict & Zgaljardic, 1998). No entanto, deve-se ter em mente que a repetição de testes como o de memória lógica, mesmo com versões alternativas, não é imune a efeitos de prática e pode ocorrer por simples familiarização com os procedimentos do teste, diminuição da ansiedade, desenvolvimento de estratégias para realizar o teste, entre outras (ver Goldberg et al., 2007; Goldberg, Keefe, Goldman, Robinson, & Harvey, 2010). Uma das formas de diminuir estes vieses é fazer sessões de treino prévio nas tarefas antes das medidas basais (ver Goldberg et al., 2010 para outras possibilidades). Ademais, ressalta-se que a normatização das versões alternativas se faz necessária para melhorar e incrementar a utilidade dessas histórias equivalentes como ferramentas para avaliar o funcionamento da memória de diferentes populações.

Caso seja de interesse usar as histórias aqui apresentadas antes da realização da normatização, sugerimos os seguintes procedimentos:

• 1. Em situações clínicas ou estudos que envolvam duas sessões de testes (ex. antes de depois de uma intervenção) que envolva aplicação de somente uma história por vez, sugere-se que sejam empregadas as histórias femininas excetuando a história Regina Cardoso, dado que as histórias Roberto Mota e Alberto Lemos não apresentaram boa discriminação de itens.

• 2. Em situações em que mais do que duas testagens sejam necessárias com aplicação de somente uma história por vez, pode-se empregar as versões alternativas aqui apresentadas levando em conta que a história Regina Cardoso foi mais difícil de lembrar que as demais histórias femininas e que as histórias Luís Marques e Alberto Lemos não foram equivalentes entre si.

• 3. Em situações clínicas e experimentais que envolverem repetição de testagens com a soma de escores de duas histórias, os seguintes pares podem ser empregados além do par original, pois levaram a escores equivalentes na recordação imediata e tardia: Maria da Conceição e José Oliveira; Suzana Borges e Alberto Lemos; Regina Cardoso e Luís Marques.

É essencial apontar que o uso de mais de uma versão de histórias ou pares de histórias em diferentes sessões de testes deve ser acompanhado de balanceamento de versões entre sessões. Por exemplo, se as histórias Maria Conceição e Suzana Borges são usadas, para metade dos pacientes ou sujeitos experimentais deve ser apresentada uma das histórias na primeira sessão e aos demais a outra. Na segunda sessão deve ocorrer o inverso. Desta forma fica garantido que possíveis diferenças de memorização entre versões, que podem variar dependendo da população estudada, não interferirão com os resultados obtidos.

O presente estudo apresenta algumas limitações. As histórias foram estudas separadamente e não se pode garantir que o conteúdo de uma não interfira com o de outra se forem aplicadas na mesma sessão no mesmo paciente/participante. Todavia, existem evidências de ausência de efeito de ordem em versões semelhantes das histórias (Schnabel, 2012). Os dados aqui descritos foram obtidos numa população jovem, com alta escolaridade e do estado de São Paulo. O motivo para o uso de participantes jovens saudáveis foi seguir os procedimentos dos estudos semelhantes acima citados e a possibilidade de controlar possíveis fatores que podem interferir com a memória, como uso de medicamentos, decréscimo da memória com a idade, patologias, etc., ou suas interações, que poderiam ter interferido com os resultados obtidos. É, contudo, provável que outras populações memorizem de forma distinta as histórias apresentadas. Ademais, a forma de recordação foi coletiva e as respostas foram escritas e não orais, o que difere do procedimento padrão do teste, na prática clínica. Portanto, sugere-se que os profissionais que se interessarem em usar os dados aqui propostos, antes que a normatização seja realizada, realizem estudos piloto com suas populações de interesse e seguindo o método padrão de aplicação para assegurar a equiparação das histórias.

Referências

• Andrade, D. F., Tavares, H. R., & Valle, R C . (2000) . Modelo matemático - Teoria da Resposta ao Item: Conceitos e aplicações. In: Resumos do 14° Simpósio Nacional de Probabilidade e Estatística (pp. 7-25). Caxambu, MG: Associação Brasileira de Estatística.
• Araújo, L. I. (2009). Avaliação da correção proposicional dos subtestes memória lógica I e II da escala de memória de Wechsler e do perfil de eficiência comunicativa em diferentes grupos de idosos (Dissertação de mestrado em Ciências Comportamentais, Universidade de Brasília, DF, Brasil).
• Argimon, I. I. L., Timm, L. A., Rigoni, M. S., & Oliveira, M S . (2005) . Instrumentos de avaliação de memória em idosos: Uma revisão. Revista Brasileira de Ciências do Envelhecimento Humano, 2: 28-35 Recuperado em http://www.upf.br/seer/index.php/rbceh/article/view/35/27 .
  » http://www.upf.br/seer/index.php/rbceh/article/view/35/27
• Baddeley, A D . (2000) . The episodic buffer: A new component of working memory?. Trends in Cognitive Sciences, 4: 417-423 doi:10.1016/S1364-6613(00)01538-2 .
  » https://doi.org/10.1016/S1364-6613(00)01538-2
• Baddeley, A. D., & Wilson, B A . (2002) . Prose recall and amnesia: Implications for the structure of working memory. Neuropsychologia, 40: 1737-1743 doi:10.1016/S0028-3932(01)00146-4 .
  » https://doi.org/10.1016/S0028-3932(01)00146-4
• Baker, F B . (2001) .The basics of item response theory (2nd ed.). College Park, MD: Eric Clearinghouse on Assessment and Evaluation.
• Benedict, R. H. B., & Zgaljardic, D J . (1998) .Practice effects during repeated administration of memory tests with and without alternate forms.Journal of Clinical and Experimental Neuropsychology, 20: 339-352 doi:10.1076/jcen.20.3.339.822 .
  » https://doi.org/10.1076/jcen.20.3.339.822
• Bolognani, S., Pompéia, S., Rzezak, P., & Bueno, O F A. . (2010) . Alternative stories for prose recall testing in Brazil: Development of 4 new versions in Portuguese. Journal of the International Neuropsychological Society, 16(Suppl. 2): 14.
• Bottino, C M C. ., Carvalho, I. A. M., Alvarez, A. M. M. A., Avila, R., Zukauskas,P. R., Bustamante, S. E. Z., ... Camargo, C. H. P. (2002, mar) . Reabilitação cognitiva em pacientes com doença de Alzheimer: Relato de trabalho em equipe multidisciplinar. Arquivos de Neuro-Psiquiatria, 60(1): 70-79 doi:10.1590/S0004-282X2002000100013 .
  » https://doi.org/10.1590/S0004-282X2002000100013
• Bueno, O F. A. ., & Oliveira, M. G. M. (2004) . Memória e amnésia . In: Neuropsicologia hoje (pp. 135-163). São Paulo, SP: Artes Médicas.
• Camargo, C. H. P., Bezerra, A., Gouveia, F., Santos,A. R., & Lemos, J. (1994). Teste de memória verbal: Auxílio para seleção cirúrgica na epilepsia. Trabalho apresentado na XIX Reunião da Liga Brasileira de Epilepsia & XIV Reunião da Sociedade de Neurofisiologia Clínica, Campinas, SP, Brasil.
• Conway, M A . (2009) . Episodic memory. Neuropsychologia, 47: 2305-2306 doi:10.1016/j.neuropsychologia.2009.02.003 .
  » https://doi.org/10.1016/j.neuropsychologia.2009.02.003
• Cordeiro, R., Filho, E. C. L., Salgado, P. E. T., Santos, C. O., Constantino, L., & Malatesta, M L L. S. . (2008) .Distúrbios neurológicos em trabalhadores com baixos níveis de chumbo no sangue. II- Disfunções neurocomportamentais. Revista de Saúde Pública, 30(4): 358-363 doi:10.1590/S0034-89101996000400009 .
  » https://doi.org/10.1590/S0034-89101996000400009
• Correa, D. D., & Gorenstein, C. (1988a). Bateria de testes de memória Parte 1: Critérios de elaboração e avaliação. Arquivo Brasileiro de Psicologia, 38: 24-35.
• Correa, D. D., & Gorenstein, C. (1988b). Bateria de testes de memória Parte 2: Critérios de elaboração e avaliação. Arquivo Brasileiro de Psicologia, 40: 42-53.
• Costa, R. M. E. M. (2000). Ambientes virtuais na reabilitação cognitiva de pacientes neurológicos e psiquiátricos (Tese de doutorado em Ciências, Departamento de Engenharia de Sistemas e Computação, Universidade Federal do Rio de Janeiro, RJ, Brasil).
• Foss, M. P., Formigheri, P., & Speciali, J G . (2009, dez) . Heterogeneidade do envelhecimento cognitivo em idosos brasileiros saudáveis. Dementia e Neuropsychologia, 3(4): 344-351.
• Gil, G., & Busse, A L . (2009) .Avaliação neuropsicológica e o diagnóstico de demência comprometimento cognitivo leve e queixa de memória relacionada à idade. Arquivos Médicos dos Hospitais e da Faculdade de Ciências Medicas da Santa Casa de São Paulo, 54: 44-50.
• Goldberg, T E. . ., Goldman, R. S., Burdick, K. E., Malhotra, A. K., Lencz, T., Patel, R. C., ... Robinson, D. G (2007) . Cognitive improvement after treatment with second-generation antipsychotic medications in first-episode schizophrenia: Is it a practice effect?. Archives of General Psychiatry, 64(10): 1115-1122 doi:10.1001/archpsyc.64.10.1115 .
  » https://doi.org/10.1001/archpsyc.64.10.1115
• Goldberg, T. E., Keefe, R. S.., Goldman, R. S.., Robinson, D. G., & Harvey, P D . (2010, April) . Circumstances under which practice does not make perfect: A review of the practice effect literature in schizophrenia and its relevance to clinical treatment studies. Neuropsychopharmacology, 35(5): 1053-1062 doi:10.1038/npp.2009.211 .
  » https://doi.org/10.1038/npp.2009.211
• Henry, G. K., Adama, R. L., Buck, P., Buchanan, W. L., & Altepeter, T A . (1990) . The American liner New York and Anna Thompson: An investigation of interference effects on the Wechsler Memory Scale. Journal of Clinical and Experimental Neuropsychology, 12(4): 502-506 doi:10.1080/01688639008400996 .
  » https://doi.org/10.1080/01688639008400996
• Ivnik, R. J., Smith, G. E., Malec, J. F., & Petersen, R C . (1995) . Longterm stability and intercorrelations of cognitive abilities in older persons. Psychological Assessment, 7: 155-161 doi:10.1037/1040-3590.7.2.155 .
  » https://doi.org/10.1037/1040-3590.7.2.155
• Kneebone, A., Chelune, G., & Lüders, H. (1997). Individual patient prediction of seizure lateralization in temporal lobe epilepsy: A comparison between neuropsychological memory mesures and the Intracarotid Amobarbital Procedure. Journal of the International Neuropsychological Society, 3: 159-168.
• Mader, M J . (2001, mar.) . Avaliação neuropsicológica nas epilepsias: Importância para o conhecimento do cérebro. Psicologia Ciência e Profissão, 21(1) doi:10.1590/S1414-98932001000100007 .
  » https://doi.org/10.1590/S1414-98932001000100007
• Matarazzo, J. D., & Herman, D O . (1984) . Base rate data for the WAIS-R: Test-retest stability and VIQ-PIQ differences. Journal of Clinical Neuropsychology, 6: 351-366 doi:10.1080/01688638408401227 .
  » https://doi.org/10.1080/01688638408401227
• Melo, L. F., & Da-Silva, S L . (2012) . Análise neuropsicológica de distúrbios cognitivos em pacientes com fibromialgia artrite reumatoide e lúpus eritematoso sistêmico. Revista Brasileira de Reumatologia, 52: 175-188 doi:10.1590/S0482-50042012000200003 .
  » https://doi.org/10.1590/S0482-50042012000200003
• Miller, J. B. (2010). Assessment of memory function and effort using the Wechsler Memory Scale - 4th edition (Doctoral dissertation). Retrieved from http://digitalcommons.wayne.edu/cgi/viewcontent.cgi?article=1200&context=oa_dissertations
  » http://digitalcommons.wayne.edu/cgi/viewcontent.cgi?article=1200&context=oa_dissertations
• Mitrushina, M., & Satz, P. (1991). Effect of repeated administration of a neuropsychological battery in the elderly. Journal of Clinical Psychology, 47: 790-801.
• Moore, A. D., Stambrook, M., Hawryluk, G. A., & Peters, L C . (1990) . Test-retest stability of the Wechsler Adult Intelligence Scale-Revised in the assessment of head-injured patients . Psychological Assessment, 2: 98-100 doi:10.1037/1040-3590.2.1.98 .
  » https://doi.org/10.1037/1040-3590.2.1.98
• Morris, J., Kunka, J. M., & Rossini, E D . (1997) . Development of alternate paragraphs for the Logical Memory subtest of the Wechsler Memory Scale-Revised. The Clinical Neuropsychologist, 11: 370-374 doi: 10.1080/13854049708400465 .
  » https://doi.org/10.1080/13854049708400465
• Noffs, M. H. S., Magila, M. C., Santos, A. R., & Marques, C M . (2002) . Avaliação neuropsicológica de pessoas com epilepsia. Visão crítica dos testes empregados na população brasileira. Revista Neurociências, 10: 83-93 doi:10.5579/rnl.2012.125 .
  » https://doi.org/10.5579/rnl.2012.125
• Pasquali, L. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43: 992-999 doi:10.1590/S0080-62342009000500002 .
  » https://doi.org/10.1590/S0080-62342009000500002
• Pompéia, S., Pradella-Hallinan, M., Manzano, G. M., & Bueno, O F . (2008) . Effects of lorazepam on visual perceptual abilities. Human Psychopharmacology, 23: 183-192 doi:10.1002/hup.927 .
  » https://doi.org/10.1002/hup.927
• Rausch, R., & Babb, R T . (1993) . Hipocampal neuron loss and memory scores before and after temporal lobe surgery for epilepsy. Archives of Neurology, 50(8): 812-817 doi:10.1001/archneur.1993.00540080023008 .
  » https://doi.org/10.1001/archneur.1993.00540080023008
• Rawlings, D. B., & Crewe, N M . (1992) . Test-retest practice effects and test score changes of the WAIS-R in recovering traumatically brain-injured survivors . Clinical Neuropsychologist, 6: 415-430 doi:10.1080/13854049208401868 .
  » https://doi.org/10.1080/13854049208401868
• Schnabel, R. (2012). Overcoming the challenge of re-assessing logical memory . Clinical Neuropsychologist, 26(1): 102-115 doi:10.1080/13854046.2011.640642 .
  » https://doi.org/10.1080/13854046.2011.640642
• Silva, A. N. S., Andrade, V. M., & Oliveira, H A . (2007) . Avaliação neuropsicológica em portadores de epilepsia do lobo temporal. Arquivo de Neuropsiquiatra, 65: 492-497 doi:10.1590/S0004-282X2007000300025 .
  » https://doi.org/10.1590/S0004-282X2007000300025
• Souza, S. B. C., Soncini, N., Schönwald, S., & Chaves, M L F . (2005) . Desempenho cognitivo de pacientes esquizofrênicos destros e voluntários saudáveis.Revista de Psiquiatria do Rio Grande do Sul, 27(1): 23-31 doi:10.1590/S0101-81082005000100003 .
  » https://doi.org/10.1590/S0101-81082005000100003
• Sullivan, K. (2005). Alternate forms of prose passages for the assessment of auditory-verbal memory. Archives of Clinical Neuropsychology, 20(6): 745-753 doi:10.1016/j.acn.2005.04.006 .
  » https://doi.org/10.1016/j.acn.2005.04.006
• Trenerry, M R ., Jack, J R. Ivnik, R. J., Sharbrough, F. W., Cascino, G. D., Hirschorn, K. A., ...Meyer, F. B. (1993) . MRI hippocampal volumes and memory function before and after temporal lobectomy. Neurology, 43: 1800-1805 doi:10.1212/WNL.43.9.1800 .
  » https://doi.org/10.1212/WNL.43.9.1800
• Tulving, E. (2002). Episodic memory: From mind to brain. Annual Review of Psychology, 53: 1-25 doi:10.1146/annurev.psych.53.100901.135114 .
  » https://doi.org/10.1146/annurev.psych.53.100901.135114
• Tulving, E., & Schacter, D L . (1990) . Priming and human memory systems. Science, 247: 301-396 doi:10.1126/science.2296719 .
  » https://doi.org/10.1126/science.2296719
• Vasconcelos, M. G., Fiorot, J. A., Jr., Sarkovas, C., Pinto, A. P. M., Barsottini, O. G. P., & Gabbai, A A . (2006) . Forma intermediária de síndrome de Foix-Chavany-Marie / síndrome de Worster-Drought associada a movimentos involuntários: Aspectos neuropsicológicos e fonoaudiológicos. Arquivos de Neuro-Psiquiatria, 64(2a): 322-325 doi:10.1590/S0004-282X2006000200029 .
  » https://doi.org/10.1590/S0004-282X2006000200029
• Wechsler, D. (1981). Manual for the Wechsler Adult Intelligence Scale - Revised. New York: Psychological Corporation.
• Wechsler, D. (1987). Wechsler Memory Scale - Revised: Manual. San Antonio, TX: Pshycological Corporation.
• Zayanna, C. L., Cammarota, M. P., Argimon, I. I. L., Gomes, I., & Schwanke, C H A . (2011) . Percepção subjetiva de memória e habilidade manual em idosos de uma oficina de inclusão digital. Revista Brasileira de Geriatria e Gerontologia, 14: 303-317.
• Zgaljardic, D. J., & Benedict, R H . (2001) .Evaluation of practice effects in language and spatial processing test performance. Applied Neuropsychology, 8(4): 218-223 doi:10.1207/S15324826AN0804_4 .
  » https://doi.org/10.1207/S15324826AN0804_4

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2015

Histórico

• Recebido
  19 Maio 2014
• Revisado
  10 Set 2014
• Aceito
  12 Set 2014