Acessibilidade / Reportar erro

Triagem em saúde mental infantil

Child's mental health triage

Resumos

Este estudo foi conduzido para comparar os resultados de um procedimento grupal aberto e um procedimento individual estruturado para avaliação do comportamento da criança conforme o relato materno. Participaram deste estudo 29 mães que buscavam atendimento para seus filhos em uma unidade de saúde mental infanto-juvenil. As primeiras 15 mães que procuraram o serviço foram entrevistadas individualmente conforme um roteiro estruturado desenvolvido a partir do CBCL e depois foram entrevistadas em grupo, em formato aberto. As outras 14 mães participaram da entrevista grupal aberta e em seguida participaram da entrevista individual estruturada. Os resultados das entrevistas foram comparados tomando como referência as 67 categorias comportamentais identificadas a partir do roteiro individual e quatro variáveis contextuais relatadas nos dois procedimentos. Os resultados mostram que um número substancialmente maior de comportamentos-problema foi identificado através de entrevista individual estruturada do que através de entrevista grupal aberta realizada com os mesmos informantes. É possível que o uso de um roteiro estruturado em entrevistas grupais possa oferecer mais informações com otimização do tempo de avaliação.

triagem; entrevista grupal; entrevista individual; saúde mental infantil


This study was aimed at comparing the results of a group open procedure and a structured individual procedure to evaluate child behavior according to the mother's report. Participants were 29 mothers who searched attendance for their children at a mental health unit for children and youngsters. The first 15 mothers to enroll in the study underwent an individual, structured interview, developed from the CBCL items, and then they underwent a group open interview. The next 14 mother to enroll underwent the open group interview and then the individual structured interview. The results obtained were compared taking into consideration the 67 behavioral categories identified from the individual report and four contextual variables from the two procedures. The results show that a substantially higher number of problematic behaviors was identified through the structured individual interview than through the open group interview held with the same informants. It is possible that the use of a structured report in group interviews may offer more information with the optimization of the evaluation time.

triage; group interview; individual interview; child mental health


Triagem em saúde mental infantil1 1 Este estudo é parte da dissertação de mestrado da primeira autora, realizada sob supervisão da segunda.

Child's mental health triage

Fabiana Vieira Gauy2 2 Endereço: Rua 1138 nº 212, Setor Marista, Goiânia, GO, Brasil 74180-170. E-mail: fgauy@terra.com.br ; Suely Sales Guimarães

Universidade de Brasília

RESUMO

Este estudo foi conduzido para comparar os resultados de um procedimento grupal aberto e um procedimento individual estruturado para avaliação do comportamento da criança conforme o relato materno. Participaram deste estudo 29 mães que buscavam atendimento para seus filhos em uma unidade de saúde mental infanto-juvenil. As primeiras 15 mães que procuraram o serviço foram entrevistadas individualmente conforme um roteiro estruturado desenvolvido a partir do CBCL e depois foram entrevistadas em grupo, em formato aberto. As outras 14 mães participaram da entrevista grupal aberta e em seguida participaram da entrevista individual estruturada. Os resultados das entrevistas foram comparados tomando como referência as 67 categorias comportamentais identificadas a partir do roteiro individual e quatro variáveis contextuais relatadas nos dois procedimentos. Os resultados mostram que um número substancialmente maior de comportamentos-problema foi identificado através de entrevista individual estruturada do que através de entrevista grupal aberta realizada com os mesmos informantes. É possível que o uso de um roteiro estruturado em entrevistas grupais possa oferecer mais informações com otimização do tempo de avaliação.

Palavras-chave: triagem; entrevista grupal; entrevista individual; saúde mental infantil.

ABSTRACT

This study was aimed at comparing the results of a group open procedure and a structured individual procedure to evaluate child behavior according to the mother's report. Participants were 29 mothers who searched attendance for their children at a mental health unit for children and youngsters. The first 15 mothers to enroll in the study underwent an individual, structured interview, developed from the CBCL items, and then they underwent a group open interview. The next 14 mother to enroll underwent the open group interview and then the individual structured interview. The results obtained were compared taking into consideration the 67 behavioral categories identified from the individual report and four contextual variables from the two procedures. The results show that a substantially higher number of problematic behaviors was identified through the structured individual interview than through the open group interview held with the same informants. It is possible that the use of a structured report in group interviews may offer more information with the optimization of the evaluation time.

Key words: triage; group interview; individual interview; child mental health.

Quando bem sucedidas em seu processo desenvolvimental, crianças e adolescentes tornam-se adultos saudáveis, competentes para responder de modo satisfatório às demandas de seu ambiente emocional, social, familiar e profissional. De outra forma, variações no processo de desenvolvimento saudável, seja em conseqüência de respostas adaptativas, de transtornos transitórios, ou de desvios no desenvolvimento esperado, podem levar a quadros clínicos diversos, precursores de problemas para a saúde mental da criança e posteriormente do adulto (Drotar, 2002; LaRocque, Brown & Johnson, 2001; Underwood & Falwell, 2002). Estes quadros clínicos consistem em respostas desviantes ou excessivas de padrões comportamentais atípicos que, segundo Garber (1984), podem ser caracterizados pela intensidade, freqüência, duração e combinação de respostas desadaptativas.

A intensidade de uma condição clínica é definida pela magnitude excessiva da resposta, em geral identificada pelas suas conseqüências, como a ocorrência de um ataque de pânico em resposta a níveis altos de ansiedade. A freqüência é definida pela alta taxa de ocorrência ou pela não ocorrência da resposta, como quando a criança se recusa a ir à escola, por medo do afastamento parental; ou como na emissão de comportamento delinqüente devido à não ocorrência da resposta de cuidado com o outro. A duração é definida pelo tempo de permanência da resposta no repertório do indivíduo, como a ocorrência de birra com choro alto e a baixa tolerância à frustração entre crianças maiores de 8 anos. A combinação de respostas desadaptativas é definida pela ocorrência simultânea de comportamentos que potencializam e diferenciam a gravidade da queixa, como quando a agressividade e a delinqüência estão presentes no repertório de um mesmo indivíduo (Garber, 1984).

A incidência de respostas desviantes ou excessivas entre crianças e adolescentes em dado momento é estimada entre 15% a 22% da população geral. Embora seja reconhecido que crianças com esse repertório necessitam de tratamento especializado, 75% a 80% delas deixam de receber assistência (Marsh & Graham, 2001; McConaughy & Wadsworth, 2000).

Dentre os motivos pelos quais tantas crianças ficam sem tratamento, estão a avaliação inadequada ou a não avaliação dos comportamentos problemáticos. Por outro lado, mesmo que a avaliação desses comportamentos seja feita, a classificação e prevenção podem ficar prejudicadas pela variabilidade na manifestação clínica dos transtornos e pela alta prevalência de sobreposição e combinação de respostas comportamentais e emocionais desadaptativas (Angold, Costello & Erkanli, 1999; Cantwell, 1996; Garber, 1984; McConaughy & Wadsworth, 2000).

A classificação do desenvolvimento psicopatológico é utilizada para sistematizar os problemas comportamentais e emocionais, possibilitando a padronização na linguagem e nos critérios diagnósticos entre especialistas de diferentes áreas. Entretanto, vários autores entendem que as formas atuais de classificação, principalmente para crianças e adolescentes, representam mais abstrações teóricas do que instrumentos auxiliares para a compreensão do problema (Seed, 1999; Silverman & Serafini, 1998).

Apesar da controvérsia, as formas de classificação de problemas comportamentais mais citadas na literatura são: a) o sistema categórico utilizado pelo Manual Diagnóstico e Estatístico de Transtornos Mentais – DSM, (DSM- IVR-TR, 2002) e pela Classificação de Transtornos Mentais e de Comportamento da Classificação Internacional de Doenças e de Problemas Relacionados à Saúde (CID-10, 1993); e b) o sistema derivado de medidas empíricas dimensionais, compatíveis com o DSM, proposto por Achenbach e Edelbrock em 1983, que classifica as dificuldades infanto-juvenis em síndromes (Cantwell, 1996; Garber, 1984; Gerhardt, Compas, Connor & Achenbach, 1999).

Com o sistema categórico, o diagnóstico é feito pelo reconhecimento de sintomas simultâneos. Este sistema, muito difundido nos serviços de saúde mental, tem a vantagem de usar critérios e termos familiares a diferentes especialistas, favorecendo a comunicação homogênea. No entanto, seu uso para identificar transtornos que afetam a infância e a adolescência é criticado pela imprecisão diagnóstica. O argumento para as críticas é o fato de que alguns dos transtornos previstos são extensões de categorias utilizadas para adultos e não contemplam a perspectiva desenvolvimental das disfuncionalidades (Cantwell, 1996; Gerhardt & cols., 1999; Nathan & Langenbucher, 1999; Volkmar, 2002).

Com o sistema de critérios dimensionais, o diagnóstico é feito por meio de escalas empíricas, compatíveis com o DSM, que diferenciam as dificuldades infanto-juvenis em síndromes Externalizante e Internalizante. Estas síndromes foram propostas por Achenbach e Edelbrock na década de 1980 e, desde então, são utilizadas por profissionais de saúde mental em diversos países. A síndrome Externalizante é descrita em termos de padrões comportamentais manifestos desajustados, denominados também problemas de comportamento, como agressividade, agitação psicomotora e comportamento delinqüente. A síndrome Internalizante é descrita em termos de padrões comportamentais privados desajustados, denominados também problemas emocionais, como tristeza e isolamento (Achenbach & Edelbrock, 1983, 1984; Cantwell, 1996; Gerhardt & cols., 1999; Hudziak, Copeland, Stanger & Wadsworth, 2004; Kovacs & Devlin, 1998; Silverman & Serafini, 1998).

Achenbach e Edelbrock (1983) diferenciaram os problemas infanto-juvenis em nove grupos: Isolamento, Queixas Somáticas, Ansiedade e Depressão, Problemas Sociais, Problemas do Pensamento, Problemas de Atenção, Comportamento Delinqüente, Comportamento Agressivo e Outros Problemas. Estes grupos de problemas foram configurados a partir das noções de classe de resposta ou co-variação de respostas comportamentais que, estatisticamente, tendem a ocorrer juntas ou estão relacionadas. Assim, respostas que freqüentemente ocorrem juntas são agrupadas em uma mesma síndrome, independente de suas topografias. Por exemplo, ansiedade e depressão são respostas agrupadas em Internalizante; comportamento delinqüente e agressivo são agrupados em Externalizante (Hudziak & cols., 2004; Silverman & Serafini, 1998; Tiffin & Kaplan, 2004).

A literatura atual sugere que a integração das duas propostas de classificação é possível e desejável para melhor compreensão de problemas comportamentais e emocionais. O uso das duas classificações é muitas vezes complementar devido à especificidade de uma e à amplitude da outra, que tornam a compreensão e a intervenção em problemas desenvolvimentais mais acuradas e produtivas (Achenbach & Dumenci, 2001; Cantwell,1996; Gerhardt, & cols., 1999; Hudziak & cols., 2004).

Avaliação clínica

A avaliação clínica infanto-juvenil começou com ênfase na obtenção de medidas de freqüência, taxa e duração dos comportamentos-alvo observados em um contexto específico. Depois, a avaliação focalizou a natureza e a causa dos problemas identificados, requerendo medidas comportamentais mais amplas, diferentes instrumentos e diferentes informantes.

A avaliação dos transtornos da infância é um trabalho complexo devido, principalmente, às dificuldades de expressão verbal e de reconhecimento das próprias emoções e ações pela criança avaliada. Essa dificuldade é, pelo menos em parte, solucionada pela inclusão dos pais na equipe de avaliação, porque eles têm maior chance de observar comportamentos de baixa incidência ou de ocorrência restrita a momentos e ambientes específicos.

A avaliação clínica apropriada deve considerar o comportamento-queixa tanto em situações específicas quanto em situações amplas, o que requer a definição de alvos e procedimentos específicos para a coleta de informações (Barrios, 1988). Os serviços de saúde mental infanto-juvenil utilizam prioritariamente procedimentos de medida indireta, como entrevistas, porque são de fácil aplicação, ao invés de usar procedimentos de medida direta, como a observação do comportamento (Duarte & Bordin, 2000; Rosenblatt & Rosenblatt, 2002; Underwood & Falwell, 2002).

Os métodos indiretos incluem entrevistas diagnósticas e inventários comportamentais com formatos específicos para informantes e para a criança. A aplicabilidade desses métodos é reconhecida na clínica e na pesquisa pela eficácia na identificação da área problemática e indicação do melhor tratamento em curto intervalo de tempo (Barrios, 1988; Hudziak & cols., 2004; Parkin, Frake & Davison, 2003).

Entrevistas diagnósticas

A entrevista é o procedimento de avaliação mais utilizado pela ótima relação custo-benefício na identificação de problemas emocionais e comportamentais. Além disso, a entrevista com o informante permite a exploração do contexto em diferentes períodos do desenvolvimento da criança e das diferentes manifestações do comportamento-problema (Gross & Wixted, 1988; Morganstern, 1988; Perry, 1990; Sarwer & Sayers, 1998).

Entrevistas podem ser não estruturada, semi-estruturada e estruturada. A entrevista não estruturada permite o surgimento gradual do problema-queixa, e requer habilidade especial e treinamento do entrevistador para fazer perguntas a partir de inferências sobre o material apresentado pelo informante (Sarwer & Sayers, 1998; Silverman & Serafini, 1998). Os dados obtidos nesse tipo de entrevista podem ser mais influenciados do que os outros pelas crenças, julgamentos, experiências e orientação teórica do entrevistador (Morganstern, 1988).

As entrevistas semi-estruturadas e estruturadas investigam variáveis específicas de forma pontual. No formato semi-estruturado, a entrevista segue um roteiro de perguntas ou afirmações a serem respondidas pelo informante de modo mais direcionado e controlado do que nas entrevistas não estruturadas. No formato estruturado, o roteiro de perguntas tem formato e seqüência pré-estabelecidos, que exigem repostas de escolha forçada do tipo "verdadeiro" ou "falso"; ou de "pouco freqüente" a "muito freqüente". Para Franz e Gross (1998), entrevistas estruturadas padronizam os critérios relevantes para a identificação de comportamentos-problema e auxiliam os profissionais na quantificação dos sintomas. Essas características da técnica permitem maior consistência e sistematização no diagnóstico.

Inventários comportamentais

Inventários são instrumentos estruturados ou semi-estruturados que colhem informações sobre a ocorrência de comportamentos encobertos, inacessíveis por métodos diretos. Esses instrumentos consistem de assertivas que descrevem percepções e comportamentos da criança em diversas situações, com os quais ela própria ou o informante concorda ou discorda (Achenbach & Dumenci, 2001). Inventários permitem tanto a avaliação de comportamentos amplos como "problemas comportamentais", quanto de comportamentos específicos como "agressividade física". Além disso, o custo é baixo e a aplicação, por ser fácil, pode acontecer na instituição ou no lar.

Três dos inventários para avaliação de crianças e adolescentes mais referidos pela literatura foram traduzidos para o português: Children Depression Inventory (CDI - Inventário de Depressão Infantil) (Gouveia; Barbosa; Almeida & Gaião, 1995); Youth Self-Report Form (YSR) (Silverman & Serafini, 1998; Duarte & Bordin, 2000); e Child Behavior Checklist (CBCL). Desses três instrumentos, o CBCL é o mais citado internacionalmente e já está parcialmente validado no Brasil (Bordin, Mari & Caeiro, 1995).

O CBCL descreve o perfil de competência social e de problemas Internalizantes e Externalizantes da criança em dois formatos. O primeiro investiga a percepção parental, com versões para crianças de 18 meses a 5 anos (CBCL/2-3) e para crianças de 4 a 18 anos (CBCL/4-18); e o segundo formato investiga a percepção de professores (Teacher Rating Form-TRF) (Achenbach, 1991; Silverman, & Serafini, 1998). O CBCL apresenta boa consistência interna, o que permite uma avaliação global e favorece o diagnóstico clínico acurado. A aplicação e a correção são fáceis, o que favorece a inserção do instrumento na rotina clínica (Hudziak & cols., 2004; Rosenblatt & Rosenblatt, 2002).

Embora a utilidade clínica das medidas indiretas estruturadas e semi-estruturadas seja reconhecida, elas são pouco utilizadas na prática brasileira. Isso talvez se deva à indiscutível limitação dessas medidas que, como todo instrumento de avaliação, estão sujeitas a erros e vieses do examinador e do informante. Além disso, estes instrumentos dificultam a obtenção de possíveis respostas não previstas pelo instrumento, mas relevantes para a compreensão do contexto no qual o comportamento-problema ocorre (Gross & Wixted, 1988).

Procedimentos e instrumentos de avaliação diagnóstica inicial são problemáticos em geral e constituem um amplo campo para pesquisa, imprescindível ao sucesso da intervenção clínica, cuja demanda cresce com a população. Programas de tratamento para queixas infanto-juvenis que incluem a criança e a família têm obtido grande sucesso na melhoria dos problemas identificados (McConaughy & Wadsworth, 2000).

A demanda pelo serviço público

Estudos estatísticos em ambulatórios públicos e de clínicas-escola brasileiras apontam uma alta demanda de crianças para o atendimento psicológico (Gauy & Guimarães 2001a,b; Romaro & Capitão, 2001; Silvares, 1998). Além de caracterizar a demanda, estes estudos mostram um alto índice de desistência e evasão dos usuários, interpretado como conseqüência do longo período de espera pelo atendimento, antes mesmo da avaliação inicial.

É possível ainda que os serviços oferecidos pelas instituições estudadas tenham sido inadequados para atender às características e necessidades de sua clientela. A inconsistência encontrada entre demanda e desistência poderia decorrer, pelo menos em parte, dos tipos de procedimentos adotados para avaliação e definição do tratamento de escolha. Na prática institucional, a identificação do problema, a escolha do tratamento e a compatibilidade entre o serviço prestado e as necessidades e características da clientela são definidos pela avaliação inicial, chamada triagem (Parkin & cols., 2003).

A revisão crítica dos procedimentos de avaliação, das práticas adotadas nos serviços públicos brasileiros e da relevância que tem a avaliação inicial para o sucesso da intervenção, motivou este estudo sobre a contribuição de diferentes metodologias de avaliação da criança. O objetivo foi comparar os resultados obtidos em entrevistas grupais não estruturadas com os resultados obtidos em entrevistas individuais estruturadas, utilizadas na avaliação inicial da queixa materna sobre dificuldades comportamentais e emocionais da criança.

Método

Contexto

O estudo foi realizado em uma unidade municipal de saúde mental, prestadora de assistência a crianças e adolescentes com queixas comportamentais e emocionais na cidade de Goiânia-GO. Nesta instituição, novos pacientes eram recebidos a cada bimestre, quando as famílias compareciam à unidade para se inscrever no programa. Uma assistente social acolhia as famílias, apresentava o serviço, avaliava a situação sócio-econômica familiar e perguntava os motivos da procura pelos serviços daquela unidade. Os casos identificados como passíveis de atendimento pela instituição eram agendados para a triagem.

Triagem padrão

O procedimento de triagem, denominado triagem padrão, era realizado por meio de uma entrevista coletiva não estruturada com os pais da criança, sob a coordenação de uma equipe institucional multidisciplinar, composta por fonoaudiólogo, psicólogo, assistente social, psicopedagogo e médico. Os grupos de entrevista podiam ter número variável de participantes, conforme a demanda, e vários grupos podiam acontecer simultaneamente.

Ao chegar, os pais eram acomodados em uma sala onde sentavam em círculo com a equipe multidisciplinar. A avaliação começava com a apresentação da equipe por especialidade, seguida de informações sobre as normas e condições de atendimentos. A seguir era iniciada a entrevista aberta, quando os coordenadores perguntavam aos pais que dificuldades do filho os preocupavam. Os participantes respondiam espontaneamente, seguindo ou não a ordem em que estavam sentados, conforme a iniciativa individual. Um dos membros da equipe registrava nos prontuários das crianças as informações prestadas pelos pais. Quando o relato de algum familiar deixava dúvidas os coordenadores pediam esclarecimentos ou detalhamentos e os informantes eram livres para falar uma ou mais vezes, conforme o próprio interesse. Quando não havia mais dúvidas a equipe encerrava a sessão orientando os participantes sobre a seqüência do processo. Ao final desse procedimento a triagem era encerrada e o encaminhamento da criança era feito para a especialidade competente.

Participantes

Durante um período de inscrições para novos pacientes, a assistente social que acolheu as famílias convidou todas aquelas indicadas para atendimento no serviço a participar deste estudo. As famílias que aceitaram o convite foram encaminhadas para conversar com a pesquisadora, quando receberam informações detalhadas sobre os objetivos e procedimentos do trabalho e assinaram o termo de consentimento livre e esclarecido.

Foram recrutadas 30 mães, mas uma delas deixou de comparecer a uma das avaliações e foi excluída da análise de dados. Assim, a amostra foi constituída por 29 mães biológicas (86%) ou adotivas (14%), cuidadoras primárias de seus filhos, com idade entre 25 e 56 anos e com escolaridade mínima de ensino fundamental (41,4%). A maioria era casada (68,9%), tinha mais de um filho (75,9%) e trabalhava fora (73%) como autônoma (30%), técnica em saúde (23%) ou doméstica (20%). As crianças (72,4% M; 27,6% F) tinham de 4 a 16 anos de idade e cursavam desde a educação infantil (24%) até o ensino médio (6,9%).

Material e instrumentos

  1. Roteiro de Entrevista Individual – Os itens do Child Behavior Checklist (CBCL) foram transformados em um roteiro de entrevista estruturada, com 120 itens adaptados para avaliar a percepção dos pais sobre problemas comportamentais de seus filhos (Cruz, Ferro & Gauy, 2002). Os itens e adaptações foram testados quanto à compreensão e adequação para aquela clientela e reformulados como necessário.

  2. Protocolo para registro de observação – Foi elaborado um protocolo para registro de observação contínua do relato parental durante as sessões de avaliação grupal conduzidas pela equipe multidisciplinar.

  3. Uma câmera de vídeo instalada na sala de avaliação grupal.

  4. Um gravador de áudio, para registro das avaliações individuais.

  5. Termos de consentimento livre e esclarecido para os participantes e para a direção da unidade.

  6. Software para correção do CBCL (Achenbach, 1991).

  7. Crachás para identificação dos participantes nas sessões grupais.

  8. Doces, brinquedos e vales-transporte oferecidos como cortesia às mães e seus filhos.

Procedimento

Para gerar dados sobre os dois formatos de entrevista, todas as participantes foram entrevistadas individualmente e em grupo. O formato individual era estruturado e foi introduzido exclusivamente para fins deste estudo, enquanto o formato grupal foi o procedimento padrão da Unidade, descrito acima. As duas entrevistas aconteceram em dias diferentes e, para controlar possíveis influências da avaliação individual sobre os relatos da informante na avaliação grupal e vice-versa, um grupo de mães foi designado primeiro para a entrevista individual e outro grupo foi designado primeiro para a entrevista grupal. Essa designação aconteceu quando a mãe formalizou o aceite para participar do estudo. A primeira a ingressar foi indicada para fazer primeiro a avaliação individual, a segunda foi para a grupal, a terceira para a individual e assim sucessivamente até completar a amostra. Ao final, 15 mães (52%) iniciaram pela entrevista individual e 14 mães (48%) iniciaram pela grupal.

Avaliação individual

As avaliações individuais foram feitas pela pesquisadora e por três auxiliares, estagiárias de Psicologia, treinadas no uso padrão do roteiro de entrevista estruturada. As entrevistas foram gravadas em fita cassete e as respostas da mãe foram registradas no campo apropriado do roteiro de entrevista. A duração das entrevistas individuais variou de 30 a 75 minutos.

Avaliação grupal

A avaliação grupal foi realizada conforme o procedimento de triagem padrão institucional, em geral com 10 membros em cada grupo avaliativo. As participantes deste estudo, identificadas por crachás, estavam distribuídas em cinco grupos, dos quais três tinham seis mães em cada, um tinha nove e outro tinha oito. Duas observadoras treinadas participaram dos cinco grupos, de forma não intrusiva, e fizeram registro cursivo das falas maternas sobre os comportamentos de seus filhos. Uma auxiliar treinada operou uma câmara de vídeo para registro de todas as sessões em VHS. Cada sessão durou 90 min.

Foram realizados testes de fidedignidade nas duas situações. Para as avaliações individuais, dois observadores independentes ouviram o registro em áudio de seis entrevistas selecionadas aleatoriamente (20%) e preencheram o roteiro de entrevista com as respostas da mãe. A comparação desses registros com os registros feitos pela entrevistadora obtiveram um índice de fidedignidade de 95%. Para as avaliações grupais, dois observadores independentes transcreveram duas entrevistas selecionadas aleatoriamente para cada um dos cinco grupos (35%) registrados em VHS. As transcrições foram comparadas com os registros feitos pelas observadoras durante as sessões e obtiveram um índice de fidedignidade de 83%.

Os índices de fidedignidade foram obtidos pelo cálculo do total de acordos dividido pelo total de acordos mais desacordos. Todos os observadores que participaram do teste de fidedignidade eram ingênuos quanto aos objetivos do estudo.

Resultados

Foram comparados os resultados obtidos nas duas avaliações, tendo como parâmetro a classificação dimensional utilizada pelo CBCL. As mães informantes relataram ao todo 125 comportamentos-problema, dos quais 120 constavam do roteiro de entrevista individual e cinco outros foram informados espontaneamente.

Os comportamentos relatados foram agrupados por similaridade topográfica em 67 categorias, distribuídas nas áreas de Problemas Internalizantes (33), Problemas Externalizantes (29), "Outras Variáveis Relevantes" (5) e mais quatro informações obtidas em resposta às duas perguntas abertas. As 33 categorias de Problemas Internalizantes foram distribuídas em três classes de respostas: Isolamento (5), Queixas Somáticas (9) e Ansiedade e Depressão (19) (Tabela 1). As 29 categorias de Problemas Externalizantes foram distribuídas em outras três classes de respostas: Problemas de Atenção (7), Comportamento Delinqüente (9) e Comportamento Agressivo (13) (Tabela 2). As classes de respostas foram definidas conforme os critérios de agrupamento propostos por Achenbach e Edelbrock (1983) e constituídas com o auxilio do software de correção do CBCL.

A comparação entre os resultados das avaliações grupal e individual foi realizada por categorias, classes e áreas comportamentais. Na avaliação individual (AI) foram realatadas as 67 categorias, cada uma referida de quatro a 26 vezes. As categorias mais freqüentes foram: "irritado" (26), "desobediente" (25), "nervoso" (25) e "impulsivo" (24).

Na avaliação grupal (AG) foram relatadas 33 das 67 categorias possíveis. Quinze delas eram de Problemas Internalizantes, distribuídas nas três classes: Isolamento (5), Queixas Somáticas (2), Ansiedade e Depressão (8) (Tabela 1). As outras 18 categorias eram de Problemas Externalizantes, distribuídas nas outras três classes: Problemas de Atenção (5), Comportamento Delinqüente (7) e Comportamento Agressivo (6) (Tabela 2). Predominaram as categorias "inquieto e agitado" (14), e "trabalhos escolares fracos" (10).

A comparação de resultados por área mostrou que entre os comportamentos Internalizantes relatados na AI, cada categoria da classe Isolamento foi citada 11 a 20 vezes, com predomínio de "tímido ou envergonhado" (25%), "calado" (22,5%) e "aborrece-se com facilidade" (22,5%). Na AG, houve o máximo de duas referências para a mesma categoria, que foram "tímido ou envergonhado" (29%) e "fica de olhar parado ou perdido" (29%). Na classe Queixas Somáticas cada categoria foi referida duas a 12 vezes na AI, com predomínio de "dor de cabeça" (18,5%) e "problemas respiratórios" (16,9%). Na AG, ocorreram ao todo duas referências para "problemas respiratórios" (50%) e duas para "obesidade" (50%). Na classe Ansiedade e Depressão cada categoria foi referida de quatro a 25 vezes na AI, com predomínio de "nervoso, muito excitado ou tenso" (11%) e "sente ou queixa-se que ninguém gosta dele" (8,5%). Na AG, o máximo de referências para uma categoria foi de seis vezes, com predomínio de "nervoso, muito excitado ou tenso" (40%) (Tabela 1).

As maiores discrepâncias entre os relatos de Problemas Internalizantes nas duas avaliações ocorreram nas categorias "tímido ou envergonhado" (20 AI; 2 AG); "dor de cabeça" (12 AI; zero AG); "queixa-se que ninguém gosta dele" (20 AI; zero AG); e "nervoso, muito excitado ou tenso" (25 AI; 6 AG) (Figura 1).


Entre os problemas Externalizantes, a classe Problemas de Atenção obteve cinco a 24 referências à mesma categoria na AI, com predomínio de "impulsivo" (20%) e "dificuldades para concentrar-se" (19%). Na AG ocorreu um máximo de 14 referências à mesma categoria, com predomínio de "inquieto" (37%) e "trabalhos escolares fracos" (26%). Na classe Comportamento Delinqüente, a mesma categoria foi referida cinco a 21 vezes na AI, com predomínio de "mente" (21%), enquanto na AG houve um máximo de três referências coincidentes, para "mente" (25%) e "rouba" (25%). Na classe Comportamento Agressivo, a mesma categoria foi referida sete a 26 vezes na AI, com predomínio de "irritado" (11,6%) e "desobediente" (11,2%), enquanto na AG ocorreu um máximo de nove coincidências, para a categoria "problemas de comportamento na escola" (39%) (Tabela 2).

As maiores discrepâncias entre o número de informações obtidas nas duas avaliações para Problemas Externalizantes ocorreram em "impulsivo" (24 AI; zero AG); "dificuldade para concentrar" (23 AI; quatro AG); "mente", (21 AI; três AG); "não sente culpa" (16 AI; zero AG); "irritado" (26 AI; zero AG); e "ciumento" (23 AI; um AG) (Figura 2).


Nas duas avaliações foram relatados mais Problemas Externalizantes (445 AI; 73 AG) do que de Problemas Internalizantes (381 AI; 26 AG). A comparação entre as classes comportamentais mostrou que a maioria das queixas obtidas na AI era de Ansiedade/Depressão (236) e Comportamento Agressivo (226), enquanto na AG predominaram queixas de Problemas de Atenção (38) e Comportamento Agressivo (23).

Além das categorias classificadas como Internalizantes e Externalizantes, outras cinco categorias comportamentais e quatro categorias contextuais foram relatadas nas duas avaliações. As categorias comportamentais foram "rói as unhas", "dificuldades de relacionamento com outras crianças", "problemas para dormir", "enurese noturna" e "dificuldades para falar". Cada uma dessas categorias foi mencionada oito a 20 vezes na AI, com predomínio de "problemas para dormir" (32,3%) e "dificuldades de relacionamento com outras crianças" (22,5%). Na AG ocorreu uma a cinco coincidências, com predomínio de "dificuldades de relacionamento com outras crianças" (42%).

As variáveis contextuais foram informadas espontaneamente nas duas formas de avaliação e incluíam "pai agressivo", "pai alcoolista ou dependente químico", "antecedentes familiares de doença mental na família" e "filho adotivo". Cada uma dessas variáveis foram referidas duas a três vezes na AI, com predomínio de "pai agressivo" (27,2%) "pai alcoolista ou dependente químico" (27,2%), e "filho adotivo" (27,2%). Na AG, estas categorias foram citadas uma a quatro vezes, com discreto predomínio de "filho adotivo" (36,3%). As maiores discrepâncias entre as duas avaliações ocorreram em "problemas para dormir" (20 AI; dois AG); e "enurese noturna" (12 AI; um AG) (Figura 3).


A comparação por categorias mostrou 898 queixas na AI, distribuídas em 67 categorias comportamentais e mais quatro variáveis contextuais. Cada mãe apresentou 10 a 45 queixas, com a média de 31 queixas por participante. Na AG, foram ouvidas 121 queixas, distribuídas em 33 categorias comportamentais e mais quatro variáveis contextuais. Cada mãe apresentou zero a 10 queixas, com a média de quatro por participante. O número de queixas foi semelhante para mães que fizeram a entrevista grupal seguida da individual e vice-versa (Figura 4).


Os resultados foram também comparados em termos da média de problemas relatados em cada procedimento e as características demográficas das crianças, a estrutura familiar, e a idade e escolaridade das informantes. A análise por idade mostrou maior incidência de relatos sobre comportamentos de crianças de 4 a 6 anos na AI e menos relatos para maiores de 15 anos nas duas avaliações (Figura 5). Não foram encontradas diferenças nos resultados por sexo da criança, número de filhos e situação conjugal da mãe.


Considerando a idade e o nível de escolaridade da informante, foram obtidos mais relatos de problemas na AI entre mães mais jovens do que entre as mais idosas (Figura 6) e entre mães com maior escolaridade (34) do que entre mães com menor escolaridade (27). Na AG não foram observadas diferenças para essas duas variáveis.


Discussão e Conclusão

A comparação entre os resultados obtidos pelos formatos de entrevista individual e grupal mostrou um número sete vezes maior de descritores do comportamento problemático na avaliação individual e estruturada, do que na avaliação grupal e aberta. Essa diferença pode ser explicada, pelo menos em parte, por características de inibição ou extroversão das informantes e sua percepção sobre a relevância dos comportamentos observados, pelas características de cada grupo, pela evolução da entrevista e por diferenças teóricas e de perspectiva entre os membros da equipe multiprofissional.

Foram encontradas também diferenças importantes quanto ao número de queixas apresentadas por classe de respostas, independente do formato da entrevista. As maiores discrepâncias foram encontradas entre as categorias da classe Ansiedade e Depressão e as menores entre as categorias da classe Problemas de Atenção.

Uma possível interpretação para essas diferenças é que o informante leigo deixa de relatar espontaneamente o comportamento que não lhe parece relevante (ex.: "prefere ficar sozinho"), ou cuja ocorrência não é de fácil observação. Comportamentos de Ansiedade e Depressão, por exemplo, podem ser considerados menos problemáticos pela mãe, por serem manifestações de eventos privados, difíceis de observar e de baixo impacto ambiental, que incomodam mais a própria criança do que o ambiente externo (Frank, Van Egeren, Fortier & Chase, 2000). Respostas com essas características são relatadas quando investigadas diretamente, como ocorreu na AI, mas são omitidas se depender da verbalização espontânea do informante. Por outro lado, categorias de Problemas de Atenção em geral são evidentes e têm um impacto maior nos ambientes familiar, social e acadêmico, incomodam os pais, familiares e professores – são mais observadas e mais relatadas (Marsh, & Graham, 2001; Volkmar, 2002).

Isso pode explicar a pequena diferença encontrada entre os relatos obtidos nas duas formas de avaliação para alguns comportamentos relevantes aos olhos parentais, como Problemas de Atenção. Entretanto, para avaliar comorbidades importantes entre os diversos problemas relatados, as entrevistas grupais abertas podem ser insuficientes, principalmente, quando Problemas Externalizantes estão associados a Problemas Internalizantes. O tratamento para uma criança com falta de atenção associada a problemas de sono e agressividade, por exemplo, requer uma avaliação acurada de cada um desses comportamentos, que pode ser inviável apenas pela avaliação grupal.

Nas duas avaliações deste estudo predominaram relatos de comportamentos Externalizantes, classificados e diferenciados pelo DSM como transtornos de comportamento disruptivo, caracterizados principalmente pela impulsividade e agressividade. Também nas duas avaliações ocorreram relatos de fatores de risco amplamente reconhecidos, como "pai agressivo" e "pai alcoolista ou dependente químico". A informação sobre variáveis contextuais é bastante útil para o clínico, cujo objetivo é a intervenção, porque permite a análise funcional do comportamento. Filhos agressivos com pais alcoolistas e dependentes químicos, por exemplo, podem estar respondendo de acordo com o modelo parental (Bandura, 1989), visto ser comum a agressividade por parte de pais dependentes químicos. Ou ainda, a resposta agressiva da criança pode estar mantida por contingências ambientais reforçadoras, se essa resposta for suficiente para inibir ou limitar a hostilidade parental (Benzies, Harrison & Magill-Evans, 2004).

A obtenção de informações relevantes sobre variáveis similares nas duas formas de avaliação, em resposta a perguntas abertas, remete à questão da natureza e relevância das informações obtidas e não obtidas na AG. A literatura mostra que o ponto forte da avaliação não estruturada é a identificação de variáveis contextuais importantes, que são geralmente negligenciadas pelos procedimentos estruturados (Morganstern, 1988). Entretanto, neste estudo, não houve superioridade da avaliação grupal sobre a individual quanto às variáveis contextuais relatadas espontaneamente.

O ambiente emocional acolhedor e protegido da AI, associado às duas perguntas abertas, pode ter favorecido a comunicação dessas variáveis que, apesar de não se referir ao comportamento da criança, eram percebidas como potencialmente ameaçadoras ou inadequadas para o processo desenvolvimental. Isso implica pelo menos duas hipóteses para futura investigação: a) mães relatam informações que consideram relevantes para o desenvolvimento de sua criança, independente da técnica de avaliação utilizada; e b) a técnica de estruturação ou semi-estruturação da entrevista é mais relevante para definir a natureza das informações prestadas do que o formato grupal ou individual da avaliação.

Uma grande vantagem da avaliação grupal é a economia de tempo, especialmente preciosa no serviço público. Por outro lado, a avaliação estruturada e dirigida pode ser mais adequada por descrever de forma pontual o repertório comportamental da criança, como aconteceu neste estudo. Essas considerações sugerem que a junção dos recursos do formato grupal e da avaliação estruturada pode otimizar a avaliação do comportamento no contexto institucional. O uso de um roteiro de entrevista estruturada para aplicação grupal, por exemplo, tomaria mais tempo do que a entrevista aberta, mas traria informações mais acuradas e relevantes tanto para o diagnóstico quanto para a tomada de decisões terapêuticas.

Não está aqui sendo proposto que a qualidade dos dados obtidos durante uma avaliação dependerá apenas do tipo de técnica ou procedimento utilizado. Qualquer um deles estará sujeito a falhas técnicas, pela natureza do objeto mensurado, e a falhas humanas relativas à obtenção e registro das informações (Sarwer & Sayers, 1998; Silverman, & Serafini, 1998). Entretanto, no uso da entrevista, o reconhecimento do problema e a acuracidade do registro estão mais expostos ao viés do examinador quando ele usa o formato aberto do que quando usa um formato fechado ou semi-aberto (Sarwer & Sayers, 1998).

É importante considerar ainda que os dados obtidos por entrevistas grupais ou individuais, podem variar conforme as características do informante, do grupo e do entrevistador. Embora a entrevista seja a ferramenta mais utilizada como primeiro passo na identificação de problemas relevantes à prática clínica, os profissionais em geral não seguem uma rotina padrão para entrevistar. As características pessoais do profissional e a necessidade de um treinamento padrão são ainda mais relevantes no processo de avaliação quando ela é realizada por equipes multidisciplinares. Os resultados das avaliações sofrem o impacto das múltiplas formações profissionais e orientações teóricas, do uso de diferentes jargões e termos técnicos e da experiência profissional de cada membro.

O treinamento de profissionais e o uso de múltiplos instrumentos ou informantes podem contribuir para atenuar as inevitáveis falhas do processo de avaliação comportamental. Mas, nas situações em que as entrevistas forem utilizadas, com um ou com múltiplos informantes, é necessário que o entrevistador saiba conduzir a coleta adequada das informações relevantes. Além de treinamento em uso de técnicas e instrumentos de avaliação, os examinadores que avaliam problemas da infância e adolescência deveriam receber treinamento em desenvolvimento infantil, desenvolvimento patológico e fatores contextuais facilitadores do desenvolvimento de problemas.

O treinamento pode instrumentar melhor os profissionais da área para saber como, o que, por que, para que perguntar e o que registrar durante uma avaliação. Os resultados deste estudo apontam os ganhos na utilização do formato individual estruturado sobre o formato grupal aberto de entrevistas, e sugerem a necessidade de revisão e avaliação de instrumentos e procedimentos utilizados em entrevistas avaliativas.

Recebido em 12.05.2005

Primeira decisão editorial em 15.06.2005

Versão final em 21.03.2006

Aceito em 12.04.2006

  • Achenbach, T. M. (1991). Manual for the Child Behavior Checklist/ 4-18 and 1991 Profile. Burlington: University of Vermont, Department of Psychiatry.
  • Achenbach, T. M. & Edelbrock, C. S. (1983). Manual for the Child Behavior Checklist/ and Revised Child Behavior Profile Profile. Burlington: University of Vermont, Department of Psychiatry.
  • Achenbach, T. M. & Edelbrock, C S. (1984). Psychopathology of childhood. Annual Review of Psychology, 35, 227-256.
  • Achenbach, T. M. & Dumenci, L. (2001). Advances in empirically based assessment: Revised cross-informant syndromes and new DSM-oriented scales for the CBCL, YSRS, and TRF: Comment on Lengua, Sandowksi, Friedrich, and Fisher. Journal of Consulting and Clinical Psychology, 69(4), 699-702.
  • Associação Americana de Psiquiatria (2002). Manual diagnóstico e estatístico de transtornos mentais DSM-IV-TR (Trad. C. Dornelles) (4Ş ed. Texto Revisado). Porto Alegre: Artes Médicas. (Original publicado em 2000)
  • Angold, A.; Costello, E. J. & Erkanli, A. (1999). Comorbidity. Journal of Child Psychology and Psychiatry, 40(1), 57-87.
  • Bandura, A. (1989). Social cognitive theory. Em R. Vasta (Org.), Six Theories of child development (pp. 1-60). London: Jessica Kingsley.
  • Barrios, B. A. (1988). On the changing nature of behavioral assessement. Em A. Bellack & M. Hersen (Orgs.), Behavioral Assessment: A Pratical Handbook (pp. 3-41). New York: Pergamon Press.
  • Benzies, K. M.; Harrison, M. J. & Magill-Evans, J. (2004). Pareting stress, marital quality, and child behavior problems at age 7 years. Public Health Nursing, 21 (2), 111-121.
  • Bordin, I. A. S.; Mari, J. J. & Caiero, M F. (1995). Validação da versão brasileira do Child Behavior Checklist (CBCL): Inventário de comportamentos da infância e adolescência: dados preliminares. Revista ABP APPAL, 17(2), 55-66.
  • Cantwell, D. P. (1996). Classification of child and adolescent psychopathology. Journal of Child Psychology and Psychiatry, 37(1), 3-12.
  • Cruz, A. C.; Ferro, C. L. B. & Gauy, F. V. (2002). Avaliação de problemas comportamentais de crianças encaminhadas para serviço público de psicologia. Em Encontro Brasileiro de Psicoterapia e Medicina Comportamental (Org.), Resumos de Comunicação Científicas do XI Encontro Brasileiro de Psicoterapia e Medicina Comportamental (p. 83). Londrina: ABPMC.
  • Drotar, D. (2002). Behavioral and emotional problems in infants and young children: Challenges of clinical assessment and intervention. Infants and Young Children, 14 (4), 1-5.
  • Duarte, C. S. & Bordin, I. A. S. (2000). Instrumentos de avaliação. Revista Brasileira de Psiquiatria, 22, 55-58.
  • Frank, S. J.; Van Egeren, L. A.; Fortier, J. L. & Chase, P. (2000). Structural, relative, and absolute agreeement between parents' and adolescent inpatients' report of adolescencent functional impairment. Journal of Abnormal Child Psychology, 28(4), 395-402
  • Franz, D. & Gross, A. M. (1998). Assessment of child behavior problems: Externalizing Disorders. Em A. S. Bellack & M. Hersen (Orgs.), Behavioral Assessment (pp. 361-377). Boston: Allyn and Bacon.
  • Garber, J. (1984). Classification of childhood psychopathology: A developmental perspective. Child Development, 55, 30-48.
  • Gauy, F. V. & Guimarães, S. S. (2001a). Descrição da rotina, demanda e proposta de otimização para um serviço de psicologia em saúde mental. Em Sociedade Brasileira de Psicologia (Org.), Resumos de Comunicação Científicas da XXI Reunião Anual de Psicologia (p. 296). Rio de Janeiro: SBP.
  • Gauy, F. V. & Guimarães, S. S. (2001b). Caracterização da clientela e do atendimento de psicologia oferecido por um ambulatório de saúde-mental infanto-juvenil. Em Encontro Brasileiro de Psicoterapia e Medicina Comportamental (Org.), Resumos de Comunicação Científicas do X Encontro Brasileiro de Psicoterapia e Medicina Comportamental (p. 77). Campinas: ABPMC.
  • Gerhardt, C. A.; Compas, B. E.; Connor, J. K. & Achenbach, T. M. (1999). Association of mixed anxiety-depressing sydrome and symptoms of major depression disorder during adolescence. Journal of Youth and Adolescence, 28 (3), 305-323.
  • Gouveia, V. V.; Barbosa, G. A.; Almeida, H. J. F. & Gaião, A. A. (1995). Inventário de depressão infantil CDI: Estudo de adaptação com escolares de João Pessoa. Jornal Brasileiro de Psiquiatria, 44(7), 345-349.
  • Gross, A. M. & Wixted, J. T. (1988). Assessement of child behavior problems. Em A. Bellack & M. Hersen (Orgs.), Behavioral Assessment: A Pratical Handbook (pp. 578-608). New York: Pergamon Press.
  • Hudziak, J. J.; Copeland, W.; Stanger, C. & Wadsworth, M. (2004). Screening for DSM-IV externalizing disorders with the Child Behavior Cheklist: a receiver-operanting characteristic anlysis. Journal of Chil Psychology and Psychuiatric, 45(7), 1299-1307.
  • Kovacs, M. & Devlin, B. (1998). Internalizing disorders in childhood. Journal of Child Psychology and Psychiatry, 39(1), 47-63.
  • LaRocque, M.; Brown, S. E. & Johnson, K. L. (2001). Fuctional behavioral assessments and intervention plans in early intervention settings. Infants and Young Children, 13(3), 59-68.
  • Marsh, E. J. & Graham, S. A. (2001) Classificación y tratamiento de la psicopatología infantil. Em V. E. Caballo, & M. A Simon.(Orgs.), Manual de Psicología Clínica Infantil y del Adolescente (pp. 29-58). Madri: Pirámides.
  • McConaughy, S. H. & Wadsworth, M. E. (2000). Life history of young adults previously referred for mental services. Journal of Emotional and Behavioral Disorders, 8(4), 202-215.
  • Morganstern, K. P. (1988). Behavioral interviewing. Em A. Bellack & M. Hersen (Orgs.), Behavioral Assessment: A Pratical Handbook (pp. 86-118). New York: Pergamon Press.
  • Nathan, P. E. & Langenbucher, J. W. (1999). Psychopathology: Description and classification. Annual Review of Psychology, 50, 79-107.
  • Organização Mundial da Saúde (1993). Classificação de transtornos mentais e de comportamento da CID-10: descrições clínicas e diretrizes diagnósticas (D. Caetano, Trad., 4Ş ed.). Porto Alegre: Artes Médicas. (Original publicado em 1992).
  • Parkin, A.; Frake, C. & Davison, I. (2003). A triage clinic in a child and adolescent mental health service. Child and Adolescent Mental Health, 8(4), 177-183.
  • Perry, M. A. (1990). The interview in developmental assessment. Em J. H. Johnson & J. Goldman (Orgs.), Developmental Assessment in Clinical Child Psychology: A Handbook (pp. 58-75). New York: Pergamon Press.
  • Romaro, R. A. & Capitão, C. G. (2001). Caracterização da população que procura o serviço de psicologia da Universidade São Francisco São Paulo. Em Sociedade Brasileira de Psicologia (Org.), Resumos de Comunicação Científicas da XXI Reunião Anual de Psicologia (p. 292). Rio de Janeiro: SBP.
  • Rosenblatt, A. & Rosenblatt, J. A. (2002). Assessing the effectiveness of care for youth with severe emotional disturbances:Is there agreement between popular outcome measures? The Journal of Behavioral Health Services & Research, 29(3), 259-273.
  • Sarwer, D. B. & Sayers, S. L. (1998). Behavioral interviewing. Em A. S. Bellack & M. Hersen (Orgs.), Behavioral Assessment (pp. 63-103). Boston: Allyn and Bacon.
  • Seed, M. S. J. (1999). Identification and measurement of maladaptive behaviors in preschool children: Movemente toward a preventive model of care. Journal of Child and Adolescent Psychiatric Nursing, 12(2), 61-69.
  • Silvares, E. F. M. (1998). Clínicas- escola: Novas formas de atendimento psicológico. Tese de Livre Docência, Universidade de São Paulo, São Paulo.
  • Silverman, W. S. & Serafini, L. T. (1998). Assessment of child behavior problems: Internalizing Disorders. Em A. S. Bellack & M. Hersen (Orgs.), Behavioral Assessment (pp. 342-360). Boston: Allyn and Bacon.
  • Tiffin, P. & Kaplan, C. (2004). Dangerous children: Assessment and management of risk. Children and Adolescent Mental Health, 9(2), 56-64.
  • Underwood, L. A. & Falwell, S. H. (2002). Screening and assessing co-ocurring disorders. Corrections Today, 64(3), 22-23.
  • Volkmar, F. (2002). Editorial: Considering disruptive behaviors. The American Journal of Psychiatry, 159(3), 349.
  • 1
    Este estudo é parte da dissertação de mestrado da primeira autora, realizada sob supervisão da segunda.
  • 2
    Endereço: Rua 1138 nº 212, Setor Marista, Goiânia, GO, Brasil 74180-170.
    E-mail:
  • Datas de Publicação

    • Publicação nesta coleção
      29 Jun 2006
    • Data do Fascículo
      Abr 2006

    Histórico

    • Recebido
      12 Maio 2005
    • Revisado
      21 Mar 2005
    • Aceito
      12 Abr 2006
    Instituto de Psicologia, Universidade de Brasília Instituto de Psicologia, Universidade de Brasília, 70910-900 - Brasília - DF - Brazil, Tel./Fax: (061) 274-6455 - Brasília - DF - Brazil
    E-mail: revistaptp@gmail.com