Validação das escalas de habilidades sociais, comportamentos problemáticos e competência acadêmica (SSRS-BR) para o ensino fundamental

Validating scales of social skills, behavior problems and academic competence (SSRS-BR) for elementary school

Validação das escalas de habilidades sociais, comportamentos problemáticos e competência acadêmica (SSRS-BR) para o ensino fundamental¹

Validating scales of social skills, behavior problems and academic competence (SSRS-BR) for elementary school

Marina Bandeira^I,2; Zilda Aparecida Pereira Del Prette^II; Almir Del Prette^II; Thiago Magalhães^I

^IUniversidade Federal de São João Del-Rei (UFSJ)

^IIUniversidade Federal de São Carlos (UFSCar)

RESUMO

Não obstante o interesse crescente em habilidades sociais, há carência de escalas de medida no Brasil para avaliá-las. Esta pesquisa validou a escala SSRS, que avalia habilidades sociais, comportamentos problemáticos e competência acadêmica de estudantes do Ensino Fundamental. Participaram 416 estudantes (224 meninos e 192 meninas), da primeira a quarta série de escolas públicas e particulares, em cinco cidades de quatro estados brasileiros, 312 pais e 86 professoras. Os resultados mostraram uma estrutura de componentes que explicaram de 40% a 62% da variância dos dados. A análise da consistência interna indicou os seguintes valores de alfa de Cronbach, para as escalas de habilidades sociais (estudante=0,78; pais=0,86; professores=0,94), comportamentos problemáticos (pais=0,83; professores=0,91) e competência acadêmica (0,98). A análise da estabilidade temporal indicou correlações teste-reteste positivas e significativas para os escores globais das escalas de habilidades sociais (estudantes: r=0,78; pais: r=0,69; professores: r=0,71), comportamentos problemáticos (pais: r=0,75; professores: r=0,80) e competência acadêmica (r=0,73).

Palavras-chave: habilidades sociais; comportamentos problemáticos; competência acadêmica; Ensino Fundamental; crianças.

ABSTRACT

Besides the growing interest on social skills, there are few scales available in Brazil. This research validated the SSRS scale, which evaluates social skills, behavior problems, and academic competence of elementary school students. The participants were 416 students (224 boys and 192 girls) from the first to the fourth elementary school grades, from public and private schools of five cities of four Brazilian states as well as 312 parents and 86 teachers of these children. The results showed some components structure explaining 40% to 62% of data variance. The internal consistency analysis, measured by Cronbach coefficients, showed the following values for each scale: social skills (student=0,78; parents=0,86; teachers=0,94), behavior problem (parents=0,83; teachers=0,91), and academic competence (0,98). Concerning on the temporal stability, results showed positive and significant correlations between test-retest applications for the global scores of the social skills (students: r=0,78; parents: r=0,69; teachers: r=0,71), behavior problems (parents: r=0,75; teachers: r=0,80), and academic competence (r=0,73) scales.

Keywords: social skills; behavior problems; academic competence; Elementary School; children.

O termo habilidades sociais tem sido definido como o conjunto dos desempenhos apresentados pelo indivíduo diante das demandas de uma situação interpessoal, incluindo-se as variáveis culturais que contribuem para a competência social (Del Prette & Del Prette, 1999). Essas habilidades são aprendidas e o seu desempenho varia em função do estágio de desenvolvimento do indivíduo, dos fatores ambientais, das variáveis cognitivas e da interação entre esses aspectos (Caballo, 1993/2003; Del Prette & Del Prette, 2001, 2005a, 2005b).

O desenvolvimento das habilidades sociais tem início no nascimento e se torna progressivamente mais elaborado ao longo da vida. A infância tem sido apontada como um período crítico para o desenvolvimento dessas habilidades (Del Prette & Del Prette, 2005a). Assim, a criança que foi estimulada apropriadamente terá maior probabilidade de desenvolver futuramente interações sociais mais adequadas e reforçadoras (Bussab, 1999).

No contexto escolar, as habilidades sociais mais enfatizadas e valorizadas nos estudos internacionais dos últimos anos, segundo metanálise da literatura (Caldarella & Merrel, 1997), podem ser agrupadas em cinco conjuntos de comportamentos: (1) relação com os companheiros (cumprimentar, elogiar, oferecer ajuda ou assistência, convidar para jogo de interação); (2) autocontrole (controlar o humor, seguir regras, respeitar limites); (3) habilidades sociais acadêmicas (envolver-se na tarefa, realizá-la de forma independente, seguir instruções); (4) ajustamento (seguir regras e comportar-se de acordo com o esperado); e (5) asserção (iniciar conversação, aceitar elogios, fazer convites).

Durante a infância, o desenvolvimento das habilidades sociais é fundamental para a prevenção da ocorrência de comportamentos problemáticos e de suas consequências futuras, tais como a rejeição pelo grupo de pares, relacionamentos interpessoais pobres e comportamentos anti-sociais. Observa-se, ainda, uma co-ocorrência entre habilidades sociais e um amplo conjunto de comportamentos adaptativos, tais como bom desempenho acadêmico, estratégias de enfrentamento diante de situações de estresse ou frustração, autocuidado (higiene, saúde e segurança), independência para realizar tarefas (na escola, no lar e em grupos de amigos) e cooperação (Del Prette & Del Prette, 2005a). Por isso, um repertório bem elaborado de habilidades sociais tem sido considerado como fator de proteção, podendo contribuir para o desenvolvimento sadio do indivíduo (Baraldi & Silvares, 2003; Del Prette & Del Prette, 2001; Ferreira & Marturano 2002; Marinho, 2003; Michelson, Sugai, Wood & Kazdin, 1983).

Embora o estudo das habilidades sociais esteja crescendo no Brasil (Bolsoni-Silva & cols., 2006), há uma carência de instrumentos e procedimentos de medida para avaliar as diferentes dimensões e indicadores desse repertório. A rigor, esse repertório precisa ser avaliado sob uma perspectiva multimodal, o que deve incluir diferentes instrumentos e procedimentos (por exemplo, escalas de comportamento, entrevista, observação direta, desempenho de papéis, avaliação sociométrica etc.) de modo a se contemplar: (1) as diferentes dimensões (por exemplo, cognitivas, afetivas e comportamentais abertas); (2) os indicadores (por exemplo, frequência, intensidade, topografia, status sociométrico); e (3) informantes (o próprio indivíduo e seus significantes) para se obter um quadro mais completo e compreensivo (Del Prette & Del Prette, 2003).

Entre os instrumentos mais comumente utilizados para a avaliação de habilidades sociais, estão os inventários e escalas de comportamento, geralmente complementados com informações obtidas com os demais procedimentos. A carência de instrumentos de avaliação dificulta a produção de conhecimentos sobre questões de nosso contexto cultural, impedindo a identificação de informações importantes sobre o repertório de habilidades sociais das crianças, necessárias para a elaboração de programas de treinamento e intervenções terapêuticas e educacionais.

Considerando-se os inventários padronizados e validados em nosso meio, para a população adulta, destacam-se o Inventário de Habilidades Sociais - IHS (Del Prette & Del Prette, 2001) e a Escala de Avaliação da Competência Social de Pacientes Psiquiátricos - EACS (Bandeira, 2002). Com relação à população infantil, dispõe-se apenas de um instrumento de medida construído em nosso meio: o Inventário Multimídia de Habilidades Sociais para Crianças - IMHSC (Del-Prette & Del Prette, 2005b).

Instrumentos de medida construídos em outros contextos culturais precisam ser validados em nosso meio para sua utilização com diferentes objetivos, tanto na pesquisa, como na prática profissional do psicólogo. Esse processo envolve tanto um esforço inicial de adaptação dos itens, com retrotradução, como esforços subsequentes de avaliação de propriedades psicométricas e de padronização de normas de referência.

O objetivo da presente pesquisa foi verificar as qualidades psicométricas de um inventário para crianças de Ensino Fundamental - o Sistema de Avaliação de Habilidades Sociais (Social Skills Rating System – SSRS) -, elaborado e validado nos Estados Unidos por Gresham e Elliott (1990) e adaptado para o Brasil por Del Prette (2003). Em termos mais específicos, este estudo focaliza a confiabilidade (estabilidade teste-reteste e consistência interna) e a estrutura fatorial obtidas em uma amostra multicêntrica.

Método

Participantes

A amostra foi composta por 416 estudantes do Ensino Fundamental (1ª. a 4ª. série), com idade média de 8,75 anos (d.p.=1,74), sendo 224 (53,84%) meninos e 192 (46,16%) meninas, matriculados em escolas públicas e particulares, de cinco cidades de quatro estados brasileiros (MG, PR, SP e RJ). Participaram, ainda, como informantes, 312 pais ou responsáveis (sendo 86,22% mães, 7,05% pais e 6,73% outro responsável) e 86 professoras (todas do sexo feminino) dessas crianças. A idade média dos pais foi de 36,73 anos (d.p.=8,10) e das professoras foi de 37,43 anos (d.p.=10,02). Os professores avaliaram 416 estudantes enquanto que os pais avaliaram 312 estudantes.

A subamostra utilizada no reteste foi composta de 54 estudantes do Ensino Fundamental (1ª. a 4ª. séries), com idade média de 8,96 anos (d.p.=1,98), sendo 29 (53,70%) meninos e 25 (46,30%) meninas, matriculados em escolas públicas e particulares de duas cidades de dois estados brasileiros (RJ e MG). Participaram, ainda, como informantes, 26 pais (sendo 85,71% mães e 14,29% pais) e cinco professoras (todas do sexo feminino) dessas crianças. A idade média dos pais foi de 38,67 anos (d.p.=6,22) e das professoras foi de 40,50 anos (d.p.=5,44). As professoras avaliaram 54 estudantes e os pais, 26 estudantes.

Instrumento

Características psicométricas da versão original. O SSRS é um sistema de avaliação de habilidades sociais, que inclui ainda medidas de comportamentos problemáticos e de competência acadêmica de crianças do Ensino Fundamental (Gresham & Elliott, 1990). O SSRS inclui três questionários de avaliação, destinados ao estudante, aos pais e ao professor. Portanto, ele abrange a avaliação direta e indireta do repertório de habilidades sociais, pois a criança realiza uma autoavaliação e também é avaliada pelo seu responsável (pai, mãe ou outro) e pelo seu professor.

A versão original do SSRS, na análise da estabilidade temporal, apresenta os seguintes coeficientes de correlação teste-reteste para as escalas de habilidades sociais dos estudantes (r=0,68), dos pais (r=0,87) e dos professores (r=0,85). Resultado semelhante ocorreu para a escala de comportamentos problemáticos na versão dos pais (r=0,65) e dos professores (r=0,84). A mais alta correlação teste-reteste ocorreu para a escala de competência acadêmica, que é avaliada somente pelos professores (r=0,93). A análise da consistência interna apresentou valores de alfa de Cronbach entre 0,83 e 0,94 para as escalas de habilidades sociais, entre 0,88 e 0,87 para as de comportamentos problemáticos e de 0,95 para a escala de competência acadêmica (Gresham & Elliott, 1990).

Segundo Gresham e Elliott (1990), a validade concomitante do SSRS foi verificada correlacionando-o com outras escalas já validadas nos Estados Unidos, que medem construtos similares. As escalas preenchidas pelos professores obtiveram correlações entre 0,55 e 0,68 com o Social Behavior Assessment – SBA (Stephens, 1978), entre 0,59 e 0,81 com o Child Behavior Checklist-Teacher Report Form - CBLC-TRF (Achenbach & Edelbrock, 1983) e entre 0,63 e 0,70 com a escala Harter Teacher Rating Scale - TRS (Harter, 1986).

As escalas preenchidas pelos pais obtiveram correlações entre 0,58 e 0,70 com o Child Behavior Checklist-Parent Report Form - CBLC-PRF (Achenbach & Edelbrock, 1983). A escala de autoavaliação dos estudantes obteve correlações de 0,23 com o Child Behavior Checklist-Youth Self-Report Form - YSR (Achenbach & Edelbrock, 1983) e de 0,30 com a Escala Piers-Harris Children's Self-Concept Scale - PHCSCS (Piers, 1984).

Para habilidades sociais, encontrou-se uma estrutura de quatro fatores na escala de autoavaliação dos estudantes (cooperação, asserção, empatia e autocontrole) e na escala preenchida pelos pais (cooperação, asserção, responsabilidade e autocontrole), assim como uma estrutura de três fatores na escala preenchida pelos professores (cooperação, asserção e autocontrole). Para a avaliação dos comportamentos problemáticos, obteve-se uma estrutura de três fatores na escala dos pais e dos professores (internalizantes, externalizantes e hiperatividade). A escala de competência acadêmica possui uma estrutura unifatorial.

Descrição das escalas. A escala de autoavaliação das habilidades sociais é composta por 34 questões, que são respondidas pelas crianças em termos da frequência da ocorrência de cada comportamento indicado. Existem três alternativas de resposta: Nunca=0, Algumas Vezes=1 e Muito Frequente=2. Os pais e professores avaliam tanto a frequência e importância das habilidades sociais, quanto a frequência dos comportamentos problemáticos das crianças, e os professores avaliam, além disso, a posição da criança em indicadores de sua competência acadêmica. Portanto, o questionário dirigido aos pais inclui duas escalas de medida: uma que avalia as habilidades sociais das crianças, contendo 38 questões, e outra que avalia os comportamentos problemáticos apresentados por elas, contendo 17 questões. O questionário dirigido aos professores é composto por três escalas de medida: uma que avalia as habilidades sociais de seus alunos, contendo 30 questões, uma outra escala que avalia os comportamentos problemáticos, contendo 18 questões, e uma terceira escala que avalia a competência acadêmica dos alunos, contendo nove questões. As questões dos pais e professores, que avaliam as habilidades sociais das crianças, possuem três alternativas de respostas em relação à frequência de ocorrência (Nunca=0, Algumas Vezes=1 e Muito Frequente=2) e três alternativas em relação à importância das habilidades (Não Importante=0, Importante=1 e Indispensável=2). Os itens referentes aos comportamentos problemáticos são respondidos apenas em relação à frequência de ocorrência, com três alternativas de resposta (Nunca=0, Algumas Vezes=1 e Muito Frequente=2). Para avaliar a competência acadêmica do estudante, o professor o classifica em relação aos demais colegas do grupo, com base em cinco alternativas de respostas: Entre os 10% piores=1; Entre os 20% piores=2; Entre os 40% médios=3; Entre os 20% bons=4; e Entre os 10% melhores=5.

Além das questões descritas acima, na aplicação brasileira do SSRS foram ainda incluídas duas avaliações iniciais. Essas avaliações se referem a uma classificação dos pais e professores sobre a presença, ou não, de comportamentos problemáticos e uma avaliação dos professores sobre a presença ou não de dificuldades de aprendizagem, em cada criança avaliada, segundo uma escala que variou entre Não tem, Tem Pouco e Tem Muito.

Procedimento

A tradução e adaptação transcultural do SSRS para o Brasil foram realizadas por Del Prette (2003). Inicialmente, foi estabelecido o contato com as escolas, para obter a participação dessas instituições. Em seguida, foram enviadas cartas aos pais (ou responsáveis) dos estudantes para esclarecer os objetivos e os procedimentos da pesquisa e solicitar a autorização para a participação das crianças.

Depois de obtidas as autorizações, foi realizada a aplicação dos três questionários junto aos pais, professores e estudantes, de forma padronizada e coletiva, em salas de aulas disponibilizadas pelas escolas. Inicialmente, foi estabelecido um rapport com os participantes e esclarecidas as possíveis dúvidas a respeito da pesquisa. Solicitou-se que o respondente fizesse a leitura das instruções em voz alta, juntamente com o aplicador e, em seguida, que verbalizasse o que entendeu. Caso fosse detectada alguma dificuldade, era dada assistência individual, na qual o aplicador lia cada item e indicava onde e como o respondente deveria anotar sua resposta. Somente os que leram fluentemente foram dispensados dessa assistência.

Ao final da aplicação dos questionários, foi verificado se todos os itens estavam respondidos de acordo com as instruções, para evitar itens em branco ou respostas repetidas. Aqueles pais que não compareceram à reunião, mas se dispuseram a participar da pesquisa, foram novamente contatados para aplicação do questionário. As aplicações de todos os questionários foram realizadas por três aplicadores previamente treinados. O intervalo de tempo entre as aplicações dos questionários dos pais, professores e estudantes não excedeu 30 dias. O reteste foi realizado em um intervalo de 15 dias após a primeira aplicação do SSRS, utilizando-se o mesmo procedimento descrito acima.

Análise de dados

Para verificar a estrutura do SSRS-BR, foi realizada uma análise exploratória, pelo Método dos Componentes Principais, com rotação Varimax, experimentando-se alternativas de delimitação da quantidade de componentes, com base na restrição de saturação de pelo menos 0,32. Optou-se pelo Método dos Componentes Principais por ter apresentado melhor interpretação dos resultados após tentativas com o Método de Análise Fatorial Simples (Principal Axis Factoring). Da mesma forma, optou-se pela rotação Varimax, após comparação com os dados resultantes de uma análise com rotação oblíqua (Direct Oblimin), devido a uma melhor interpretação dos resultados obtidos com esse método. O critério para delimitação do número de componentes a serem retidos em uma escala foi definido com base no valor do eigenvalue superior a 1,0, na análise gráfica do Scree Test e na presença de pelo menos de três itens com cargas acima do mínimo estabelecido (Zwick & Velicer, 1986).

A fidedignidade do SSRS-BR foi avaliada por meio de dois procedimentos: teste-reteste para estabelecer sua estabilidade temporal e consistência interna dos itens. A avaliação da estabilidade temporal das escalas foi feita por meio da análise de Correlação Linear de Pearson, entre os escores obtidos no teste e no reteste, de uma mesma amostra. A consistência interna da escala global e dos componentes foi avaliada por meio do coeficiente alfa de Cronbach. Foi utilizado como critério mínimo para retenção dos itens o valor de 0,20 de correlação item-total (Likert, 1932). Para a realização dessas análises estatísticas foi utilizado o programa estatístico SPSS-PC, versão 7.5.

Resultados

Os resultados referentes à validade e à fidedignidade da versão brasileira do SSRS-BR são descritos a seguir, para cada uma de suas três escalas: Habilidades Sociais, Comportamentos Problemáticos e Competência Acadêmica.

Escalas de avaliação das habilidades sociais

Escala de autoavaliação dos estudantes. O resultado da análise de componentes principais revelou que esta escala possui uma estrutura com 27 itens, distribuídos em seis componentes, com eigenvalues entre 1,16 e 4,09, que explicam 41,65% da variância dos dados (Tabela 1). Os resultados mostraram que a medida de adequação da amostra (K.M.O.=0,79) foi satisfatória e o teste de Bartlet foi significativo (X²=1561,23; df=378; p=0,00). O critério mínimo adotado para a inclusão dos itens nos componentes foi o de que seus coeficientes de saturação se situassem acima de 0,32. Os 27 itens dessa escala obtiveram coeficientes de saturação entre 0,34 e 0,73, sendo que os itens 02, 07, 15, 24 e 34 se encontram em mais de um componente (Tabela 1). Os itens 01, 06, 11, 23, 27, 29 e 33 foram eliminados da estrutura da escala, pois obtiveram cargas abaixo de 0,32. Os componentes ou subescalas identificadas foram assim denominados: 1 - Responsabilidade (sete itens); 2 - Empatia (quatro itens); 3 - Assertividade (sete itens); 4 - Autocontrole (quatro itens); 5 - Evitação de Problemas (seis itens); 6 - Expressão de Sentimento Positivo (quatro itens). Segue-se uma breve descrição de cada uma delas:

1) Responsabilidade. Comportamentos que demonstram compromisso com as tarefas e com as pessoas no ambiente escolar – prestar atenção quando o professor está ensinando, seguir suas instruções, deixar a carteira limpa e arrumada, guardar material, fazer as próprias tarefas no tempo estabelecido e usar adequadamente o tempo livre.

2) Empatia. Comportamentos que demonstram interesse, respeito e preocupação em relação às demais pessoas – entender os colegas quando estão zangados, aborrecidos ou tristes, ouvir os problemas dos amigos, ficar triste quando coisas ruins acontecem a outras pessoas, tentar resolver problema ou briga de colegas.

3) Assertividade. Comportamentos de questionar regras injustas, autocontrole emocional ao lidar com discussões de classe e ao discordar de adultos, cumprimentar pessoas e expressar opiniões.

4) Autocontrole. Comportamentos que demonstram domínio sobre as próprias reações emocionais em situações de brigas com os pais, de pedir e esperar permissão para usar coisas de outros, de permanecer ouvindo as pessoas que estão falando, de controlar raiva quando zangado(a).

5) Evitação de Problemas. Comportamentos que demonstram domínio sobre as próprias reações emocionais, tais como: ignorar colegas fazendo palhaçada e provocações, pedir e esperar que os colegas o(a) aceitem em brincadeira ou jogo, discordar de adultos sem briga ou discussão, resolver problemas ou brigas por meio de conversa.

6) Expressão de Sentimento Positivo. Comportamentos que expressam aprovação aos comportamentos dos demais e exteriorização de sentimentos positivos, por exemplo: elogiar e cumprimentar amigos, dizer que gosta dos amigos, dizer a um adulto que gosta do que ele fez.

A análise de consistência interna dos componentes indicou valores de alfa de Cronbach entre 0,46 e 0,62 (Tabela 5) e correlações significativas item-escore de cada respectivo componente (entre r=0,20 e r=0,42; p<0,01; exceto o item 34 do componente 5, eliminado por não atingir o critério mínimo de 0,20 de correlação item-escore). Para a escala global, a análise da consistência interna produziu um alfa de 0,78, bem como correlações significativas item-escore total (entre r=0,20 e r=0,44; p<0,01; exceto para os itens 04, 06, 11, 13, 23, 27, 28, 33 e 34, eliminados por não atingirem o critério mínimo de 0,20) e entre os escores das subescalas (de r=0,15 a r=0,55; p<0,01). Com base nessas correlações, considera-se pertinente utilizar também o escore global (com a eliminação dos nove itens antes referidos). A análise da estabilidade temporal revelou uma correlação positiva significativa entre os escores de teste e reteste da escala global (r=0,78; p<0,001) e das subescalas componentes (de r=0,44 a r=0,56; p<0,001), conforme se apresenta na Tabela 5.

Escala de avaliação pelos pais. O resultado da análise de componentes principais revelou que essa escala possui uma estrutura com 37 itens, distribuídos em seis componentes, com eigenvalues entre 1,32 e 6,50, que explicam 41,45% da variância dos dados (Tabela 2). Os resultados mostraram que a medida de adequação da amostra (K.M.O.=0,82) foi satisfatória e o teste de Bartlet foi significativo (X²=2740,95; df=703; p=0,00). O critério adotado para a inclusão dos itens era que seus coeficientes de saturação se situassem acima de 0,32. Os itens dessa escala obtiveram coeficientes de saturação entre 0,33 e 0,74, sendo que os itens 04, 11, 14, 27 e 37 se encontram em mais de um componente (Tabela 2). O item 01 foi eliminado, pois obteve carga abaixo de 0,32. Os componentes ou subescalas identificados foram assim denominados: 1 - Cooperação (10 itens); 2 - Amabilidade (oito itens); 3 - Iniciativa/Desenvoltura Social (oito itens); 4 - Asserção (oito itens); 5 - Autocontrole/Civilidade (seis itens); 6 - Autocontrole passivo (quatro itens). Segue-se uma breve descrição de cada subescala.

1) Cooperação. Comportamentos da criança de colaborar, sem ser solicitado, em tarefas domésticas, manter o próprio quarto arrumado, guardar os brinquedos etc.

2) Amabilidade. Comportamentos da criança que geram a estima dos demais, como aceitar ideias, pedir permissão, fazer e aceitar elogios.

3) Iniciativa/Desenvoltura Social. Comportamentos apropriados de iniciar e manter interações sociais para conversar, apresentar-se, fazer amigos, convites, pedir informações, juntar-se a grupos etc.

4) Asserção. Comportamentos que expressam confiança em lidar com estranhos e situações novas, questionar regras consideradas injustas, relatar acidentes, pedir ajuda etc.

5) Autocontrole/Civilidade. Comportamentos que demonstram domínio sobre as próprias emoções por meio de reações abertas tais como: usar "apropriadamente" o tempo livre, responder "educadamente" a provocações e pedidos abusivos, usar "de modo aceitável" o tempo livre, falar "em tom de voz apropriado" etc.

6) Autocontrole Passivo. Comportamentos que demonstram domínio sobre as próprias emoções, por meio principalmente de reações encobertas, tais como: autocontrole de irritação ou raiva em situações de discussão, conflito, críticas, discordâncias etc.

A análise da consistência interna dos componentes indicou valores de alfa entre 0,59 e 0,79 (Tabela 5) e correlações significativas item-escore do respectivo componente (entre r=0,24 e r=0,57; p<0,001), não sendo, portanto, eliminado item de nenhum dos componentes. Para a escala global, a análise da consistência interna produziu um alfa de 0,86, bem como correlações significativas item-escore total (entre r=0,22 e r=0,48; p<0,001; exceto para os itens 24 e 35, eliminados por não atingirem o critério mínimo de 0,20) e entre os escores das subescalas (de r=0,15 a r=0,68; p<0,001). Com base nessas correlações, considera-se pertinente computar também o escore global (com eliminação dos itens 24 e 35 antes referidos). A análise da estabilidade temporal revelou uma correlação positiva significativa entre os escores de teste e reteste da escala global (r=0,69; p<0,001) e das subescalas componentes dessa escala (entre r=0,51 e r=0,73; p<0,001), conforme se pode verificar na Tabela 5.

Escala de avaliação pelos professores. O resultado da análise de componentes principais revelou que essa escala possui uma estrutura com 30 itens, distribuídos em cinco componentes, com eigenvalues entre 1,03 e 11,58, que explicam 62,03% da variância dos dados (Tabela 3). A medida de adequação da amostra (K.M.O.=0,93) foi satisfatória e o teste de Bartlet foi significativo (X²=8704,36; df=435; p=0,00). O critério adotado para a inclusão dos itens era que seus coeficientes de saturação se situassem acima de 0,39. Os itens dessa escala obtiveram coeficientes de saturação entre 0,39 e 0,83, sendo que os itens 01, 03, 06, 08, 12, 22, 23, 24 e 30 se encontram em mais de um componente. Nenhum item foi eliminado por essa análise, pois todos obtiveram cargas iguais ou superiores a 0,39. Os componentes ou subescalas identificados foram assim denominados: 1 - Responsabilidade/Cooperação (15 itens); 2 - Asserção Positiva (nove itens); 3 - Autocontrole (nove itens); 4 - Autodefesa (três itens); 5 - Cooperação com Pares (quatro itens). Segue-se uma breve descrição de cada subescala.

1) Responsabilidade/Cooperação. Comportamentos que demonstram compromisso com as tarefas e com as pessoas e disponibilidade da criança para colaborar com o bom andamento das atividades, por exemplo: seguir instruções do professor, manter a carteira limpa e arrumada, oferecer-se para ajudar colegas nas tarefas de classe, mostrar interesse nas atividades.

2) Asserção Positiva. Comportamentos que envolvem expor-se e buscar relações com os demais, por exemplo: iniciar conversação com colegas, convidá-los para juntar-se em atividades, apresentar-se a novas pessoas, fazer amigos, juntar-se a grupos, falar positivamente de si, questionar regras que considera como injustas.

3) Autocontrole. Comportamentos que demonstram domínio das próprias reações emocionais, por exemplo: reagir de forma apropriada à pressão, gozação ou provocação dos colegas, controlar irritação em situações de conflito com colegas, aceitar ideias dos colegas para atividades, negociar em situações de conflito, usar tempo livro de forma aceitável.

4) Autodefesa. Comportamentos que envolvem enfrentamento para defesa de ideias, opiniões ou avaliações com algum risco de reação indesejável do outro, por exemplo: argumentar para defender-se quando tratado injustamente, questionar regras que considera como injustas, falar coisas boas de si mesmo quanto pertinente.

5) Cooperação com Pares. Comportamentos que expressam disponibilidade da criança para colaborar, por exemplo, juntar-se a um grupo ou atividade, ajudar colegas nas tarefas, cooperar voluntariamente, ignorar distrações.

A análise da consistência interna dos componentes indicou valores de alfa de Cronbach entre 0,73 e 0,92 (Tabela 5) e correlações significativas item-escore do respectivo componente (entre r=0,32 e r=0,75; p<0,01). Não foi eliminado nenhum item dos componentes, pois todos atingiram o critério mínimo de 0,20 de correlação item-escore do seu respectivo componente. Para a escala global, a análise da consistência interna produziu um alfa de 0,94, bem como correlações significativas item-escore total (entre r=0,37 e r=0,71; p<0,01; nenhum item eliminado) e entre os escores das subescalas (de r=0,52 a r=0,81; p<0,01). Com base nessas correlações, considera-se pertinente computar também o escore global (sem eliminar nenhum item). A análise da estabilidade temporal revelou uma correlação positiva significativa entre os escores de teste e reteste da escala global (r=0,71; p<0,001) e das subescalas componentes (entre r=0,49 e r=0,77; p<0,001), conforme se apresenta na Tabela 5.

Escalas de avaliação dos comportamentos problemáticos

Escala de avaliação pelos pais. O resultado da análise de componentes principais revelou que essa escala possui uma estrutura com 17 itens, distribuídos em três componentes, com eigenvalues entre 1,69 e 4,86, que explicam 45,55% da variância dos dados (Tabela 4). A medida de adequação da amostra (K.M.O.= 0,86) foi satisfatória e o teste de Bartlet foi significativo (X²=1270,20; df=136; p=0,00). O critério adotado para a inclusão dos itens era que seus coeficientes de saturação se situassem acima de 0,40. Os itens dessa escala obtiveram coeficientes de saturação entre 0,44 e 0,69, sendo que nenhum item se encontra em mais de um componente (Tabela 4). Nenhum item foi eliminado da estrutura da escala, pois todos obtiveram cargas superiores a 0,40. Os componentes ou subescalas identificados foram assim denominados: 1 - Hiperatividade (seis itens); 2 - Externalizantes (sete itens); e 3 - Internalizantes (quatro itens). Segue-se uma breve descrição de cada subescala.

1) Hiperatividade. Comportamentos que envolvem excessivo movimento, inquietação e reações impulsivas, por exemplo: desobedecer regras e pedidos, mexer-se excessivamente, agir impulsivamente, perturbar atividades em andamento.

2) Externalizantes. Comportamentos que envolvem agressão física ou verbal de outras pessoas, com baixo controle da raiva, por exemplo: discutir e brigar com os outros, ameaçar, ficar com raiva, retrucar, ter acesso de birra.

3) Internalizantes. Comportamentos que expressam distanciamento dos demais e sentimentos de ansiedade, tristeza, solidão e baixa autoestima, por exemplo: parecer solitário, ruborizar-se facilmente, ficar ansioso quando junto dos demais, mostrar-se triste ou deprimido.

A análise da consistência interna das subescalas componentes indicou valores de alfa de Cronbach entre 0,60 e 0,75 (Tabela 5) e correlações significativas item-escore de cada componente (entre r=0,23 e r=0,55; p<0,001), não sendo, portanto, eliminado nenhum item. Para a escala global, a análise da consistência interna produziu um alfa de 0,83, bem como correlações significativas item-escore total (entre r=0,21 e r=0,55; p<0,001; exceto para o item 52, eliminado por não atingir o critério mínimo de 0,20) e entre subescalas (de r=0,33 a r=0,59; p<0,01). Com base nessas correlações, considera-se pertinente computar também o escore global (sem eliminar nenhum item). A análise da estabilidade temporal revelou uma correlação positiva significativa entre os escores de teste e o reteste da escala global (r=0,75; p<0,001) e das subescalas componentes (entre r=0,53 e r=0,85; p<0,001), conforme mostrado na Tabela 5.

Escala de avaliação pelos professores. A análise de componentes principais revelou uma estrutura com 18 itens, distribuídos em dois componentes, com eigenvalues de 7,53 no componente 1 e de 2,51 no componente 2, que explicam 55,79% da variância dos dados (Tabela 4). A medida de adequação da amostra (K.M.O.=0,93) foi satisfatória e o teste de Bartlet foi significativo (X²=4814,02; df=153; p=0,00). O critério adotado para a inclusão dos itens foi o de que seus coeficientes de saturação se situassem acima de 0,40. Os itens dessa escala obtiveram coeficientes de saturação entre 0,46 e 0,84, sendo que o item 38 se encontra em mais de um componente (Tabela 4). Nenhum item foi eliminado, pois todos obtiveram cargas superiores a 0,40. Os componentes identificados foram assim denominados: 1 - Externalizantes (13 itens); 2 - Internalizantes (seis itens). A descrição dessas duas subescalas foi feita anteriormente.

A análise da consistência interna dos componentes indicou valores de alfa de Cronbach de 0,93 (1) e de 0,74 (2) e correlações significativas item-total (r=0,31 e r=0,79; p<0,01). Não foi eliminado nenhum item, pois todos atingiram o critério mínimo de 0,20 de correlação item-total (Tabela 5). Para a escala global foi eliminado o item 39, por não atingir o critério mínimo de 0,20 de correlação item-total. Para a escala global, a análise da consistência interna produziu alfa de 0,91, bem como correlações significativas item-total (entre r=0,25 e r=0,75; p<0,01) e entre as duas subescalas (r=0,37; p<0,01). Com base nessas correlações, considera-se pertinente computar também o escore global (eliminando-se o item 39). A análise da estabilidade temporal revelou uma correlação positiva significativa entre os escores de teste e reteste da escala global (r=0,80; p<0,001) e das duas subescalas componentes (entre r=0,83 e r=0,66; p<0,001), conforme se apresenta na Tabela 5.

Escala de competência acadêmica

O resultado da análise de componentes principais revelou uma estrutura unidimensional com nove itens, com eigenvalue igual a 7,97, que explicou 88,60% da variância dos dados. A medida de adequação da amostra (K.M.O.=0,93) foi satisfatória e o teste de Bartlet foi significativo (X²=8673,67; df=36,00; p=0,00). O critério adotado para a inclusão dos itens foi o de que seus coeficientes de saturação se situassem acima de 0,40. Nenhum item foi eliminado, pois todos obtiveram cargas superiores a 0,40. Essa escala avalia a posição da criança em relação às demais da classe em diferentes aspectos (desempenho acadêmico geral, leitura, matemática, motivação geral para o êxito acadêmico, estímulo dos pais, funcionamento intelectual e comportamento geral) pertinentes a um bom rendimento acadêmico.

A análise da consistência interna desta escala produziu um valor de alfa de Cronbach de 0,98 (Tabela 5) e correlações significativas item-total (entre r=0,81 e r=0,96), não sendo, portanto, eliminado nenhum item. A análise da estabilidade temporal produziu uma correlação positiva significativa entre o teste e o reteste (r=0,73; p<0,001), conforme indicado na Tabela 5.

Discussão

O SSRS-BR apresentou uma adequada validade de construto, segundo os indicadores obtidos com a Análise dos Componentes Principais, que foram coerentes, em linhas gerais, com a estrutura obtida no estudo original (Gresham & Elliott, 1990).

Para a avaliação das habilidades sociais, obteve-se uma estrutura com seis subescalas nas versões para pais e estudantes, enquanto que a versão para professores apresentou uma estrutura de cinco subescalas. Essa distribuição representa um número maior de subescalas do que o instrumento original de língua inglesa, que possuía quatro para as avaliações dos estudantes e dos pais e três para a avaliação dos professores. Pode-se levantar duas hipóteses para essa diferença de resultados: o tamanho da amostra que diferiu entre os dois estudos (2400 estudantes, 812 pais e 208 professores no estudo de Gresham & Elliott, 1990) e possíveis diferenças culturais, as quais levariam a padrões diferenciados na distribuição dos itens em subescalas das escalas brasileira e de língua inglesa. A retrotradução inicial garantiu a adequação semântica dos itens, mas conforme ampla literatura, as habilidades sociais são culturais-situacionais, ou seja, o que é valorizado e desempenhado com maior probabilidade e funcionalidade depende de valores, normas e regras da cultura e, mesmo, da subcultura do indivíduo e de seus interlocutores (Del Prette & cols., 2004a, 2004b). O arranjo de itens em torno de subescalas reflete, também, uma tendência compartilhada e comum para um grande grupo de indivíduos e pode ser decorrente dessa mesma lógica.

Uma análise das principais diferenças entre a versão brasileira e a versão americana pode ser brevemente encaminhada. A versão dos professores, com cinco subescalas, apresenta poucos itens nas duas últimas subescalas, o que poderia sugerir a eliminação dos mesmos. Entretanto, as cargas elevadas dos itens e a relevância do conteúdo desses itens para uma avaliação mais completa do repertorio das crianças apontava para a importância de se manter a estrutura com todas as subescalas. Quanto à distribuição dos itens nas subescalas, houve alguns com cargas elevadas em mais de uma subescala, o que poderia sugerir a retirada dos mesmos. Entretanto, optou-se por mantê-los, porque a eliminação desses itens e posterior reanálise dos dados resultava em uma composição excessivamente reduzida da escala, comprometendo sua viabilidade.

Para a escala de comportamentos problemáticos, a Análise de Componentes Principais revelou a presença de três subescalas na versão dos pais e duas na dos professores. Esse resultado difere também do obtido nas escalas originais, que apresentaram uma estrutura com três fatores, tanto na versão dos pais quanto dos professores. A escala de avaliação dos pais, da amostra brasileira, apresenta uma estrutura semelhante à da escala original, agrupando os itens em três subescalas: internalizantes, externalizantes e hiperatividade. Por outro lado, a tendência dos professores, na amostra brasileira, foi de avaliar os comportamentos apenas em internalizantes ou externalizantes, não diferenciando essa ultima categoria da dos comportamentos que refletem hiperatividade.

A avaliação da competência acadêmica das crianças feita pelos professores apresentou um resultado semelhante ao da escala original. Em ambos os casos, verificou-se uma estrutura unidimensional. Ao utilizar essa escala, em particular, deve-se levar em consideração sua peculiaridade de ter opções de resposta que avaliam um determinado aluno em relação aos demais, limitando assim sua avaliação em função do grupo.

A fidedignidade do SSRS-BR para a amostra brasileira se mostrou adequada, tanto no que se refere à consistência interna, quanto à sua estabilidade temporal. Os resultados da estabilidade temporal mostraram correlações positivas significativas entre os escores do teste e reteste para as três escalas (de habilidades sociais, comportamentos problemáticos e competência acadêmica) e para suas respectivas subescalas. A estabilidade temporal da avaliação de habilidades sociais para a versão dos estudantes foi mais elevada do que a de pais e professores e superior (r=0,78) à encontrada na versão original (r=0,68). Nas escalas dos pais e dos professores, os resultados foram positivos e significativos (respectivamente, r=0,69 e r=0,71), embora inferiores aos encontrados na versão original (respectivamente, r= 0,87 e r=0,85). Na escala de comportamentos problemáticos, os resultados da amostra brasileira mostraram que a escala de professores teve resultados superiores à de pais e estudantes. A correlação teste-reteste da escala dos pais (r=0,75) foi superior à encontrada na versão original de língua inglesa (r=0,65) enquanto que na escala dos professores, o resultado encontrado foi positivo e significativo (r=0,80), embora ligeiramente inferior ao observado na versão original (r=0,84). No que se refere à avaliação da competência acadêmica, feita somente pelos professores, obteve-se uma correlação teste-reteste também positiva e significativa (r=0,73), ainda que inferior ao da escala original (r=0,93).

Os resultados referentes à consistência interna do SSRS-BR, avaliada pelo coeficiente alfa de Cronbach, foram adequados para as três escalas (habilidades sociais, comportamentos problemáticos e competência acadêmica), ou seja, foram superiores ao mínimo requerido (0,70) para escalas de 10 itens ou mais (Gulliksen,1950; Martines, 1995). Os valores mais elevados de alfa foram obtidos para as escalas dos professores e o menor valor para a escala de autoavaliação dos estudantes, tal como ocorreu nos resultados obtidos na escala original de língua inglesa (Gresham & Elliott, 1990).

Quanto à consistência interna da avaliação das habilidades sociais, a escala dos professores atingiu um valor mais elevado de alfa de Cronbach do que as outras duas escalas. O valor de alfa obtido para essa escala (0,94) foi igual ao encontrado na versão original (0,94). Para a escala dos estudantes (0,78) e dos pais (0,86), os valores obtidos foram ligeiramente inferiores aos encontrados na versão original (0,83 e 0,87, respectivamente). Com relação à consistência interna da avaliação dos comportamentos problemáticos, os valores de alfa de Cronbach, obtidos com a amostra brasileira, mostraram que a escala dos professores obteve resultados superiores. O valor obtido para a escala dos professores (0,91) foi superior ao encontrado na versão original (0,88). A escala dos pais obteve um coeficiente (0,83) ligeiramente inferior ao observado na escala original (0,87). No caso da consistência interna da avaliação da competência acadêmica feita pelos professores, obteve-se um coeficiente alfa de Cronbach elevado (0,98). Esse resultado foi ligeiramente superior ao obtido para a escala original de língua inglesa (0,95).

Quanto à consistência interna das subescalas, tomadas separadamente, os valores de alfa de Cronbach para habilidades sociais variaram de 0,46 a 0,94. Para comportamentos problemáticos (pais e professores) variaram de 0,60 a 0,91. Para a autoavaliação das habilidades sociais, os valores alfa das três últimas subescalas ficaram ligeiramente abaixo do mínimo requerido (0,50) para escalas de quatro a cinco itens (Gulliksen,1950; Martines, 1995). Os valores mais baixos de alfa das escalas de autoavaliação recomendam prudência no seu uso. Não é possível comparar esses valores com a escala original, devido às diferenças na estrutura das escalas. Entretanto, uma comparação entre as escalas originais mostrou igualmente valores mais baixos para as escalas de autoavaliação do que para as escalas dos pais e dos professores (Gresham & Elliot, 1990).

Considerando os resultados da validade de construto e da fidedignidade, pode-se concluir que as escalas SSRS-BR possuem propriedades psicométricas adequadas, podendo ser utilizadas para a avaliação das habilidades sociais, comportamentos problemáticos e competência acadêmica de crianças, estudantes do Ensino Fundamental. A validação dessa escala para o contexto brasileiro permite aos pesquisadores o acesso a um instrumento que avalia o repertório dos estudantes de Ensino Fundamental, simultaneamente, a partir da visão de três avaliadores – a própria criança, seu professor e seu responsável. Permite, ainda, em um mesmo instrumento, avaliar as habilidades sociais, os comportamentos problemáticos e a competência acadêmica dos estudantes, variáveis que apresentam relações entre si, tal como evidenciado na literatura da área (Bandeira, Rocha, Magalhães, Del Prette & Del Prette, 2006; Bandeira, Rocha, Pires, Del Prette & Del Prette, 2006; Ferreira & Marturano, 2002). Pesquisas em andamento, realizadas pelos autores deste trabalho, permitirão o estabelecimento de parâmetros normativos, em termos de sexo e idade, com valores percentis. A utilização desse instrumento de medida poderá ser útil para identificar informações importantes na avaliação dos recursos e déficits do repertório das crianças (idade, série), visando à elaboração e implantação de programas de intervenção.

Recebido em 05.07.05

Primeira decisão editorial em 17.10.08

Versão final em 10.03.09

Aceito em 19.03.09

• Achenbach, T. M. & Edelbrock, C. S. (1978). The classification of child psychopathology: A review and analysis of empirical efforts. Psychological Bulletin, 85, 1275-1301.
• Bandeira, M. (2002). Escala de Avaliação da Competência Social de pacientes psiquiátricos, através de desempenho de papéis. Avaliação Psicológica, 2, 159-171.
• Bandeira, M., Rocha, S. S., Magalhães, T., Del Prette, Z. A. P,. & Del Prette, A. (2006). Comportamentos problemáticos em estudantes do ensino fundamental: características da ocorrência e relação com habilidades sociais e dificuldades de aprendizagem. Estudos de Psicologia, 11, 199-208.
• Bandeira, M., Rocha, S. S., Pires, L. G., Del Prette, Z. A. P., & Del Prette, A. (2006). Competência acadêmica de crianças do ensino fundamental: características sociodemográficas e relação com habilidades sociais. Interação em Psicologia, 10, 63-67.
• Baraldi, D., & Silvares, E. (2003). Treino de habilidades sociais em grupo com crianças agressivas, associado à orientação dos pais: análise empírica de uma proposta de atendimento. Em Z. A. P. Del Prette & A. Del Prette (Orgs.), Habilidades sociais, desenvolvimento e aprendizagem: questões conceituais, avaliação e intervenção (pp. 235-58). Campinas: Alínea.
• Bolsoni-Silva, A. T., Del Prette, Z. A. P., Del Prette, G., Montagner, A. R., Bandeira, M., & Del Prette, A. (2006). Habilidades sociais no Brasil: uma análise dos estudos publicados em periódicos. Em M. Bandeira, Z. A. P. Del Prette & A. Del Prette, (Orgs.), Estudos sobre habilidades sociais e relacionamento interpessoal (pp. 17-45). São Paulo: Casa do Psicólogo.
• Bussab, V. S. (1999). Da criança ao adulto: o que faz do ser humano o que ele é? Em A. M. Carvalho (Org.), O mundo social da criança: natureza e cultural em ação São Paulo: Casa do Psicólogo.
• Caballo, V. (2003). Manual de avaliação e treinamento das habilidades sociais (M. L. Marinho, Trad.). São Paulo: Livraria Santos (Trabalho original publicado em 1993).
• Caldarella, P. & Merrel, K. (1997). Common dimensions of social skills of children and adolescents: A taxonomy of positive behaviors. School Psychology Review, 26, 264-278.
• Del Prette, A., & Del Prette, Z. A. P. (2001). Psicologia das relações interpessoais: vivências para o trabalho em grupo Petrópolis: Vozes.
• Del Prette, Z. A. P., & Del Prette, A. (1999). Psicologia das habilidades sociais: terapia e educação Petrópolis: Vozes.
• Del Prette, Z. A. P., & Del Prette, A. (2001). Inventário de Habilidades Sociais (IHS-Del-Prette): Manual de aplicação, apuração e interpretação São Paulo: Casa do Psicólogo.
• Del Prette, Z. A. P., & Del Prette, A. (2003). Habilidades sociais e dificuldades de aprendizagem: teoria e pesquisa sob um enfoque multimodal. Em A. Del Prette & Z. A. P. Del Prette (Orgs.), Habilidades sociais, desenvolvimento e aprendizagem: questões conceituais, avaliação e intervenção (pp. 167-206). Campinas: Alínea.
• Del Prette, Z. A. P., & Del Prette, A. (2005a). Psicologia das habilidades sociais na infância: teoria e prática Petrópolis: Vozes.
• Del Prette, Z. A. P., & Del Prette, A. (2005b). Sistema Multimídia de Habilidades Sociais para Crianças: manual de aplicação, apuração e interpretação São Paulo: Casa do Psicólogo.
• Del Prette, Z. A. P., Del Prette, A., Bandeira, M., Rios-Saldaña, M. R., Ulian, A. L. A. O., Gerk-Carneiro, E., Falcone, E. M. O., & Barreto, M. C. M. (2004). Habilidades sociais de estudantes de psicologia: um estudo multicêntrico. Psicologia: Reflexão e Crítica, 17, 341-350.
• Del Prette, Z. A. P., Del Prette, A., Rios-Saldaña, M. R., Caballo, V. E., Bandeira, M., Falcone, E. M. O., Gerk-Carneiro, E., Ulian, A. L. A. O., & Barreto, M. C. M. (2004). Un estudio transcultural com estudiantes de psicología: habilidades sociales de brasileños, mexicanos y españoles. Alternativas en Psicologia (México), IX, 69-82.
• Ferreira, M., & Marturano, E. (2002). Ambiente familiar e os problemas de comportamento apresentados por crianças com baixo desempenho escolar. Psicologia Reflexão e Crítica, 15, 1-11.
• Gresham, F., & Elliott, S. (1990). Social skills rating system: Manual USA: American Guidance Service.
• Gulliksen, H. (1950). Theory of mental test New York: John Wiley.
• Harter S. (1986). Teacher's Rating Scale of Child's Actual Behavior Denver: University of Denver Press.
• Likert, R. (1932). A technique for the measurement of attitudes. Archives of Psychology, 140(June), 5-53.
• Marinho, M. (2003). Comportamento anti-social infantil: questões teóricas e de pesquisa. Em Z. A. P. Del Prette & A. Del Prette (Orgs.), Habilidades sociais, desenvolvimento e aprendizagem: questões conceituais, avaliação e intervenção (pp. 61-81). Campinas: Alínea Editora.
• Martinez, A.R. (1995). Psicometria: Teoria de los tests psicológicos y educativos Madrid: Editorial Sintesis.
• Michelson, L., Sugai, D., Wood, R., & Kazdin, A. (1983). Social skills assessment and training with children New York: Plenum.
• Stephens, T. (1 978). Technical manual: Social behaviour assessment. Columbus, Ohio: Cedars Press.
• Zwick,W. R., & Velicer, W. F. (1086). Comparison of five rules for determining the number of components to retain. Psychological Bulletin, 99, 432-442.

1

Esta pesquisa foi financiada pelo CNPq. Os autores agradecem a colaboração, na coleta de dados, dos seguintes pesquisadores: Andréa Rosin Pinola, Denise Costa Ribeiro, Eliane Gerk-Carneiro e Maura Glória de Freitas.

Datas de Publicação

• Publicação nesta coleção
  01 Set 2009
• Data do Fascículo
  Jun 2009

Histórico

• Aceito
  19 Mar 2009
• Revisado
  10 Mar 2009
• Recebido
  05 Jul 2005